3 रिपॉजिटरी
Awesome GitHub RepositoriesGPU Resource Optimization
Dynamically allocates GPU nodes across multiple virtual clusters to maximize hardware utilization.
Distinct from Black-Box Maximizers: None of the candidates describe Kubernetes-level GPU node allocation for multi-tenant density.
Explore 3 awesome GitHub repositories matching devops & infrastructure · GPU Resource Optimization. Refine with filters or upvote what's useful.
Awesome GPU Resource Optimization GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- loft-sh/vcluster
loft-sh/vcluster
11,186GitHub पर देखेंvcluster is a Kubernetes virtual cluster platform that creates fully isolated Kubernetes environments with dedicated control planes, API servers, and RBAC on shared physical infrastructure. It virtualizes Kubernetes control planes by running them as pods inside a host cluster, as standalone binaries on bare metal or virtual machines, or within Docker containers, providing each tenant their own isolated Kubernetes environment without the overhead of managing separate physical clusters. The platform enables multi-tenant Kubernetes isolation through multiple tenancy models, from shared node pool
Dynamically allocates GPU nodes across hundreds of isolated virtual clusters to maximize hardware utilization.
Gocloud-nativehelmk3s - clearml/clearml
clearml/clearml
6,740GitHub पर देखेंClearML is a comprehensive MLOps platform designed to manage the end-to-end machine learning lifecycle, from initial experimentation to production deployment. It provides a suite of integrated tools including a pipeline orchestrator for automating workflows, an experiment tracking tool for logging hyperparameters and metrics, and a metadata-driven data versioning system for managing large-scale datasets and model artifacts. The platform is distinguished by its advanced compute management and serving capabilities. It features a GPU compute manager that supports fractional resource slicing and
Increases hardware capacity through workload scheduling and fractional GPU management.
Python - vllm-project/aibrix
vllm-project/aibrix
4,882GitHub पर देखेंAibrix वितरित vLLM क्लस्टर में लार्ज लैंग्वेज मॉडल के डिप्लॉयमेंट को स्केल करने, रूट करने और प्रबंधित करने के लिए डिज़ाइन किया गया एक इन्फरेंस ऑर्केस्ट्रेटर है। यह लोड बैलेंसिंग और विशिष्ट मॉडल प्रतिकृतियों (replicas) व संस्करणों के लिए ट्रैफिक रूटिंग के लिए एक केंद्रीकृत गेटवे के रूप में कार्य करता है। यह सिस्टम GPU क्लस्टर ऑटोस्केलर के माध्यम से संसाधन दक्षता का प्रबंधन करता है जो रीयल-टाइम रिक्वेस्ट वॉल्यूम के आधार पर कंप्यूट इंस्टेंस काउंट को समायोजित करता है। यह एक एकल क्लस्टर के भीतर विभिन्न एक्सेलेरेटर प्रकारों को मिलाकर और साझा बेस मॉडल पर लाइटवेट पैरामीटर एडेप्टर डिप्लॉय करने के लिए एक मॉडल एडेप्टर ऑर्केस्ट्रेटर का उपयोग करके संचालन को और अनुकूलित करता है। व्यापक क्षमताओं में इन्फरेंस इंजन में टोकन डेटा साझा करने के लिए एक वितरित की-वैल्यू कैश मैनेजर का उपयोग और प्रोसेसिंग यूनिट विफलताओं का पता लगाने के लिए हार्डवेयर स्वास्थ्य निगरानी का कार्यान्वयन शामिल है। यह प्रोजेक्ट विविध रनटाइम वातावरणों में प्रदर्शन डेटा संग्रह को मानकीकृत करने के लिए एक एकीकृत मेट्रिक्स पाइपलाइन भी प्रदान करता है।
Optimizes operational costs by mixing different accelerator types and monitoring hardware health within a single cluster.
Go
