Awesome GitHub RepositoriesGPU Resource Allocators

pysheeet este o bibliotecă de referință tehnică ce oferă o colecție curatoriată de fragmente de cod și modele de implementare pentru dezvoltarea avansată în Python, integrarea sistemelor și calculul de înaltă performanță. Servește ca un ghid cuprinzător pentru implementarea programării de rețea de nivel scăzut, extensiilor native C și programării asincrone și concurente. Proiectul oferă framework-uri specializate pentru dezvoltarea și implementarea modelelor de limbaj mari, inclusiv instrumente pentru inferență distribuită pe GPU și servire de înaltă performanță. Include, de asemenea, modele detaliate pentru orchestrarea clusterelor de calcul de înaltă performanță, acoperind alocarea resurselor GPU și gestionarea sarcinilor de lucru pe mai multe noduri. Biblioteca acoperă o gamă largă de capabilități, inclusiv comunicarea securizată în rețea și criptografia, object-relational mapping și gestionarea bazelor de date, precum și implementarea structurilor de date și algoritmilor complecși. Oferă, de asemenea, utilitare pentru gestionarea memoriei, interoperabilitate nativă prin interfețe de funcții străine (FFI) și integrarea la nivel de sistem de operare.

ClearML is a comprehensive MLOps platform designed to manage the end-to-end machine learning lifecycle, from initial experimentation to production deployment. It provides a suite of integrated tools including a pipeline orchestrator for automating workflows, an experiment tracking tool for logging hyperparameters and metrics, and a metadata-driven data versioning system for managing large-scale datasets and model artifacts. The platform is distinguished by its advanced compute management and serving capabilities. It features a GPU compute manager that supports fractional resource slicing and

ClearML is a comprehensive MLOps platform designed to manage the entire machine learning lifecycle. It functions as an experiment tracking tool, a data versioning system, and a pipeline orchestrator, while providing infrastructure for GPU cluster management and model serving. The platform is distinguished by its ability to handle hybrid-cloud compute scheduling and fractional GPU allocation, allowing multiple workloads to share a single hardware accelerator. It employs a metadata-based approach to data versioning, using virtual views to track large datasets and artifacts without duplicating r

Nuclio is a high-performance serverless framework designed for Kubernetes that automatically executes user functions when events arrive from HTTP endpoints, message queues, or streaming data platforms. It processes hundreds of thousands of events per second per function instance through efficient parallel workers, and can allocate functions to run on either CPU or GPU hardware to match workload requirements for data processing or machine learning tasks. The platform scales function instances down to zero when idle and wakes them on demand based on incoming event load, while providing an event

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

Quip Node Manager este o interfață grafică concepută pentru implementarea, monitorizarea și configurarea nodurilor Quip Network și a stack-urilor de containere asociate. Servește ca un dashboard de orchestrare a containerelor care permite utilizatorilor să gestioneze servicii de aplicații interconectate fără a utiliza instrumente în linie de comandă. Proiectul dispune de un manager de accelerare hardware pentru maparea resurselor de calcul CPU și GPU specifice către mediul de runtime și gestionarea memoriei dispozitivului. Include un validator de pregătire a sistemului pentru a verifica disponibilitatea instrumentelor de container și accesibilitatea porturilor de rețea înainte de a iniția stack-ul aplicației, precum și un manager de reverse proxy care achiziționează și reînnoiește automat certificatele de securitate prin DNS și verificare prin e-mail. Software-ul oferă capabilități pentru implementarea automată a nodurilor, streaming-ul log-urilor de runtime în timp real și monitorizarea actualizărilor software. Urmărește digest-urile imaginilor și release-urile aplicațiilor la intervale fixe pentru a declanșa reporniri automate ale sistemului atunci când sunt disponibile actualizări.

ZenML is an extensible machine learning orchestration framework designed to manage the end-to-end lifecycle of data pipelines and AI agent workflows. It functions as a durable orchestrator that executes machine learning tasks as directed acyclic graphs, ensuring that every step is containerized for consistent performance across local, cloud, and hybrid infrastructure. By decoupling pipeline code from underlying compute and storage backends, the platform allows developers to define infrastructure-agnostic stacks that remain portable across diverse environments. The project distinguishes itself

ZenML is an orchestration platform designed for building, deploying, and monitoring reproducible machine learning pipelines and agentic workflows. It provides a unified framework that manages the entire lifecycle of machine learning assets, from data processing and model training to the deployment of persistent inference services. By decoupling pipeline logic from underlying compute and storage, the platform enables teams to transition workflows seamlessly from local development environments to production-grade cloud infrastructure. The platform distinguishes itself through a service-oriented

Cube Studio este o platformă MLOps cloud-native și un orchestrator AI bazat pe Kubernetes, conceput pentru întregul ciclu de viață al învățării automate. Oferă un framework de antrenare distribuită pentru fine-tuning-ul modelelor la scară largă, un manager de resurse GPU pentru virtualizarea hardware și un orchestrator de pipeline-uri ML care utilizează grafuri aciclice direcționate vizuale pentru a gestiona fluxurile de lucru end-to-end. Platforma se distinge prin serverul său specializat de inferență LLM, care suportă generarea augmentată prin recuperare (RAG) și construirea de baze de cunoștințe private. Dispune de un sistem dedicat pentru fine-tuning supervizat și învățare prin consolidare a modelelor de limbaj mari, completat de instrumente vizuale de căutare a hiperparametrilor. Sistemul acoperă o gamă largă de capabilități operaționale, inclusiv etichetarea datelor multimodale, pipeline-uri de date distribuite și programarea sarcinilor de lucru multi-cluster. De asemenea, oferă medii de dezvoltare interactive bazate pe browser, gestionarea imaginilor de containere și un registru de modele pentru versionarea și implementarea API-urilor de inferență scalabile cu împărțirea traficului. Infrastructura include monitorizarea integrată a stării clusterului și controlul accesului bazat pe roluri cu integrare single sign-on.

FedML este o bibliotecă distribuită de antrenare a modelelor de machine learning, un framework de învățare federată și un orchestrator de sarcini GPU. Acesta oferă componentele de sistem de bază necesare pentru a executa antrenarea și fine-tuning-ul modelelor la scară largă pe clustere GPU multi-cloud, on-premise și descentralizate, oferind în același timp un motor dedicat pentru servirea scalabilă a modelelor și un manager de pipeline MLOps pentru gestionarea întregului ciclu de viață. Platforma se distinge prin activarea învățării federate cu conservarea confidențialității pe dispozitive edge descentralizate și silozuri organizaționale, păstrând datele brute pe hardware-ul local. De asemenea, dispune de o piață de calcul cu partajare a resurselor care permite utilizatorilor să contribuie cu capacitate GPU neutilizată la un pool partajat pentru execuția sarcinilor distribuite. Sistemul acoperă o gamă largă de capabilități, inclusiv orchestrarea GPU multi-cloud, gestionarea automatizată a pipeline-urilor de machine learning și implementarea AI la nivel de edge pentru dispozitive IoT și smartphone-uri. De asemenea, integrează instrumente pentru fine-tuning-ul modelelor fundamentale, implementarea inferenței cu latență scăzută și monitorizarea experimentelor de antrenare cu profilarea performanței hardware. Utilizatorii pot lansa și programa sarcini folosind o interfață în linie de comandă și fișiere de configurare declarative.