Awesome GitHub RepositoriesGPU Resource Allocators

pysheeet es una biblioteca de referencia técnica que proporciona una colección curada de fragmentos de código y patrones de implementación para el desarrollo avanzado en Python, integración de sistemas y computación de alto rendimiento. Sirve como una guía completa para implementar programación de red de bajo nivel, extensiones nativas en C y programación asíncrona y concurrente. El proyecto proporciona frameworks especializados para el desarrollo y despliegue de modelos de lenguaje de gran tamaño, incluyendo herramientas para inferencia distribuida en GPU y servicio de alto rendimiento. También incluye patrones detallados para la orquestación de clústeres de computación de alto rendimiento, cubriendo la asignación de recursos de GPU y la gestión de cargas de trabajo en múltiples nodos. La biblioteca cubre una amplia superficie de capacidades, incluyendo comunicación de red segura y criptografía, mapeo objeto-relacional y gestión de bases de datos, y la implementación de estructuras de datos y algoritmos complejos. También proporciona utilidades para la gestión de memoria, interoperabilidad nativa a través de interfaces de funciones externas e integración de sistemas operativos a nivel de sistema.

ClearML is a comprehensive MLOps platform designed to manage the end-to-end machine learning lifecycle, from initial experimentation to production deployment. It provides a suite of integrated tools including a pipeline orchestrator for automating workflows, an experiment tracking tool for logging hyperparameters and metrics, and a metadata-driven data versioning system for managing large-scale datasets and model artifacts. The platform is distinguished by its advanced compute management and serving capabilities. It features a GPU compute manager that supports fractional resource slicing and

ClearML is a comprehensive MLOps platform designed to manage the entire machine learning lifecycle. It functions as an experiment tracking tool, a data versioning system, and a pipeline orchestrator, while providing infrastructure for GPU cluster management and model serving. The platform is distinguished by its ability to handle hybrid-cloud compute scheduling and fractional GPU allocation, allowing multiple workloads to share a single hardware accelerator. It employs a metadata-based approach to data versioning, using virtual views to track large datasets and artifacts without duplicating r

Nuclio is a high-performance serverless framework designed for Kubernetes that automatically executes user functions when events arrive from HTTP endpoints, message queues, or streaming data platforms. It processes hundreds of thousands of events per second per function instance through efficient parallel workers, and can allocate functions to run on either CPU or GPU hardware to match workload requirements for data processing or machine learning tasks. The platform scales function instances down to zero when idle and wakes them on demand based on incoming event load, while providing an event

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

Quip Node Manager es una interfaz gráfica de usuario diseñada para desplegar, monitorear y configurar nodos de Quip Network y sus pilas de contenedores asociadas. Sirve como un panel de orquestación de contenedores que permite a los usuarios gestionar servicios de aplicaciones interconectados sin usar herramientas de línea de comandos. El proyecto cuenta con un gestor de aceleración de hardware para mapear recursos de cómputo de CPU y GPU específicos al entorno de ejecución y gestionar la memoria del dispositivo. Incluye un validador de preparación del sistema para verificar la disponibilidad de herramientas de contenedor y la accesibilidad de puertos de red antes de iniciar la pila de aplicaciones, así como un gestor de proxy inverso que adquiere y renueva automáticamente certificados de seguridad mediante verificación de DNS y correo electrónico. El software proporciona capacidades para el despliegue automatizado de nodos, transmisión de registros de tiempo de ejecución en tiempo real y monitoreo de actualizaciones de software. Rastrea resúmenes de imágenes y lanzamientos de aplicaciones a intervalos fijos para activar reinicios automáticos del sistema cuando hay actualizaciones disponibles.

ZenML is an extensible machine learning orchestration framework designed to manage the end-to-end lifecycle of data pipelines and AI agent workflows. It functions as a durable orchestrator that executes machine learning tasks as directed acyclic graphs, ensuring that every step is containerized for consistent performance across local, cloud, and hybrid infrastructure. By decoupling pipeline code from underlying compute and storage backends, the platform allows developers to define infrastructure-agnostic stacks that remain portable across diverse environments. The project distinguishes itself

ZenML is an orchestration platform designed for building, deploying, and monitoring reproducible machine learning pipelines and agentic workflows. It provides a unified framework that manages the entire lifecycle of machine learning assets, from data processing and model training to the deployment of persistent inference services. By decoupling pipeline logic from underlying compute and storage, the platform enables teams to transition workflows seamlessly from local development environments to production-grade cloud infrastructure. The platform distinguishes itself through a service-oriented

Cube Studio es una plataforma MLOps nativa de la nube y un orquestador de IA basado en Kubernetes, diseñado para todo el ciclo de vida del machine learning. Proporciona un framework de entrenamiento distribuido para el ajuste fino de modelos a gran escala, un gestor de recursos GPU para virtualización de hardware y un orquestador de pipelines de ML que utiliza grafos acíclicos dirigidos visuales para gestionar flujos de trabajo de extremo a extremo. La plataforma se distingue por su servidor de inferencia LLM especializado, que soporta generación aumentada por recuperación (RAG) y la construcción de bases de conocimiento privadas. Cuenta con un sistema dedicado para el ajuste fino supervisado y aprendizaje por refuerzo de modelos de lenguaje grandes, complementado con herramientas visuales de búsqueda de hiperparámetros. El sistema cubre una amplia gama de capacidades operativas, incluyendo etiquetado de datos multimodales, pipelines de datos distribuidos y programación de cargas de trabajo en múltiples clústeres. También ofrece entornos de desarrollo interactivos basados en navegador, gestión de imágenes de contenedor y un registro de modelos para versionar y desplegar APIs de inferencia escalables con división de tráfico. La infraestructura incluye monitorización de salud del clúster integrada y control de acceso basado en roles con integración de inicio de sesión único (SSO).

FedML es una biblioteca de entrenamiento de aprendizaje automático distribuido, framework de aprendizaje federado y orquestador de cargas de trabajo de GPU. Proporciona los componentes centrales del sistema necesarios para ejecutar el entrenamiento y ajuste fino de modelos a gran escala en clústeres de GPU multi-nube, on-premise y descentralizados, ofreciendo además un motor dedicado para el despliegue escalable de modelos y un gestor de pipelines MLOps para la gestión del ciclo de vida de extremo a extremo. La plataforma se distingue por permitir el aprendizaje federado que preserva la privacidad en dispositivos edge descentralizados y silos organizacionales, manteniendo los datos sin procesar en el hardware local. También cuenta con un mercado de cómputo de agrupación de recursos que permite a los usuarios contribuir con capacidad de GPU no utilizada a un pool compartido para la ejecución de tareas distribuidas. El sistema cubre una amplia gama de capacidades, incluyendo orquestación de GPU multi-nube, gestión automatizada de pipelines de aprendizaje automático y despliegue de IA en el edge para dispositivos IoT y smartphones. Además, integra herramientas para el ajuste fino de modelos fundamentales, despliegue de inferencia de baja latencia y seguimiento de experimentos de entrenamiento con perfilado de rendimiento de hardware. Los usuarios pueden lanzar y programar cargas de trabajo utilizando una interfaz de línea de comandos y archivos de configuración declarativos.