Awesome GitHub RepositoriesGPU Memory Orchestration

jetson-inference is a set of libraries and tools for executing optimized deep learning models on embedded GPU hardware. Its primary purpose is to enable real-time computer vision and AI inference at the edge with low latency and high throughput. The project distinguishes itself through high-performance streaming analytics and the ability to execute concurrent AI pipelines on auto-grade silicon. It provides specialized support for multi-sensor stream processing, utilizing zero-copy data transport to load camera frames directly into GPU memory. The codebase covers a broad surface of capabiliti

pysheeet es una biblioteca de referencia técnica que proporciona una colección curada de fragmentos de código y patrones de implementación para el desarrollo avanzado en Python, integración de sistemas y computación de alto rendimiento. Sirve como una guía completa para implementar programación de red de bajo nivel, extensiones nativas en C y programación asíncrona y concurrente. El proyecto proporciona frameworks especializados para el desarrollo y despliegue de modelos de lenguaje de gran tamaño, incluyendo herramientas para inferencia distribuida en GPU y servicio de alto rendimiento. También incluye patrones detallados para la orquestación de clústeres de computación de alto rendimiento, cubriendo la asignación de recursos de GPU y la gestión de cargas de trabajo en múltiples nodos. La biblioteca cubre una amplia superficie de capacidades, incluyendo comunicación de red segura y criptografía, mapeo objeto-relacional y gestión de bases de datos, y la implementación de estructuras de datos y algoritmos complejos. También proporciona utilidades para la gestión de memoria, interoperabilidad nativa a través de interfaces de funciones externas e integración de sistemas operativos a nivel de sistema.

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

bitsandbytes is a deep learning quantization tool and library designed to reduce the memory footprint of large language models. It serves as a GPU memory optimizer and quantization framework, compressing model weights and features to 8-bit and 4-bit precision to enable inference and training on hardware with limited memory. The project provides a framework for low-rank adaptation, allowing the fine-tuning of quantized models by combining 4-bit weights with small trainable matrices. It further distinguishes itself through memory paging, which moves optimizer states between CPU and GPU memory t

Mooncake es una plataforma de servicio de modelos de lenguaje grandes (LLM) desagregados y un almacén distribuido de clave-valor diseñado para infraestructura de inferencia de alto rendimiento. Funciona como un orquestador de memoria GPU y un sistema de gestión de caché KV que agrupa y transfiere cachés de clave-valor a través de clústeres para acelerar la inferencia. El sistema se distingue por separar las fases de prellenado (prefill) y decodificación (decode) de la inferencia en clústeres de hardware distintos para optimizar la utilización de recursos. Utiliza una caché distribuida RDMA de alto rendimiento con transferencias de copia cero para mover datos entre nodos de cómputo, evitando la CPU para reducir la latencia y la sobrecarga. La plataforma cubre áreas de capacidad amplias, incluyendo agrupación de memoria distribuida, enrutamiento de memoria de aceleradores mediante CXL y descarga de almacenamiento multinivel a SSDs. Gestiona el estado del clúster a través de servicios de coordinación de metadatos e implementa gobernanza de recursos mediante protección de objetos basada en arrendamiento y desalojo de caché basado en marcas de agua. El software está empaquetado para despliegue en contenedores con soporte para redes de host y mapeo de dispositivos de hardware.

NCCL es una biblioteca de comunicación de alto rendimiento y un framework de computación distribuida en GPU diseñado para ejecutar intercambios de datos colectivos y punto a punto a través de múltiples GPUs en sistemas de uno o varios nodos. Sirve como capa de transporte RDMA para GPU y orquestador de memoria, facilitando la sincronización de gran ancho de banda de datos y gradientes de modelos para el entrenamiento e inferencia distribuida en GPU. La biblioteca se distingue por su capacidad para ejecutar primitivas de comunicación directamente desde kernels de GPU, eliminando la CPU anfitriona del camino crítico. Utiliza la selección de rutas consciente de la topología para optimizar el movimiento de datos y emplea transporte de red basado en RDMA, incluyendo InfiniBand y NVLink, para permitir el acceso a memoria de copia cero entre dispositivos a través de diferentes nodos físicos. El proyecto cubre una amplia gama de patrones de comunicación colectiva, incluyendo reducciones, broadcasts, gathers e intercambios all-to-all, junto con acceso remoto a memoria punto a punto. Proporciona una gestión integral de comunicadores para inicializar, particionar y redimensionar grupos de GPU, así como una gestión de memoria especializada para registrar buffers y coordinar memoria compartida de dispositivo. El sistema incluye un conjunto de herramientas de monitoreo y observabilidad para el seguimiento de la salud, registro de diagnósticos y monitoreo de eventos en tiempo real, así como interfaces de integración para frameworks de aprendizaje automático, CUDA graphs, MPI y Python.

gpu.cpp is a lightweight C++ library for executing low-level general-purpose GPU computation across different hardware vendors and operating systems. It functions as a portable GPU wrapper, kernel orchestrator, and tensor management system using the WebGPU specification to abstract device initialization, buffer transfers, and compute shader dispatching. The library provides a framework for defining compute kernels from shader code and managing their asynchronous dispatch and synchronization. It enables the execution of cross-platform compute shaders and the orchestration of GPU tasks through