Awesome GitHub RepositoriesMemory-Efficient Deep Learning

ColossalAI is a distributed deep learning framework designed for training and deploying massive artificial intelligence models across clusters of hardware accelerators. It functions as a parallel computing engine that partitions model workloads and data across multiple processors to maximize memory efficiency and throughput. The platform distinguishes itself through a comprehensive suite of parallelization strategies, including multi-dimensional tensor parallelism and pipeline-based model parallelism, which segment neural network layers and stages across devices. To support large-scale genera

RWKV-LM is a framework for training and deploying recurrent language models. It utilizes a linear-time recurrent architecture that enables text generation and sequence processing with constant memory and time complexity, avoiding the quadratic scaling of traditional attention caches. The project implements a parallelizable training mechanism that allows recurrent models to be trained using global operations while maintaining cache-free inference. It includes state-tuning capabilities to optimize the initial hidden state and utilizes adaptive probability-mass sampling to control token diversit

xformers is a collection of specialized toolsets for fused GPU operators, sparse attention mechanisms, modular transformer components, and performance benchmarking. It provides a library of optimized and interoperable building blocks used to construct and experiment with transformer architectures. The project features a fused CUDA operator library that combines common layers into single GPU operations to increase throughput. It includes a sparse attention framework and memory-efficient attention kernels that utilize tiling strategies and structured sparsity patterns to reduce computational ov

TNN es un framework de inferencia de deep learning diseñado para ejecutar redes neuronales preentrenadas en hardware móvil, de escritorio y servidor. Funciona como un runtime acelerado por hardware y un kit de herramientas de compresión de modelos, proporcionando una interfaz unificada para desplegar modelos en diversos entornos. El framework incluye un convertidor de modelos ONNX para transformar modelos de varios frameworks de entrenamiento a un formato interno estandarizado. Se distingue por una combinación de herramientas de compresión de modelos —incluyendo cuantización de pesos y poda de código estático— y un sistema de gestión de memoria que reutiliza buffers entre nodos no dependientes para reducir el uso de RAM. El sistema optimiza el rendimiento mediante la fusión de operadores para minimizar el acceso a la memoria y emplea backends específicos de plataforma para aprovechar procesadores especializados y GPUs. Aumenta aún más la velocidad de ejecución mediante cálculos de baja precisión y ajustes específicos de hardware.

Efficient-AI-Backbones es una librería de redes neuronales ligera y zoo de modelos de visión artificial. Proporciona una colección de backbones de deep learning optimizados diseñados para minimizar la sobrecarga computacional y el uso de memoria para tareas de inteligencia artificial. El proyecto implementa arquitecturas especializadas como GhostNet y MLP para reducir los requisitos de procesamiento. Cuenta con un diseño de backbone modular y la distribución de pesos preentrenados para acelerar el desarrollo y despliegue de modelos de visión. La librería cubre el diseño eficiente de redes neuronales y la optimización de IA para dispositivos de borde (edge devices). Sus capacidades incluyen la implementación de arquitecturas ligeras y el despliegue de backbones preentrenados para aplicaciones de visión artificial.

llm-compressor is a quantization toolkit and post-training library designed to reduce the memory footprint and size of large language models. It provides a framework for compressing models using weight and activation quantization to enable more efficient deployment. The project distinguishes itself through a distributed quantization framework that utilizes data-parallel processing and disk-based weight offloading to handle massive model checkpoints that exceed available system memory. It includes specialized compressors for diverse architectures, including Mixture-of-Experts, Vision-Language,

Este framework proporciona un toolkit para el ajuste fino (fine-tuning) de modelos de lenguaje de gran tamaño combinando paralelismo de datos distribuido con técnicas de fragmentación de parámetros y cuantización. Está diseñado para escalar el entrenamiento de redes neuronales masivas a través de múltiples procesadores gráficos, permitiendo la ejecución de modelos que exceden la capacidad de memoria de unidades de hardware individuales. La librería se distingue por integrar la adaptación de bajo rango (LoRA) con carga de pesos eficiente en memoria y fragmentación de parámetros consciente de la cuantización. Al inicializar los pesos del modelo directamente en el procesador gráfico y aplicar un envoltorio granular por capas, el framework minimiza los picos de memoria y reduce la sobrecarga de comunicación durante las fases de configuración y entrenamiento distribuido. El sistema admite el entrenamiento de arquitecturas transformer personalizadas a través de políticas de envoltorio flexibles para capas de atención y perceptrón multicapa. Además, optimiza el uso de recursos ajustando dinámicamente la precisión numérica durante el cálculo, equilibrando la estabilidad del entrenamiento frente a la memoria de hardware disponible. El proyecto se distribuye como una colección de utilidades y scripts destinados a su uso en entornos de computación distribuida.

Segment Anything Fast es un motor de inferencia de visión artificial de alto rendimiento y un framework de segmentación de imágenes construido para PyTorch. Proporciona un entorno especializado para el aislamiento automatizado de objetos y la generación de máscaras, diseñado para procesar datasets visuales a gran escala con mayor rendimiento. El proyecto se distingue por una suite de estrategias de optimización a nivel de sistema que aceleran el rendimiento de modelos de deep learning. Mediante el uso de compilación de modelos basada en grafos, fusión de kernels just-in-time y cuantización consciente del hardware, reduce la latencia computacional y el uso de memoria. Estas técnicas se complementan con aritmética de precisión mixta y paralelismo de entrada por lotes, que permiten al motor saturar los recursos de hardware durante tareas de segmentación complejas. Más allá de sus capacidades principales de segmentación, la librería incluye herramientas de diagnóstico integradas para el perfilado de rendimiento de deep learning. Estas utilidades permiten a los usuarios monitorear patrones de asignación de memoria y capturar trazas de tiempo de ejecución, proporcionando visibilidad sobre los cuellos de botella del sistema durante el análisis de datos a gran escala.