Awesome GitHub RepositoriesGPU Memory Optimizers

waifu2x-caffe is a deep learning image upscaler and denoiser that uses the Caffe framework to increase image resolution and remove noise from illustrations and photographs. It functions as a neural network image processor that reduces compression artifacts and pixelation while maintaining visual clarity. The project provides specialized neural network weights optimized separately for 2D illustrations and real-world photographs. It includes distinct processing for alpha channels to preserve transparency and employs test-time augmentation to improve output precision. The tool supports both a c

bitsandbytes is a deep learning quantization tool and library designed to reduce the memory footprint of large language models. It serves as a GPU memory optimizer and quantization framework, compressing model weights and features to 8-bit and 4-bit precision to enable inference and training on hardware with limited memory. The project provides a framework for low-rank adaptation, allowing the fine-tuning of quantized models by combining 4-bit weights with small trainable matrices. It further distinguishes itself through memory paging, which moves optimizer states between CPU and GPU memory t

DeepSpeedExamples is a collection of reference implementations and scripts for training, fine-tuning, and executing inference on large-scale AI models using DeepSpeed optimization. It provides a distributed model training guide and practical workflows for adapting large language models through memory-efficient techniques. The repository includes specialized implementations for pipeline parallelism to handle models exceeding single GPU memory and a suite of examples for ZeRO memory optimization to reduce per-device overhead. It also features standardized test suites for benchmarking the throug

CogVLM is a multimodal large language model designed for visual reasoning and multi-turn dialogue. It functions as a visual grounding model and a quantized vision model, combining text and image processing to perform complex understanding and maintain context across visual inputs. The project includes capabilities as a GUI automation agent, allowing it to analyze application screenshots, plan operational steps, and return precise screen coordinates for interface interaction. It further supports visual grounding by generating bounding box coordinates to map text descriptions to specific spatia

mistral.rs is an inference engine for large language models that runs locally and exposes models behind OpenAI and Anthropic-compatible APIs. It serves as a multi-model serving platform, capable of loading several models in a single server process with per-request routing and on-demand loading and unloading. The engine supports multimodal inference, processing text alongside images, video, audio, and speech inputs, and includes a quantized model deployment runtime that reduces memory use and speeds up inference on consumer hardware. The project distinguishes itself through an agentic tool exe

Gemma es una familia de modelos de lenguaje de gran tamaño de pesos abiertos basados en una arquitectura transformer solo de decodificador. Estos modelos están diseñados para la generación de texto y conversaciones multimodales, capaces de procesar y generar respuestas basadas tanto en secuencias de entrada textuales como visuales. El proyecto proporciona un modelo de IA ajustable (fine-tunable) que admite el ajuste de pesos y la adaptación de bajo rango (LoRA) para especializar el rendimiento en tareas particulares. Incluye soporte para pesos cuantizados para reducir el uso de memoria y aumentar la velocidad de inferencia en hardware limitado. La superficie de capacidades cubre la integración de IA multimodal, optimización de memoria mediante fragmentación de parámetros (sharding) y la integración de herramientas y APIs externas para recuperar datos en tiempo real. Permite además la generación de imágenes a partir de texto y el muestreo de salidas de texto estructurado.

bert4keras es una reimplementación ligera de la arquitectura de transformador BERT para el framework de aprendizaje profundo Keras. Sirve como un kit de herramientas de procesamiento de lenguaje natural y librería de modelos de transformadores utilizada para clasificación de texto, etiquetado de secuencias y extracción de embeddings semánticos. El framework incluye un sistema de modelos de secuencia a secuencia para responder preguntas y generar texto, así como un servidor de inferencia de modelos para desplegar transformadores entrenados como APIs web para predicciones en tiempo real. Las capacidades cubren una amplia gama de tareas de comprensión del lenguaje natural, incluyendo comprensión de lectura, extracción de relaciones y procesamiento de textos largos. La librería proporciona herramientas para el pre-entrenamiento y ajuste fino de modelos de lenguaje, junto con técnicas de optimización como reducción de parámetros, entrenamiento adversarial para robustez y configuración de tasa de aprendizaje por capa. El proyecto incluye un cargador de conversión de pesos para transformar pesos pre-entrenados de formatos externos en estructuras de Keras compatibles.

DeepSeek-VL2 es un modelo de lenguaje grande multimodal y sistema de visión-lenguaje diseñado para analizar escenas visuales y generar texto descriptivo. Funciona como un modelo de respuesta a preguntas visuales y fundamentación visual (visual grounding), capaz de extraer información de documentos y localizar objetos o regiones específicas dentro de imágenes basadas en descripciones textuales. El proyecto utiliza una arquitectura de mezcla de expertos (mixture-of-experts) para procesar entradas combinadas de imagen y texto. Está optimizado para la inferencia mediante prellenado incremental, lo que reduce los requisitos de memoria de GPU en el hardware. El modelo cubre el análisis de datos multimodal y la comprensión de documentos visuales, incluyendo la interpretación de gráficos y diseños. Realiza inferencia visual y fundamentación para hacer coincidir consultas textuales con el contenido visual correspondiente.

This project is a neural network extension for Stable Diffusion that provides spatial control and geometric consistency for text-to-image generation. It functions as an image structure controller and conditioning tool, enabling the use of external inputs to guide the layout and geometry of generated imagery. The framework is distinguished by its ability to transform input images into structural guides through various preprocessors. These include the extraction of depth maps, normal maps, and human pose landmarks, as well as the detection of Canny edges, anime lineart, and straight architectur

Este repositorio es un programa educativo integral y un framework de deep learning diseñado para enseñar aprendizaje profundo práctico usando PyTorch a través de notebooks y ejemplos de código. Sirve como una librería de alto nivel para construir, entrenar y desplegar redes neuronales, actuando como un orquestador de entrenamiento de modelos que coordina modelos de PyTorch, optimizadores y funciones de pérdida. El proyecto proporciona kits de herramientas especializados para visión artificial, procesamiento de lenguaje natural y preprocesamiento de datos tabulares. Se distingue por controles de entrenamiento avanzados como tasas de aprendizaje discriminativas, un sistema de callbacks bidireccional para personalizar la lógica de entrenamiento y una abstracción de learner de alto nivel que automatiza la colocación en dispositivos y los bucles de entrenamiento. El framework cubre una amplia superficie de capacidades, incluyendo la construcción automatizada de pipelines de datos, análisis de arquitectura de modelos y evaluación de rendimiento en tareas de clasificación, regresión y segmentación. También incluye utilidades para entrenamiento distribuido en múltiples GPUs, entrenamiento de precisión mixta para optimización de memoria y soporte especializado para datos de imágenes médicas. El proyecto se entrega como una serie de Jupyter Notebooks.

Kokoro-FastAPI is a text-to-speech API and LLM speech synthesis server that generates spoken audio from text via a REST interface. It functions as a Kubernetes-native deployment designed for orchestrated speech synthesis. The system includes a voice blending engine that creates unique vocal profiles by mixing multiple existing voices using custom weight ratios. The service provides real-time audio streaming to reduce latency and generates word-level timestamps for speech synchronization. It manages hardware efficiency through on-demand model loading to optimize VRAM usage and includes system

Text2Video-Zero es un modelo de difusión de texto a video y un framework diseñado para sintetizar secuencias de video temporalmente consistentes a partir de prompts textuales. Funciona como un generador de video zero-shot, reutilizando modelos de difusión de imágenes preentrenados para crear contenido de video sin requerir entrenamiento adicional en conjuntos de datos de video. El sistema incluye un sintetizador de video condicional que permite la generación guiada utilizando mapas de profundidad, bordes o poses para controlar el diseño estructural y el movimiento. También proporciona capacidades de edición de video basadas en texto para modificar el estilo o el contenido de clips de video existentes mediante instrucciones en lenguaje natural. Para gestionar los requisitos computacionales, el proyecto implementa inferencia optimizada para memoria de GPU. Esto se logra mediante técnicas como la fusión de tokens y la fragmentación de fotogramas para reducir el uso de VRAM durante el proceso de generación.

RAFT es un framework de visión artificial para PyTorch y un sistema de aprendizaje profundo diseñado para la estimación de flujo óptico. Funciona como un estimador de movimiento acelerado por GPU que calcula vectores de movimiento por píxel entre fotogramas de video para determinar el movimiento de los objetos. La implementación utiliza transformaciones recurrentes de campo de todos los pares y kernels CUDA personalizados para optimizar la memoria y la sobrecarga de cómputo asociada con los cálculos de correlación de alta dimensión. Esta aceleración a nivel de hardware reduce el uso de memoria de la GPU durante el paso hacia adelante (forward pass). El kit de herramientas cubre el aprendizaje de flujo supervisado y el entrenamiento de modelos utilizando formatos de precisión mixta. También incluye capacidades para el análisis de movimiento de video y la evaluación comparativa de la precisión del modelo frente a datasets estándar de flujo óptico.

Este es un framework de recomendación de PyTorch y modelo de recomendación de aprendizaje profundo diseñado para generar predicciones de contenido personalizadas. Funciona como un entrenador de embeddings distribuido que procesa características densas y dispersas a través de una arquitectura de red neuronal para predecir las preferencias del usuario. El proyecto implementa un sistema de aprendizaje automático optimizado para CUDA utilizando kernels de GPU especializados para acelerar la búsqueda y agregación de embeddings. Emplea un enfoque distribuido para fragmentar tablas de características dispersas masivas a través de múltiples GPU, permitiendo el entrenamiento de modelos a gran escala. El sistema utiliza una arquitectura de dos torres para la interacción de características y admite paralelismo híbrido, combinando paralelismo de datos y de modelo a través de clústeres de cómputo. Su superficie de capacidades incluye entrenamiento distribuido a través de nodos de red, optimización de memoria de GPU y recuperación de estado basada en puntos de control.

Qwen2.5-Omni is an omnichannel multimodal large language model designed to process and generate content across text, audio, vision, and video. It functions as a real-time speech AI, utilizing an end-to-end architecture to maintain synchronous voice conversations with low-latency responses. The project emphasizes efficiency through quantized edge models, allowing for local inference on mobile hardware and resource-constrained devices. It employs 4-bit weight quantization, CPU-based process offloading, and on-demand weight loading to reduce GPU memory requirements. The system integrates specia

Nunchaku is a 4-bit model quantization library and diffusion model inference engine designed to run large-scale neural networks on consumer GPUs. It functions as a GPU-accelerated optimizer that reduces VRAM usage and increases inference speed through weight compression and memory management. The project utilizes low-rank weight decomposition and SVD weight quantization to compress models to four-bit precision while maintaining visual fidelity. It employs kernel-level operator fusion to minimize data movement and hardware-aware precision mapping to adjust numerical precision based on the unde

Lorax is a GPU-accelerated inference server and multi-adapter engine designed for serving large language models. It functions as a high-throughput system capable of deploying models via Kubernetes and managing the dynamic swapping of Low-Rank Adaptation adapters per request. The server distinguishes itself through multi-adapter dynamic batching, which allows requests using different adapter weights to be processed in a single GPU forward pass. It employs just-in-time adapter loading and weighted adapter merging to maximize throughput and enable multi-tasking without sacrificing performance.

This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen

TurboDiffusion is a video diffusion inference engine and generator designed to create high-resolution videos from text prompts and images. It provides a runtime environment for executing optimized diffusion model checkpoints with a focus on reducing latency and GPU memory usage. The project features a specialized training framework for aligning sparse-linear attention models with pretrained full-attention models. This system includes capabilities for sparse attention parameter merging and sparse-linear model alignment to reduce computational costs during inference while maintaining output qua