Awesome GitHub RepositoriesGPU Memory Optimizers

waifu2x-caffe is a deep learning image upscaler and denoiser that uses the Caffe framework to increase image resolution and remove noise from illustrations and photographs. It functions as a neural network image processor that reduces compression artifacts and pixelation while maintaining visual clarity. The project provides specialized neural network weights optimized separately for 2D illustrations and real-world photographs. It includes distinct processing for alpha channels to preserve transparency and employs test-time augmentation to improve output precision. The tool supports both a c

bitsandbytes is a deep learning quantization tool and library designed to reduce the memory footprint of large language models. It serves as a GPU memory optimizer and quantization framework, compressing model weights and features to 8-bit and 4-bit precision to enable inference and training on hardware with limited memory. The project provides a framework for low-rank adaptation, allowing the fine-tuning of quantized models by combining 4-bit weights with small trainable matrices. It further distinguishes itself through memory paging, which moves optimizer states between CPU and GPU memory t

DeepSpeedExamples is a collection of reference implementations and scripts for training, fine-tuning, and executing inference on large-scale AI models using DeepSpeed optimization. It provides a distributed model training guide and practical workflows for adapting large language models through memory-efficient techniques. The repository includes specialized implementations for pipeline parallelism to handle models exceeding single GPU memory and a suite of examples for ZeRO memory optimization to reduce per-device overhead. It also features standardized test suites for benchmarking the throug

CogVLM is a multimodal large language model designed for visual reasoning and multi-turn dialogue. It functions as a visual grounding model and a quantized vision model, combining text and image processing to perform complex understanding and maintain context across visual inputs. The project includes capabilities as a GUI automation agent, allowing it to analyze application screenshots, plan operational steps, and return precise screen coordinates for interface interaction. It further supports visual grounding by generating bounding box coordinates to map text descriptions to specific spatia

mistral.rs is an inference engine for large language models that runs locally and exposes models behind OpenAI and Anthropic-compatible APIs. It serves as a multi-model serving platform, capable of loading several models in a single server process with per-request routing and on-demand loading and unloading. The engine supports multimodal inference, processing text alongside images, video, audio, and speech inputs, and includes a quantized model deployment runtime that reduces memory use and speeds up inference on consumer hardware. The project distinguishes itself through an agentic tool exe

Gemma est une famille de grands modèles de langage à poids ouverts basés sur une architecture transformer uniquement décodeur. Ces modèles sont conçus pour la génération de texte et les conversations multimodales, capables de traiter et de générer des réponses basées sur des séquences d'entrée textuelles et visuelles. Le projet fournit un modèle d'IA affinable qui prend en charge l'ajustement des poids et l'adaptation de bas rang pour spécialiser les performances pour des tâches particulières. Il inclut la prise en charge des poids quantifiés pour réduire l'utilisation de la mémoire et augmenter la vitesse d'inférence sur du matériel limité. La surface de capacité couvre l'intégration de l'IA multimodale, l'optimisation de la mémoire via le sharding de paramètres et l'intégration d'outils et d'API externes pour récupérer des données en temps réel. Il permet en outre la génération d'images à partir de texte et l'échantillonnage de sorties de texte structurées.

bert4keras est une réimplémentation légère de l'architecture transformer BERT pour le framework de deep learning Keras. Il sert de boîte à outils de traitement du langage naturel et de bibliothèque de modèles transformer utilisée pour la classification de texte, l'étiquetage de séquences et l'extraction d'embeddings sémantiques. Le framework inclut un système de modèle sequence-to-sequence pour la réponse aux questions et la génération de texte, ainsi qu'un serveur d'inférence de modèle pour déployer des transformers entraînés en tant qu'API web pour des prédictions en temps réel. Les capacités couvrent un large éventail de tâches de compréhension du langage naturel, incluant la compréhension de lecture, l'extraction de relations et le traitement de textes longs. La bibliothèque fournit des outils pour le pré-entraînement et le fine-tuning de modèles de langage, aux côtés de techniques d'optimisation telles que la réduction de paramètres, l'entraînement contradictoire pour la robustesse et la configuration du taux d'apprentissage par couche. Le projet inclut un chargeur de conversion de poids pour transformer les poids pré-entraînés depuis des formats externes en structures Keras compatibles.

DeepSeek-VL2 est un modèle de langage multimodal et un système vision-langage conçu pour analyser des scènes visuelles et générer du texte descriptif. Il fonctionne comme un modèle de réponse aux questions visuelles et de mise en correspondance visuelle, capable d'extraire des informations de documents et de localiser des objets ou régions spécifiques dans des images basées sur des descriptions textuelles. Le projet utilise une architecture de mélange d'experts (mixture-of-experts) pour traiter les entrées combinées d'images et de texte. Il est optimisé pour l'inférence via le pré-remplissage incrémentiel, ce qui réduit les besoins en mémoire GPU sur le matériel. Le modèle couvre l'analyse de données multimodales et la compréhension de documents visuels, incluant l'interprétation de graphiques et de mises en page. Il effectue une inférence visuelle et une mise en correspondance pour faire correspondre les requêtes textuelles avec le contenu visuel correspondant.

This project is a neural network extension for Stable Diffusion that provides spatial control and geometric consistency for text-to-image generation. It functions as an image structure controller and conditioning tool, enabling the use of external inputs to guide the layout and geometry of generated imagery. The framework is distinguished by its ability to transform input images into structural guides through various preprocessors. These include the extraction of depth maps, normal maps, and human pose landmarks, as well as the detection of Canny edges, anime lineart, and straight architectur

Ce projet est un programme éducatif complet et un framework de deep learning conçu pour enseigner le deep learning pratique avec PyTorch via des notebooks et des exemples de code. Il sert de bibliothèque de haut niveau pour construire, entraîner et déployer des réseaux de neurones, agissant comme un orchestrateur d'entraînement de modèles qui coordonne les modèles PyTorch, les optimiseurs et les fonctions de perte. Le projet fournit des boîtes à outils spécialisées pour la vision par ordinateur, le traitement du langage naturel et le prétraitement de données tabulaires. Il se distingue par des contrôles d'entraînement avancés tels que des taux d'apprentissage discriminatifs, un système de callback bidirectionnel pour personnaliser la logique d'entraînement, et une abstraction de haut niveau qui automatise le placement sur périphérique et les boucles d'entraînement. Le framework couvre une large surface de capacités, y compris la construction automatisée de pipelines de données, l'analyse d'architecture de modèles et l'évaluation des performances sur des tâches de classification, de régression et de segmentation. Il inclut également des utilitaires pour l'entraînement distribué sur plusieurs GPU, l'entraînement en précision mixte pour l'optimisation de la mémoire, et un support spécialisé pour les données d'imagerie médicale. Le projet est livré sous forme d'une série de Jupyter Notebooks.

Kokoro-FastAPI is a text-to-speech API and LLM speech synthesis server that generates spoken audio from text via a REST interface. It functions as a Kubernetes-native deployment designed for orchestrated speech synthesis. The system includes a voice blending engine that creates unique vocal profiles by mixing multiple existing voices using custom weight ratios. The service provides real-time audio streaming to reduce latency and generates word-level timestamps for speech synchronization. It manages hardware efficiency through on-demand model loading to optimize VRAM usage and includes system

Text2Video-Zero est un modèle de diffusion texte-vidéo et un framework conçu pour synthétiser des séquences vidéo temporellement cohérentes à partir de prompts textuels. Il fonctionne comme un générateur vidéo « zero-shot », réutilisant des modèles de diffusion d'image pré-entraînés pour créer du contenu vidéo sans nécessiter d'entraînement supplémentaire sur des jeux de données vidéo. Le système inclut un synthétiseur vidéo conditionnel qui permet une génération guidée utilisant des cartes de profondeur, de contour ou de pose pour contrôler la mise en page structurelle et le mouvement. Il fournit également des capacités d'édition vidéo basées sur le texte pour modifier le style ou le contenu de clips vidéo existants via des instructions en langage naturel. Pour gérer les exigences computationnelles, le projet implémente une inférence optimisée pour la mémoire GPU. Ceci est réalisé via des techniques telles que la fusion de jetons (token merging) et le découpage de trames (frame chunking) pour réduire l'utilisation de la VRAM pendant le processus de génération.

RAFT est un framework de vision par ordinateur PyTorch et un système de deep learning conçu pour l'estimation du flux optique. Il fonctionne comme un estimateur de mouvement accéléré par GPU qui calcule des vecteurs de mouvement par pixel entre les images vidéo pour déterminer le déplacement des objets. L'implémentation utilise des transformations de champ récurrentes « all-pairs » et des kernels CUDA personnalisés pour optimiser la mémoire et la charge de calcul associées aux calculs de corrélation de haute dimension. Cette accélération au niveau matériel réduit l'utilisation de la mémoire GPU lors de la passe avant (forward pass). La boîte à outils couvre l'apprentissage supervisé du flux et l'entraînement de modèles en utilisant des formats de précision mixte. Elle inclut également des capacités pour l'analyse de mouvement vidéo et l'évaluation de la précision des modèles par rapport à des jeux de données de flux optique standard.

Il s'agit d'un framework de recommandation PyTorch et d'un modèle de recommandation d'apprentissage profond conçu pour générer des prédictions de contenu personnalisées. Il fonctionne comme un entraîneur d'embeddings distribué qui traite des caractéristiques denses et creuses via une architecture de réseau neuronal pour prédire les préférences des utilisateurs. Le projet implémente un système d'apprentissage automatique optimisé pour CUDA utilisant des noyaux GPU spécialisés pour accélérer la recherche et l'agrégation d'embeddings. Il emploie une approche distribuée pour fragmenter (shard) des tables de caractéristiques creuses massives sur plusieurs GPU, permettant l'entraînement de modèles à grande échelle. Le système utilise une architecture à deux tours pour l'interaction des caractéristiques et prend en charge le parallélisme hybride, combinant le parallélisme de données et de modèle sur des clusters de calcul. Sa surface de capacités inclut l'entraînement distribué sur des nœuds réseau, l'optimisation de la mémoire GPU et la récupération d'état basée sur des points de contrôle (checkpoints).

Qwen2.5-Omni est un modèle de langage multimodal omnicanal conçu pour traiter et générer du contenu textuel, audio, visuel et vidéo. Il fonctionne comme une IA vocale en temps réel, utilisant une architecture de bout en bout pour maintenir des conversations vocales synchrones avec des réponses à faible latence. Le projet met l'accent sur l'efficacité grâce à des modèles de périphérie quantifiés, permettant une inférence locale sur du matériel mobile et des appareils aux ressources limitées. Il emploie une quantification de poids 4 bits, un déchargement des processus sur CPU et un chargement des poids à la demande pour réduire les besoins en mémoire GPU. Le système intègre des encodeurs spécialisés pour analyser les flux de données multimodaux et dispose d'un décodeur en streaming pour la génération vocale en temps réel. Il inclut également des capacités de personnalisation de la voix pour modifier les caractéristiques tonales et le genre de la sortie audio.

Nunchaku is a 4-bit model quantization library and diffusion model inference engine designed to run large-scale neural networks on consumer GPUs. It functions as a GPU-accelerated optimizer that reduces VRAM usage and increases inference speed through weight compression and memory management. The project utilizes low-rank weight decomposition and SVD weight quantization to compress models to four-bit precision while maintaining visual fidelity. It employs kernel-level operator fusion to minimize data movement and hardware-aware precision mapping to adjust numerical precision based on the unde

Lorax is a GPU-accelerated inference server and multi-adapter engine designed for serving large language models. It functions as a high-throughput system capable of deploying models via Kubernetes and managing the dynamic swapping of Low-Rank Adaptation adapters per request. The server distinguishes itself through multi-adapter dynamic batching, which allows requests using different adapter weights to be processed in a single GPU forward pass. It employs just-in-time adapter loading and weighted adapter merging to maximize throughput and enable multi-tasking without sacrificing performance.

This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen

TurboDiffusion is a video diffusion inference engine and generator designed to create high-resolution videos from text prompts and images. It provides a runtime environment for executing optimized diffusion model checkpoints with a focus on reducing latency and GPU memory usage. The project features a specialized training framework for aligning sparse-linear attention models with pretrained full-attention models. This system includes capabilities for sparse attention parameter merging and sparse-linear model alignment to reduce computational costs during inference while maintaining output qua