Awesome GitHub RepositoriesGPU Memory Optimizers

waifu2x-caffe is a deep learning image upscaler and denoiser that uses the Caffe framework to increase image resolution and remove noise from illustrations and photographs. It functions as a neural network image processor that reduces compression artifacts and pixelation while maintaining visual clarity. The project provides specialized neural network weights optimized separately for 2D illustrations and real-world photographs. It includes distinct processing for alpha channels to preserve transparency and employs test-time augmentation to improve output precision. The tool supports both a c

bitsandbytes is a deep learning quantization tool and library designed to reduce the memory footprint of large language models. It serves as a GPU memory optimizer and quantization framework, compressing model weights and features to 8-bit and 4-bit precision to enable inference and training on hardware with limited memory. The project provides a framework for low-rank adaptation, allowing the fine-tuning of quantized models by combining 4-bit weights with small trainable matrices. It further distinguishes itself through memory paging, which moves optimizer states between CPU and GPU memory t

DeepSpeedExamples is a collection of reference implementations and scripts for training, fine-tuning, and executing inference on large-scale AI models using DeepSpeed optimization. It provides a distributed model training guide and practical workflows for adapting large language models through memory-efficient techniques. The repository includes specialized implementations for pipeline parallelism to handle models exceeding single GPU memory and a suite of examples for ZeRO memory optimization to reduce per-device overhead. It also features standardized test suites for benchmarking the throug

CogVLM is a multimodal large language model designed for visual reasoning and multi-turn dialogue. It functions as a visual grounding model and a quantized vision model, combining text and image processing to perform complex understanding and maintain context across visual inputs. The project includes capabilities as a GUI automation agent, allowing it to analyze application screenshots, plan operational steps, and return precise screen coordinates for interface interaction. It further supports visual grounding by generating bounding box coordinates to map text descriptions to specific spatia

mistral.rs is an inference engine for large language models that runs locally and exposes models behind OpenAI and Anthropic-compatible APIs. It serves as a multi-model serving platform, capable of loading several models in a single server process with per-request routing and on-demand loading and unloading. The engine supports multimodal inference, processing text alongside images, video, audio, and speech inputs, and includes a quantized model deployment runtime that reduces memory use and speeds up inference on consumer hardware. The project distinguishes itself through an agentic tool exe

Gemma ist eine Familie von Open-Weights Large Language Models, die auf einer Decoder-only-Transformer-Architektur basieren. Diese Modelle sind für Textgenerierung und multimodale Konversationen konzipiert und in der Lage, Antworten basierend auf sowohl textuellen als auch visuellen Eingabesequenzen zu verarbeiten und zu generieren. Das Projekt bietet ein feinabgestimmtes KI-Modell, das Gewichtsanpassungen und Low-Rank-Adaption unterstützt, um die Leistung für bestimmte Aufgaben zu spezialisieren. Es beinhaltet Unterstützung für quantisierte Gewichte, um den Speicherverbrauch zu reduzieren und die Inferenzgeschwindigkeit auf begrenzter Hardware zu erhöhen. Die Funktionspalette deckt multimodale KI-Integration, Speicheroptimierung durch Parameter-Sharding sowie die Integration externer Tools und APIs zum Abrufen von Echtzeitdaten ab. Es ermöglicht zudem die Generierung von Bildern aus Text und das Sampling strukturierter Textausgaben.

bert4keras ist eine leichtgewichtige Reimplementierung der BERT-Transformer-Architektur für das Keras-Deep-Learning-Framework. Es dient als Toolkit für die natürliche Sprachverarbeitung (NLP) und als Transformer-Modellbibliothek, die für Textklassifizierung, Sequenz-Labeling und die Extraktion semantischer Embeddings verwendet wird. Das Framework enthält ein Sequence-to-Sequence-Modellsystem für Question-Answering und Textgenerierung sowie einen Modell-Inference-Server, um trainierte Transformer als Web-APIs für Echtzeit-Vorhersagen bereitzustellen. Die Funktionen decken ein breites Spektrum an Aufgaben des natürlichen Sprachverständnisses ab, einschließlich Leseverständnis, Relationsextraktion und Langtextverarbeitung. Die Bibliothek bietet Tools für das Pre-Training und Fine-Tuning von Sprachmodellen sowie Optimierungstechniken wie Parameterreduktion, adversarielles Training für Robustheit und schichtweise Konfiguration der Lernrate. Das Projekt enthält einen Weight-Conversion-Loader, um vortrainierte Gewichte aus externen Formaten in kompatible Keras-Strukturen umzuwandeln.

DeepSeek-VL2 ist ein multimodales Large Language Model und Vision-Language-System, das darauf ausgelegt ist, visuelle Szenen zu analysieren und beschreibenden Text zu generieren. Es fungiert als Modell für visuelle Fragenbeantwortung (VQA) und visuelle Verankerung (Visual Grounding), das in der Lage ist, Informationen aus Dokumenten zu extrahieren und spezifische Objekte oder Regionen innerhalb von Bildern basierend auf textuellen Beschreibungen zu lokalisieren. Das Projekt nutzt eine Mixture-of-Experts-Architektur, um kombinierte Bild- und Texteingaben zu verarbeiten. Es ist für die Inferenz durch inkrementelles Prefilling optimiert, was den GPU-Speicherbedarf auf Hardware reduziert. Das Modell deckt multimodale Datenanalyse und visuelles Dokumentenverständnis ab, einschließlich der Interpretation von Diagrammen und Layouts. Es führt visuelle Inferenz und Verankerung durch, um textuelle Anfragen mit entsprechenden visuellen Inhalten abzugleichen.

This project is a neural network extension for Stable Diffusion that provides spatial control and geometric consistency for text-to-image generation. It functions as an image structure controller and conditioning tool, enabling the use of external inputs to guide the layout and geometry of generated imagery. The framework is distinguished by its ability to transform input images into structural guides through various preprocessors. These include the extraction of depth maps, normal maps, and human pose landmarks, as well as the detection of Canny edges, anime lineart, and straight architectur

Dieses Projekt ist ein umfassendes Bildungsprogramm und Deep-Learning-Framework, das darauf ausgelegt ist, praktisches Deep Learning mit PyTorch anhand von Notebooks und Codebeispielen zu vermitteln. Es dient als High-Level-Bibliothek zum Erstellen, Trainieren und Bereitstellen neuronaler Netze und fungiert als Modell-Trainings-Orchestrator, der PyTorch-Modelle, Optimierer und Verlustfunktionen koordiniert. Das Projekt bietet spezialisierte Toolkits für Computer Vision, Natural Language Processing und die Vorverarbeitung tabellarischer Daten. Es zeichnet sich durch fortschrittliche Trainingskontrollen aus, wie z. B. diskriminative Lernraten, ein Zwei-Wege-Callback-System zur Anpassung der Trainingslogik und eine High-Level-Learner-Abstraktion, die die Geräteplatzierung und Trainingsschleifen automatisiert. Das Framework deckt ein breites Fähigkeitsspektrum ab, einschließlich der automatisierten Konstruktion von Datenpipelines, der Analyse von Modellarchitekturen und der Leistungsbewertung bei Klassifizierungs-, Regressions- und Segmentierungsaufgaben. Es enthält zudem Dienstprogramme für verteiltes Training über mehrere GPUs, Mixed-Precision-Training zur Speicheroptimierung und spezialisierte Unterstützung für medizinische Bilddaten. Das Projekt wird als eine Reihe von Jupyter Notebooks bereitgestellt.

Kokoro-FastAPI is a text-to-speech API and LLM speech synthesis server that generates spoken audio from text via a REST interface. It functions as a Kubernetes-native deployment designed for orchestrated speech synthesis. The system includes a voice blending engine that creates unique vocal profiles by mixing multiple existing voices using custom weight ratios. The service provides real-time audio streaming to reduce latency and generates word-level timestamps for speech synchronization. It manages hardware efficiency through on-demand model loading to optimize VRAM usage and includes system

Text2Video-Zero is a text-to-video diffusion model and framework designed to synthesize temporally consistent video sequences from textual prompts. It functions as a zero-shot video generator, repurposing pre-trained image diffusion models to create video content without requiring additional training on video datasets. The system includes a conditional video synthesizer that allows for guided generation using depth, edge, or pose maps to control structural layout and movement. It also provides text-based video editing capabilities to modify the style or content of existing video clips through

RAFT ist ein PyTorch-Computer-Vision-Framework und Deep-Learning-System für die optische Fluss-Schätzung. Es fungiert als GPU-beschleunigter Bewegungs-Schätzer, der pro-Pixel-Bewegungsvektoren zwischen Videoframes berechnet, um Objektbewegungen zu bestimmen. Die Implementierung nutzt rekurrente All-Pairs-Field-Transforms und benutzerdefinierte CUDA-Kernel, um den Speicher- und Rechenaufwand für hochdimensionale Korrelationsberechnungen zu optimieren. Diese hardwarenahe Beschleunigung reduziert den GPU-Speicherverbrauch während des Forward-Passes. Das Toolkit deckt überwachtes Flow-Learning und Modelltraining unter Verwendung von Mixed-Precision-Formaten ab. Es enthält zudem Funktionen für die Videobewegungsanalyse und das Benchmarking der Modellgenauigkeit anhand von Standard-Datensätzen für optischen Fluss.

Dies ist ein PyTorch-Empfehlungs-Framework und ein Deep-Learning-Empfehlungsmodell, das darauf ausgelegt ist, personalisierte Inhaltsvorhersagen zu generieren. Es fungiert als verteilter Embedding-Trainer, der dichte und spärliche Merkmale durch eine neuronale Netzwerkarchitektur verarbeitet, um Benutzerpräferenzen vorherzusagen. Das Projekt implementiert ein CUDA-optimiertes Machine-Learning-System unter Verwendung spezialisierter GPU-Kernel, um Embedding-Lookups und Aggregationen zu beschleunigen. Es verwendet einen verteilten Ansatz, um massive spärliche Merkmaltabellen über mehrere GPUs zu sharden, was das Training groß angelegter Modelle ermöglicht. Das System nutzt eine Two-Tower-Architektur für Merkmalsinteraktionen und unterstützt hybride Parallelität, die Daten- und Modellparallelität über Rechencluster hinweg kombiniert. Sein Funktionsumfang umfasst verteiltes Training über Netzwerkknoten, GPU-Speicheroptimierung und Checkpoint-basierte Statuswiederherstellung.

Qwen2.5-Omni ist ein multimodales Large Language Model für Omnichannel-Anwendungen, das Inhalte über Text, Audio, Bild und Video verarbeiten und generieren kann. Es fungiert als Echtzeit-Sprach-KI und nutzt eine End-to-End-Architektur, um synchrone Sprachkonversationen mit geringer Latenz zu ermöglichen. Das Projekt betont Effizienz durch quantisierte Edge-Modelle, die eine lokale Inferenz auf mobiler Hardware und ressourcenbeschränkten Geräten ermöglichen. Es verwendet 4-Bit-Gewichtungsquantisierung, CPU-basiertes Process-Offloading und On-Demand-Gewichtungsladung, um den GPU-Speicherbedarf zu senken. Das System integriert spezialisierte Encoder zur Analyse multimodaler Datenströme und verfügt über einen Streaming-Decoder für die Echtzeit-Sprachgenerierung. Es enthält zudem Funktionen zur Anpassung der Sprachausgabe, um die tonalen und geschlechtsspezifischen Eigenschaften des Audiosignals zu modifizieren.

Nunchaku is a 4-bit model quantization library and diffusion model inference engine designed to run large-scale neural networks on consumer GPUs. It functions as a GPU-accelerated optimizer that reduces VRAM usage and increases inference speed through weight compression and memory management. The project utilizes low-rank weight decomposition and SVD weight quantization to compress models to four-bit precision while maintaining visual fidelity. It employs kernel-level operator fusion to minimize data movement and hardware-aware precision mapping to adjust numerical precision based on the unde

Lorax is a GPU-accelerated inference server and multi-adapter engine designed for serving large language models. It functions as a high-throughput system capable of deploying models via Kubernetes and managing the dynamic swapping of Low-Rank Adaptation adapters per request. The server distinguishes itself through multi-adapter dynamic batching, which allows requests using different adapter weights to be processed in a single GPU forward pass. It employs just-in-time adapter loading and weighted adapter merging to maximize throughput and enable multi-tasking without sacrificing performance.

This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen

TurboDiffusion is a video diffusion inference engine and generator designed to create high-resolution videos from text prompts and images. It provides a runtime environment for executing optimized diffusion model checkpoints with a focus on reducing latency and GPU memory usage. The project features a specialized training framework for aligning sparse-linear attention models with pretrained full-attention models. This system includes capabilities for sparse attention parameter merging and sparse-linear model alignment to reduce computational costs during inference while maintaining output qua