Awesome GitHub RepositoriesGPU Memory Optimizers

waifu2x-caffe is a deep learning image upscaler and denoiser that uses the Caffe framework to increase image resolution and remove noise from illustrations and photographs. It functions as a neural network image processor that reduces compression artifacts and pixelation while maintaining visual clarity. The project provides specialized neural network weights optimized separately for 2D illustrations and real-world photographs. It includes distinct processing for alpha channels to preserve transparency and employs test-time augmentation to improve output precision. The tool supports both a c

bitsandbytes is a deep learning quantization tool and library designed to reduce the memory footprint of large language models. It serves as a GPU memory optimizer and quantization framework, compressing model weights and features to 8-bit and 4-bit precision to enable inference and training on hardware with limited memory. The project provides a framework for low-rank adaptation, allowing the fine-tuning of quantized models by combining 4-bit weights with small trainable matrices. It further distinguishes itself through memory paging, which moves optimizer states between CPU and GPU memory t

DeepSpeedExamples is a collection of reference implementations and scripts for training, fine-tuning, and executing inference on large-scale AI models using DeepSpeed optimization. It provides a distributed model training guide and practical workflows for adapting large language models through memory-efficient techniques. The repository includes specialized implementations for pipeline parallelism to handle models exceeding single GPU memory and a suite of examples for ZeRO memory optimization to reduce per-device overhead. It also features standardized test suites for benchmarking the throug

CogVLM is a multimodal large language model designed for visual reasoning and multi-turn dialogue. It functions as a visual grounding model and a quantized vision model, combining text and image processing to perform complex understanding and maintain context across visual inputs. The project includes capabilities as a GUI automation agent, allowing it to analyze application screenshots, plan operational steps, and return precise screen coordinates for interface interaction. It further supports visual grounding by generating bounding box coordinates to map text descriptions to specific spatia

mistral.rs is an inference engine for large language models that runs locally and exposes models behind OpenAI and Anthropic-compatible APIs. It serves as a multi-model serving platform, capable of loading several models in a single server process with per-request routing and on-demand loading and unloading. The engine supports multimodal inference, processing text alongside images, video, audio, and speech inputs, and includes a quantized model deployment runtime that reduces memory use and speeds up inference on consumer hardware. The project distinguishes itself through an agentic tool exe

Gemma هي عائلة من نماذج اللغات الكبيرة ذات الأوزان المفتوحة القائمة على بنية محول (transformer) فك التشفير فقط. تم تصميم هذه النماذج لتوليد النصوص والمحادثات متعددة الوسائط، وهي قادرة على معالجة وتوليد الردود بناءً على تسلسلات المدخلات النصية والبصرية. يوفر المشروع نموذج ذكاء اصطناعي قابلاً للضبط الدقيق يدعم تعديل الأوزان والتكيف منخفض الرتبة (low-rank adaptation) لتخصيص الأداء لمهام معينة. يتضمن دعماً للأوزان المكممة (quantized) لتقليل استخدام الذاكرة وزيادة سرعة الاستنتاج على الأجهزة المحدودة. تغطي مساحة القدرات تكامل الذكاء الاصطناعي متعدد الوسائط، وتحسين الذاكرة من خلال تجزئة المعلمات، ودمج الأدوات الخارجية وواجهات برمجة التطبيقات لاسترجاع البيانات في الوقت الفعلي. كما تتيح توليد الصور من النصوص وأخذ عينات من مخرجات النصوص المهيكلة.

bert4keras هو تطبيق خفيف الوزن لبنية محول BERT لإطار عمل التعلم العميق Keras. يعمل كمجموعة أدوات لمعالجة اللغات الطبيعية ومكتبة نماذج محول تُستخدم لتصنيف النص، وتسمية التسلسل، واستخراج التضمين الدلالي. يتضمن إطار العمل نظام نموذج تسلسل إلى تسلسل للإجابة على الأسئلة وتوليد النص، بالإضافة إلى خادم استنتاج النموذج لنشر المحولات المدربة كواجهات برمجة تطبيقات ويب للتنبؤات في الوقت الفعلي. تغطي القدرات مجموعة واسعة من مهام فهم اللغة الطبيعية، بما في ذلك فهم القراءة، واستخراج العلاقات، ومعالجة النصوص الطويلة. توفر المكتبة أدوات للتدريب المسبق للغة والضبط الدقيق، إلى جانب تقنيات التحسين مثل تقليل المعلمات، والتدريب العدائي للمتانة، وتكوين معدل التعلم لكل طبقة. يتضمن المشروع محمل تحويل الأوزان لتحويل الأوزان المدربة مسبقاً من تنسيقات خارجية إلى هياكل Keras متوافقة.

DeepSeek-VL2 هو نموذج لغوي كبير متعدد الوسائط ونظام رؤية لغوية مصمم لتحليل المشاهد المرئية وتوليد نص وصفي. يعمل كنموذج للإجابة على الأسئلة المرئية والتأريض المرئي، وقادر على استخراج المعلومات من المستندات وتحديد كائنات أو مناطق محددة داخل الصور بناءً على أوصاف نصية. يستخدم المشروع معمارية خليط من الخبراء (mixture-of-experts) لمعالجة مدخلات الصور والنصوص المدمجة. تم تحسينه للاستدلال من خلال التعبئة التزايدية (incremental prefilling)، مما يقلل من متطلبات ذاكرة GPU على الأجهزة. يغطي النموذج تحليل البيانات متعدد الوسائط وفهم المستندات المرئية، بما في ذلك تفسير المخططات والتخطيطات. يقوم بإجراء استدلال مرئي وتأريض لمطابقة الاستعلامات النصية مع المحتوى المرئي المقابل.

This project is a neural network extension for Stable Diffusion that provides spatial control and geometric consistency for text-to-image generation. It functions as an image structure controller and conditioning tool, enabling the use of external inputs to guide the layout and geometry of generated imagery. The framework is distinguished by its ability to transform input images into structural guides through various preprocessors. These include the extraction of depth maps, normal maps, and human pose landmarks, as well as the detection of Canny edges, anime lineart, and straight architectur

This repository is a comprehensive educational program and deep learning framework designed to teach practical deep learning using PyTorch through notebooks and code examples. It serves as a high-level library for building, training, and deploying neural networks, acting as a model training orchestrator that coordinates PyTorch models, optimizers, and loss functions. The project provides specialized toolkits for computer vision, natural language processing, and tabular data preprocessing. It distinguishes itself through advanced training controls such as discriminative learning rates, a two-w

Kokoro-FastAPI is a text-to-speech API and LLM speech synthesis server that generates spoken audio from text via a REST interface. It functions as a Kubernetes-native deployment designed for orchestrated speech synthesis. The system includes a voice blending engine that creates unique vocal profiles by mixing multiple existing voices using custom weight ratios. The service provides real-time audio streaming to reduce latency and generates word-level timestamps for speech synchronization. It manages hardware efficiency through on-demand model loading to optimize VRAM usage and includes system

Text2Video-Zero هو نموذج وإطار عمل لتحويل النص إلى فيديو مصمم لتوليف تسلسلات فيديو متسقة زمنياً من مطالبات نصية. يعمل كمولد فيديو بدون تدريب مسبق (zero-shot)، حيث يعيد استخدام نماذج انتشار الصور المدربة مسبقاً لإنشاء محتوى فيديو دون الحاجة إلى تدريب إضافي على مجموعات بيانات الفيديو. يتضمن النظام مولد فيديو مشروطاً يسمح بالتوليد الموجه باستخدام خرائط العمق أو الحافة أو الوضع للتحكم في التخطيط الهيكلي والحركة. كما يوفر قدرات تحرير فيديو قائمة على النص لتعديل نمط أو محتوى مقاطع الفيديو الموجودة من خلال تعليمات اللغة الطبيعية. لإدارة المتطلبات الحسابية، ينفذ المشروع استدلالاً محسناً لذاكرة GPU. يتم تحقيق ذلك من خلال تقنيات مثل دمج الرموز وتقسيم الإطارات لتقليل استخدام VRAM أثناء عملية التوليد.

RAFT is a PyTorch computer vision framework and deep learning system designed for optical flow estimation. It functions as a GPU-accelerated motion estimator that calculates per-pixel motion vectors between video frames to determine object movement. The implementation utilizes recurrent all-pairs field transforms and custom CUDA kernels to optimize the memory and compute overhead associated with high-dimensional correlation calculations. This hardware-level acceleration reduces GPU memory usage during the forward pass. The toolkit covers supervised flow learning and model training using mixe

This is a PyTorch recommendation framework and deep learning recommendation model designed to generate personalized content predictions. It functions as a distributed embedding trainer that processes dense and sparse features through a neural network architecture to predict user preferences. The project implements a CUDA-optimized machine learning system using specialized GPU kernels to accelerate embedding lookup and aggregation. It employs a distributed approach to shard massive sparse feature tables across multiple GPUs, enabling the training of large-scale models. The system utilizes a t

Qwen2.5-Omni هو نموذج لغوي ضخم متعدد الوسائط وشامل مصمم لمعالجة وتوليد المحتوى عبر النصوص والصوت والرؤية والفيديو. يعمل كذكاء اصطناعي صوتي في الوقت الفعلي، مستخدماً بنية شاملة (End-to-end) للحفاظ على محادثات صوتية متزامنة مع استجابات ذات زمن انتقال منخفض. يركز المشروع على الكفاءة من خلال نماذج الحافة المكممة (Quantized edge models)، مما يسمح بالاستدلال المحلي على أجهزة الجوال والأجهزة ذات الموارد المحدودة. ويستخدم تكميم الأوزان بـ 4 بت، وتفريغ العمليات على وحدة المعالجة المركزية (CPU)، وتحميل الأوزان عند الطلب لتقليل متطلبات ذاكرة GPU. يدمج النظام مشفرات متخصصة لتحليل تدفقات البيانات متعددة الوسائط ويتميز بفك تشفير متدفق لتوليد الكلام في الوقت الفعلي. كما يتضمن إمكانيات لتخصيص صوت الكلام لتعديل الخصائص النغمية والجنسية للمخرجات الصوتية.

Nunchaku is a 4-bit model quantization library and diffusion model inference engine designed to run large-scale neural networks on consumer GPUs. It functions as a GPU-accelerated optimizer that reduces VRAM usage and increases inference speed through weight compression and memory management. The project utilizes low-rank weight decomposition and SVD weight quantization to compress models to four-bit precision while maintaining visual fidelity. It employs kernel-level operator fusion to minimize data movement and hardware-aware precision mapping to adjust numerical precision based on the unde

Lorax is a GPU-accelerated inference server and multi-adapter engine designed for serving large language models. It functions as a high-throughput system capable of deploying models via Kubernetes and managing the dynamic swapping of Low-Rank Adaptation adapters per request. The server distinguishes itself through multi-adapter dynamic batching, which allows requests using different adapter weights to be processed in a single GPU forward pass. It employs just-in-time adapter loading and weighted adapter merging to maximize throughput and enable multi-tasking without sacrificing performance.

This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen

TurboDiffusion is a video diffusion inference engine and generator designed to create high-resolution videos from text prompts and images. It provides a runtime environment for executing optimized diffusion model checkpoints with a focus on reducing latency and GPU memory usage. The project features a specialized training framework for aligning sparse-linear attention models with pretrained full-attention models. This system includes capabilities for sparse attention parameter merging and sparse-linear model alignment to reduce computational costs during inference while maintaining output qua