Awesome GitHub RepositoriesDiffusion Model Memory Optimizers

Text2Video-Zero هو نموذج وإطار عمل لتحويل النص إلى فيديو مصمم لتوليف تسلسلات فيديو متسقة زمنياً من مطالبات نصية. يعمل كمولد فيديو بدون تدريب مسبق (zero-shot)، حيث يعيد استخدام نماذج انتشار الصور المدربة مسبقاً لإنشاء محتوى فيديو دون الحاجة إلى تدريب إضافي على مجموعات بيانات الفيديو. يتضمن النظام مولد فيديو مشروطاً يسمح بالتوليد الموجه باستخدام خرائط العمق أو الحافة أو الوضع للتحكم في التخطيط الهيكلي والحركة. كما يوفر قدرات تحرير فيديو قائمة على النص لتعديل نمط أو محتوى مقاطع الفيديو الموجودة من خلال تعليمات اللغة الطبيعية. لإدارة المتطلبات الحسابية، ينفذ المشروع استدلالاً محسناً لذاكرة GPU. يتم تحقيق ذلك من خلال تقنيات مثل دمج الرموز وتقسيم الإطارات لتقليل استخدام VRAM أثناء عملية التوليد.

Nunchaku is a 4-bit model quantization library and diffusion model inference engine designed to run large-scale neural networks on consumer GPUs. It functions as a GPU-accelerated optimizer that reduces VRAM usage and increases inference speed through weight compression and memory management. The project utilizes low-rank weight decomposition and SVD weight quantization to compress models to four-bit precision while maintaining visual fidelity. It employs kernel-level operator fusion to minimize data movement and hardware-aware precision mapping to adjust numerical precision based on the unde

ComfyUI-GGUF is a memory optimizer and model loader for ComfyUI that enables the execution of large transformer-based generative models using quantized weights. It provides a system for loading GGUF formatted weights within a node-based diffusion interface to reduce GPU memory consumption. The project includes a quantization tool for converting standard model checkpoints into compressed binary formats and a tensor fixer to restore missing keys and correct architectures in binary model files. These utilities ensure that compressed models remain functional during inference on hardware with limi