Awesome GitHub RepositoriesModel Quantization Tools

Llama.cpp is an inference engine designed for the local execution of text-based and multimodal language models on consumer hardware. It provides a core environment for running models that process both text and image inputs, utilizing hardware-accelerated backends to optimize performance across diverse CPU and GPU architectures. The project distinguishes itself by offering a lightweight HTTP server that adheres to standard API specifications, enabling chat completion, embeddings, and reranking services. It includes a suite of tools for model quantization and conversion, which reduces memory us

Burn is a deep learning framework designed for building, training, and deploying neural networks using a modular architecture. As a machine learning library built in Rust, it provides a backend-agnostic computational engine that enables the execution of models across diverse hardware, including central processors, graphics processors, and web runtimes. The framework distinguishes itself through a highly portable design that allows developers to maintain a single workflow for both training and inference across heterogeneous environments. It incorporates advanced optimization techniques such as

LitGPT is a training and deployment framework for large language models, providing a suite of tools for pretraining, finetuning, quantizing, evaluating, and serving models within a production environment. It includes a dedicated training pipeline for adapting pretrained models to specific tasks, a quantization tool for reducing weight precision, and an inference server for hosting models via web interfaces. The framework supports high-performance model development through custom architecture implementation and the use of predefined recipes to standardize pretraining and finetuning. It enables

Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP

Paddle-Lite is a deep learning inference engine and edge computing runtime designed to execute trained models on mobile and edge devices. It provides a hardware-accelerated inference framework and a decoupled runtime with a minimal binary footprint to operate in resource-constrained environments without third-party dependencies. The project includes a model quantization tool for reducing precision and size via static and dynamic quantization, as well as a computation graph optimizer. These tools reduce latency and memory usage by fusing operators and pruning the model intermediate representat

ANE is an open-source framework for training neural networks directly on Apple's Neural Engine hardware, bypassing Apple's public Core ML toolchain through reverse-engineered private APIs. It provides low-level control over the ANE, enabling developers to compile custom compute graphs into binary kernels, partition transformer model layers into hardware-compatible subgraphs, and share GPU-allocated memory with the Neural Engine via zero-copy IOSurface buffers. The framework distinguishes itself by offering direct access to hardware performance counters and power telemetry for benchmarking thr

Metaseq هي مجموعة أدوات لنمذجة تسلسل المحولات (transformer) مصممة لتدريب وضبط ونشر نماذج تسلسل إلى تسلسل باستخدام أوزان مفتوحة مدربة مسبقاً. توفر إطار عمل شاملاً لتدريب النماذج اللغوية الكبيرة، بما في ذلك أدوات مخصصة لمعالجة مجموعات بيانات التسلسل وخادم استدلال مستقل لتوليد النصوص عبر طلبات API. يتميز المشروع بأدوات متخصصة لتكميم النموذج (quantization) لتقليل دقة المعلمات إلى ثمانية بتات، مما يقلل من استخدام الذاكرة ويزيد من سرعة الاستدلال. يتضمن أيضاً خط أنابيب لتحويل نقاط التحقق (checkpoint) لتحويل أوزان النموذج إلى هياكل محسنة لمحركات الاستدلال عالية الأداء. يدعم إطار العمل التدريب واسع النطاق عبر مجموعات GPU من خلال استخدام توازي الموترات وتوازي البيانات المجزأ. تغطي القدرات الإضافية إعداد مجموعات بيانات NLP، وتحميل الأوزان المدربة مسبقاً للتعلم بالنقل، وتتبع مقاييس التدريب لتصور التقدم.

FasterTransformer is a high-performance inference optimization library and distributed runtime designed to accelerate the execution of transformer models. It provides a toolkit for reducing model precision and parallelizing execution across multiple GPUs to increase throughput and reduce latency for large language models. The framework utilizes a C++ backend with custom CUDA kernels to replace generic operations with optimized GPU instructions. It implements tensor and pipeline parallelism to shard model weights and distribute compute operations across multiple devices. The system includes c

YOLOv6 هو إطار عمل للتعلم العميق أحادي المرحلة مصمم لاكتشاف الكائنات الصناعية. يعمل كمدرب نموذج رؤية حاسوبية لتحديد وتحديد مواقع الكائنات داخل الصور، بالإضافة إلى أداة تجزئة مثالية تحدد حدود الكائنات الدقيقة باستخدام الأقنعة. يتضمن المشروع محسناً لاستدلال الهاتف المحمول ومجموعة أدوات لتكميم النموذج. تركز هذه المكونات على تقليل حجم النموذج ودقته لتحسين سرعة التنفيذ على الرقائق القائمة على ARM وتحويل النماذج إلى تنسيقات منخفضة الدقة لتقليل حجم الملف. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك تدريب النماذج المخصصة، والتجزئة المثالية في الوقت الفعلي، وتحويل وقت تشغيل النموذج للتنفيذ عبر المنصات. كما يدعم تحسين استدلال أجهزة الحافة للحفاظ على الأداء عبر أوقات تشغيل الأجهزة المختلفة.

fastllm is a set of specialized software components for model weight conversion, Mixture-of-Experts runtimes, and tensor parallelism. It provides an OpenAI compatible API server to expose large language model capabilities through a standardized request format. The project features a tensor parallelism framework that splits computational workloads across multiple GPUs to accelerate execution. It includes a dedicated runtime optimized for Mixture-of-Experts architectures and a quantization tool to convert model weights into lower precision formats to reduce memory usage and increase throughput.

Tengine هي مجموعة من الأدوات ومحرك تنفيذ خفيف الوزن مصمم لتشغيل نماذج التعلم العميق على أجهزة مدمجة مقيدة. يوفر بنية تحتية لتحويل نماذج الشبكات العصبية، وتكميم الأوزان، وتحسين نواة المشغل، وقياس أداء الاستنتاج عبر وحدات CPU وGPU وNPU. يتميز المشروع بمحسن نواة مشغل آلي لتوليد نوى عالية الكفاءة وأداة تكميم نموذج تقلل الدقة إلى تنسيقات عدد صحيح لتقليل استخدام الذاكرة. يتضمن أداة قياس أداء الأجهزة المخصصة لتقييم سرعة التنفيذ وكفاءة بنيات الشبكات العصبية على الأجهزة المدمجة. يغطي النظام تحويل تنسيق النموذج إلى تمثيل داخلي محايد للأجهزة، وإرسال المشغل النمطي، والتنفيذ متعدد الخلفيات. تسمح هذه القدرات بتحويل تعريفات الشبكات العصبية الخارجية إلى تنسيق وقت تشغيل متوافق للنشر المدمج.

ComfyUI-GGUF is a memory optimizer and model loader for ComfyUI that enables the execution of large transformer-based generative models using quantized weights. It provides a system for loading GGUF formatted weights within a node-based diffusion interface to reduce GPU memory consumption. The project includes a quantization tool for converting standard model checkpoints into compressed binary formats and a tensor fixer to restore missing keys and correct architectures in binary model files. These utilities ensure that compressed models remain functional during inference on hardware with limi

Neural Compressor is a deep learning model compression toolkit and AI inference acceleration engine. It functions as an automated model quantization tool and hardware-aware model compiler designed to reduce the memory footprint of neural networks and decrease execution latency. The project provides specialized frameworks for optimizing large language models, utilizing weight-only quantization and hardware-specific kernels to improve the operational efficiency of generative AI workloads. It maps neural network operators to specialized CPU and GPU vector instructions to accelerate model executi

هذا المشروع عبارة عن منهج تعليمي منظم مصمم لتدريس أساسيات بناء وتدريب نماذج التعلم العميق. يوفر دليلاً شاملاً لتنفيذ الشبكات العصبية باستخدام أطر عمل تعلم الآلة عالية المستوى ولغة البرمجة Python، مع التركيز على التمارين العملية للمبتدئين. يتميز البرنامج التعليمي بتغطية دورة حياة تطوير النموذج بأكملها، من البناء الأولي إلى التحسين الجاهز للإنتاج. يتضمن وحدات محددة حول تحسين أداء النموذج من خلال تكميم الوزن ومعالجة تحيز البيانات عن طريق تخفيف اختلالات الفئة. يؤكد المنهج أيضاً على أهمية إعداد البيانات، ويقدم تقنيات لزيادة الصور وإنشاء تضمينات الكلمات لتحسين تعميم النموذج. بعيداً عن التدريب الأساسي، يستكشف المستودع مهام معالجة اللغات الطبيعية المتقدمة ورؤية الحاسوب. يوضح كيفية بناء نماذج المحولات، واستخدام الشبكات العصبية المتكررة لتصنيف النص، وتحسين خطوط أنابيب إدخال البيانات لضمان معالجة فعالة. تغطي المواد أيضاً ممارسات المراقبة الأساسية، مثل تصور مقاييس التدريب ووظائف الخسارة لتقييم دقة النموذج طوال عملية التعلم.