Awesome GitHub RepositoriesQuantization-Aware Training

Fairseq is a PyTorch toolkit for sequence-to-sequence modeling, specializing in neural machine translation, automatic speech recognition, and large-scale language model training. It provides a framework for processing and aligning diverse data sources, including text, audio, and video, to support tasks such as speech-to-text conversion and multimodal sequence learning. The project is distinguished by its distributed training capabilities, which utilize parameter sharding, mixed-precision training, and CPU offloading to handle models that exceed single-device memory. It also includes specializ

This project is a framework for running Stable Diffusion image generation models on Apple Silicon using Core ML hardware acceleration. It provides a local generative AI pipeline for producing images from text prompts using Swift and Python without relying on external cloud APIs. The system includes a model converter to transform deep learning checkpoints into Core ML formats and a model optimizer to quantize weights and activations. It features a ControlNet integration layer to guide image generation using external signals such as edge and depth maps. Capabilities cover text-to-image generat

Axolotl is a distributed training orchestrator and fine-tuning framework for large language models, multimodal systems, and quantized models. It provides a structured environment for specializing pre-trained models through full parameter updates or low-rank adaptation, as well as aligning model outputs with human expectations via preference tuning pipelines and reward modeling. The system distinguishes itself through a configuration-driven pipeline that manages preprocessing and training workflows via a single file for reproducibility. It implements high-throughput optimizations such as multi

The PyTorch Tutorials repository is a collection of educational resources that provides step-by-step guidance on building, training, and deploying neural networks using the PyTorch framework. It covers the complete machine learning workflow, from data loading and model definition through optimization loops and model persistence, with dedicated guides for distributed training, model fine-tuning, and deployment. The tutorials offer practical demonstrations of adapting pre-trained models to new tasks through transfer learning, scaling training across multiple GPUs or machines using PyTorch's dis

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

ERNIE is a development toolkit for training, fine-tuning, and deploying large language models built on the PaddlePaddle deep learning platform. It provides a comprehensive suite of core components, including an inference server for vision and language models, a training and fine-tuning toolkit, and a framework for building retrieval-augmented generation systems using private knowledge bases. The project features multimodal AI models capable of reasoning across text, images, and video to perform complex visual understanding and information extraction. It distinguishes itself through specialize

YOLOv6 هو إطار عمل للتعلم العميق أحادي المرحلة مصمم لاكتشاف الكائنات الصناعية. يعمل كمدرب نموذج رؤية حاسوبية لتحديد وتحديد مواقع الكائنات داخل الصور، بالإضافة إلى أداة تجزئة مثالية تحدد حدود الكائنات الدقيقة باستخدام الأقنعة. يتضمن المشروع محسناً لاستدلال الهاتف المحمول ومجموعة أدوات لتكميم النموذج. تركز هذه المكونات على تقليل حجم النموذج ودقته لتحسين سرعة التنفيذ على الرقائق القائمة على ARM وتحويل النماذج إلى تنسيقات منخفضة الدقة لتقليل حجم الملف. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك تدريب النماذج المخصصة، والتجزئة المثالية في الوقت الفعلي، وتحويل وقت تشغيل النموذج للتنفيذ عبر المنصات. كما يدعم تحسين استدلال أجهزة الحافة للحفاظ على الأداء عبر أوقات تشغيل الأجهزة المختلفة.

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

torch2trt هي أداة لتحويل نماذج PyTorch إلى محركات TensorRT محسنة لتحسين أداء الاستدلال (inference) على وحدات معالجة الرسومات NVIDIA. تعمل كمحسن لنماذج التعلم العميق ومولد محركات يقوم بتحويل طبقات الشبكة العصبية إلى تنسيقات تشغيل عالية الأداء لمعالجات الرسومات المسرعة بالأجهزة. يتميز المشروع بأداة تحويل طبقات مخصصة تسمح للمستخدمين بتعريف وتسجيل منطق تحويل يعتمد على Python للتعامل مع العمليات المتخصصة غير المدعومة افتراضياً. يقترن هذا التوسع بنظام قائم على السجل لتعيين أنواع طبقات محددة لوظائف تحويل معرفة من قبل المستخدم. يغطي النظام تسريع الاستدلال على GPU من خلال تكميم نماذج التعلم العميق (quantization) والتدريب الواعي بالتكميم لتقليل استخدام الذاكرة وزيادة الإنتاجية. كما يتضمن إمكانيات لاستمرارية النموذج، مما يسمح بتخزين وإعادة تحميل حالة المحركات المحسنة.

هذا المشروع عبارة عن مورد تعليمي شامل ودورة تدريبية لبناء الشبكات العصبية باستخدام PyTorch. يغطي اللبنات الأساسية للتعلم العميق، بما في ذلك معالجة الموترات (tensors)، والتمايز التلقائي، وبناء مكونات الشبكة العصبية المعيارية. يعمل المستودع كدليل تقني للعديد من المجالات المتخصصة. يوفر تفاصيل تنفيذ لمهام رؤية الكمبيوتر مثل تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية، بالإضافة إلى سير عمل معالجة اللغات الطبيعية التي تتضمن المحولات (transformers)، والشبكات المتكررة، والنماذج التوليدية. بالإضافة إلى ذلك، يتضمن مرجعاً للذكاء الاصطناعي التوليدي، مع التركيز بشكل خاص على تركيب الصور عبر نماذج الانتشار (diffusion models) والشبكات التنافسية. تمتد المادة إلى تحسين النماذج وخطوط أنابيب النشر. تغطي تقنيات لتقليل حجم النموذج وزيادة سرعة الاستنتاج من خلال التكميم (quantization) وتصدير النماذج إلى تنسيقات مثل ONNX وTensorRT. تشمل مجالات القدرة الأخرى هندسة البيانات للتحميل المتوازي، وتقييم النموذج باستخدام مقاييس مخصصة، ونشر نماذج اللغات الكبيرة مفتوحة المصدر. يتم تقديم المشروع بشكل أساسي كسلسلة من دفاتر Jupyter.

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

هذا المشروع عبارة عن ترجمة صينية للأدلة التقنية ومراجع واجهة برمجة التطبيقات لإطار عمل التعلم العميق PyTorch. يعمل كقاعدة معرفية مترجمة ومادة مرجعية لجعل وثائق التعلم العميق في متناول غير الناطقين بالإنجليزية. تغطي الوثائق مجموعة شاملة من قدرات PyTorch، بما في ذلك تطوير نماذج الشبكات العصبية، والتمايز التلقائي، وتنفيذ النواة (kernels) في الواجهة الخلفية. يوفر إرشادات مفصلة حول استراتيجيات التدريب الموزع، ونشر النماذج عبر تنسيقات مثل ONNX و C++، وتقنيات تحسين النماذج وتكميمها (quantization) المختلفة. يستخدم المشروع خط أنابيب ترجمة مدفوعاً بالمجتمع ونموذج مساهمة موزعاً للحفاظ على محتوى متزامن مع الإصدارات. يتم تنظيم المواد التقنية باستخدام markdown وعرضها في موقع ويب قابل للتصفح عبر توليد المواقع الثابتة.

SLIME is a distributed reinforcement learning framework for large language model post-training that bridges Megatron training with SGLang inference servers. It orchestrates scalable RL loops across GPU clusters, decoupling training and inference into independent processes that communicate over HTTP and NCCL for independent scaling and fault tolerance. The system supports multi-agent reinforcement learning workflows with parallel agent instances, customizable rollout strategies, and personalized agent serving that improves models from prior conversations without disrupting API serving. The fra

PocketFlow is an integrated toolkit for deep learning model compression, distributed training, and mobile format optimization. It provides a system for reducing the size and complexity of neural networks to improve inference efficiency, featuring a dedicated engine for knowledge distillation and a mobile model optimizer. The framework differentiates itself through an automated hyperparameter tuning system that uses reinforcement learning and statistical models to determine optimal compression ratios and layer-wise bit allocation. It also includes a distributed training system that utilizes mu