Awesome GitHub RepositoriesQuantization-Aware Training

Fairseq is a PyTorch toolkit for sequence-to-sequence modeling, specializing in neural machine translation, automatic speech recognition, and large-scale language model training. It provides a framework for processing and aligning diverse data sources, including text, audio, and video, to support tasks such as speech-to-text conversion and multimodal sequence learning. The project is distinguished by its distributed training capabilities, which utilize parameter sharding, mixed-precision training, and CPU offloading to handle models that exceed single-device memory. It also includes specializ

This project is a framework for running Stable Diffusion image generation models on Apple Silicon using Core ML hardware acceleration. It provides a local generative AI pipeline for producing images from text prompts using Swift and Python without relying on external cloud APIs. The system includes a model converter to transform deep learning checkpoints into Core ML formats and a model optimizer to quantize weights and activations. It features a ControlNet integration layer to guide image generation using external signals such as edge and depth maps. Capabilities cover text-to-image generat

Axolotl is a distributed training orchestrator and fine-tuning framework for large language models, multimodal systems, and quantized models. It provides a structured environment for specializing pre-trained models through full parameter updates or low-rank adaptation, as well as aligning model outputs with human expectations via preference tuning pipelines and reward modeling. The system distinguishes itself through a configuration-driven pipeline that manages preprocessing and training workflows via a single file for reproducibility. It implements high-throughput optimizations such as multi

The PyTorch Tutorials repository is a collection of educational resources that provides step-by-step guidance on building, training, and deploying neural networks using the PyTorch framework. It covers the complete machine learning workflow, from data loading and model definition through optimization loops and model persistence, with dedicated guides for distributed training, model fine-tuning, and deployment. The tutorials offer practical demonstrations of adapting pre-trained models to new tasks through transfer learning, scaling training across multiple GPUs or machines using PyTorch's dis

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

ERNIE is a development toolkit for training, fine-tuning, and deploying large language models built on the PaddlePaddle deep learning platform. It provides a comprehensive suite of core components, including an inference server for vision and language models, a training and fine-tuning toolkit, and a framework for building retrieval-augmented generation systems using private knowledge bases. The project features multimodal AI models capable of reasoning across text, images, and video to perform complex visual understanding and information extraction. It distinguishes itself through specialize

YOLOv6 este un framework de deep learning single-stage conceput pentru detectarea industrială a obiectelor. Servește drept antrenor de modele de computer vision pentru identificarea și localizarea obiectelor în imagini, precum și ca instrument de segmentare a instanțelor care delimitează limitele precise ale obiectelor folosind măști. Proiectul include un optimizator de inferență mobil specializat și un toolkit de cuantizare a modelelor. Aceste componente se concentrează pe reducerea dimensiunii modelului și a rezoluției pentru a îmbunătăți viteza de execuție pe chipset-urile bazate pe ARM și pe convertirea modelelor în formate de precizie scăzută pentru a reduce dimensiunea fișierului. Framework-ul acoperă o gamă largă de capabilități, inclusiv antrenarea modelelor personalizate, segmentarea instanțelor în timp real și conversia runtime-ului modelului pentru execuție cross-platform. De asemenea, suportă optimizarea inferenței pe dispozitive edge pentru a menține performanța pe diverse runtime-uri hardware.

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

torch2trt este un instrument pentru transformarea modulelor de model PyTorch în motoare TensorRT optimizate, pentru a îmbunătăți performanța de inferență pe GPU-urile NVIDIA. Funcționează ca un optimizator de modele de deep learning și generator de motoare care convertește straturile rețelelor neuronale în formate runtime de înaltă performanță pentru procesoare grafice accelerate hardware. Proiectul dispune de un instrument de conversie a straturilor personalizat care permite utilizatorilor să definească și să înregistreze logică de conversie bazată pe Python pentru a gestiona operațiuni specializate care nu sunt suportate implicit. Această extensibilitate este combinată cu un sistem bazat pe registru pentru maparea tipurilor de straturi specifice către funcții de conversie definite de utilizator. Sistemul acoperă accelerarea inferenței GPU prin cuantizarea modelelor de deep learning și antrenarea conștientă de cuantizare pentru a reduce utilizarea memoriei și a crește throughput-ul. Include, de asemenea, capabilități pentru persistența modelelor, permițând starea motoarelor optimizate să fie salvată și reîncărcată.

Acest proiect este o resursă educațională cuprinzătoare și un curs pentru construirea de rețele neuronale folosind PyTorch. Acoperă elementele fundamentale ale deep learning-ului, inclusiv manipularea tensorilor, diferențierea automată și construcția componentelor modulare de rețele neuronale. Repository-ul servește drept ghid tehnic pentru mai multe domenii specializate. Oferă detalii de implementare pentru sarcini de computer vision, cum ar fi clasificarea imaginilor, detecția obiectelor și segmentarea semantică, precum și fluxuri de lucru de procesare a limbajului natural (NLP) care implică transformatoare, rețele recurente și modele generative. În plus, include o referință pentru AI generativ, concentrându-se în mod specific pe sinteza de imagini prin modele de difuzie și rețele adversariale. Materialul se extinde către optimizarea modelelor și pipeline-uri de deployment. Acoperă tehnici pentru reducerea dimensiunii modelelor și creșterea vitezei de inferență prin cuantizare și exportul modelelor în formate precum ONNX și TensorRT. Alte domenii de capabilitate includ ingineria datelor pentru încărcarea paralelă, evaluarea modelelor folosind metrici personalizate și deployment-ul modelelor de limbaj mari (LLM) open-source. Proiectul este livrat în principal sub formă de serie de Jupyter Notebooks.

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

Acest proiect este o traducere în limba chineză a ghidurilor tehnice și a referințelor API pentru framework-ul de deep learning PyTorch. Servește ca o bază de cunoștințe localizată și material de referință pentru a face documentația de deep learning accesibilă vorbitorilor non-nativi de engleză. Documentația acoperă o gamă cuprinzătoare de capabilități PyTorch, inclusiv dezvoltarea modelelor de rețele neuronale, diferențierea automată și implementarea kernel-urilor de backend. Oferă îndrumări detaliate privind strategiile de antrenare distribuită, implementarea modelelor prin formate precum ONNX și C++, precum și diverse tehnici de optimizare și cuantizare a modelelor. Proiectul utilizează un pipeline de traducere condus de comunitate și un model de contribuție distribuit pentru a menține conținutul sincronizat cu versiunile. Materialele tehnice sunt organizate folosind markdown și randate într-un site web navigabil prin generare de site-uri statice.

SLIME is a distributed reinforcement learning framework for large language model post-training that bridges Megatron training with SGLang inference servers. It orchestrates scalable RL loops across GPU clusters, decoupling training and inference into independent processes that communicate over HTTP and NCCL for independent scaling and fault tolerance. The system supports multi-agent reinforcement learning workflows with parallel agent instances, customizable rollout strategies, and personalized agent serving that improves models from prior conversations without disrupting API serving. The fra

PocketFlow is an integrated toolkit for deep learning model compression, distributed training, and mobile format optimization. It provides a system for reducing the size and complexity of neural networks to improve inference efficiency, featuring a dedicated engine for knowledge distillation and a mobile model optimizer. The framework differentiates itself through an automated hyperparameter tuning system that uses reinforcement learning and statistical models to determine optimal compression ratios and layer-wise bit allocation. It also includes a distributed training system that utilizes mu