Awesome GitHub RepositoriesMixed-Precision Quantization

Open CLIP is an open source framework for training and deploying Contrastive Language-Image Pre-training models. It serves as a vision-language training framework and multimodal embedding engine that maps images and text into a shared vector space for similarity searches and zero-shot classification. The project provides a toolkit for distributed training of contrastive models and includes an image-to-text generative model for producing natural language descriptions. It supports custom text encoder integration and utilizes teacher-student model distillation to transfer knowledge from large pr

PaddleNLP is a development library and toolkit for training, fine-tuning, and deploying large and small language models using the PaddlePaddle framework. It provides a comprehensive suite for the entire natural language processing lifecycle, from model development to high-performance inference. The project features a standardized model zoo for loading and managing pre-trained models and tokenizers through a unified interface. It distinguishes itself with a specialized model compression framework that reduces memory footprints via weight precision conversion and lossless size optimization, alo

Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

StoryDiffusion is a generative AI system designed for consistent character image and video generation. It utilizes a pluggable cross-attention module to inject shared character representations into pretrained diffusion models, allowing for visual identity stability across multiple images and scenes without retraining the base model. The project features a video generation pipeline that produces temporally coherent sequences from text prompts or condition images. It employs a latent space motion interpolator to predict intermediate frames and semantic motion, enabling long-range video generati

यह प्रोजेक्ट एक JAX-आधारित ट्रांसफार्मर फ्रेमवर्क और लार्ज लैंग्वेज मॉडल ट्रेनर है जिसे TPU हार्डवेयर एक्सेलेरेटर्स पर वितरित मॉडल्स बनाने और प्रशिक्षित करने के लिए डिज़ाइन किया गया है। यह मेमोरी ओवरहेड को कम करने और प्रोसेसिंग गति बढ़ाने के लिए डिवाइसेस के मेश पर वेट्स और कंप्यूटेशन्स को विभाजित करके ऑटोरिग्र्रेसिव मॉडल्स को प्रीट्रेन और फाइन-ट्यून करने के लिए एक सिस्टम प्रदान करता है। फ्रेमवर्क में संसाधनों को प्रोविज़न करने और रिमोट वितरित नोड्स पर डिपेंडेंसी इंस्टॉलेशन को स्वचालित करने के लिए एक TPU कंप्यूट ऑर्केस्ट्रेटर शामिल है। इसमें एक मॉडल वेट कन्वर्टर भी है जो विभिन्न हार्डवेयर कॉन्फ़िगरेशन और न्यूमेरिकल प्रिसिजन के बीच चेकपॉइंट्स को ट्रांसफॉर्म और रिशार्ड करने में सक्षम है। प्रोजेक्ट क्लाउड स्टोरेज के लिए शार्ड चेकपॉइंट मैनेजमेंट, स्टेट रिस्टोरेशन के साथ स्ट्रीम-आधारित डेटा लोडिंग, और मॉडल इन्फरेंस के लिए न्यूक्लियस-आधारित टेक्स्ट जनरेशन सहित व्यापक क्षमताओं को कवर करता है। यह TPU और GPU क्लस्टर्स के लिए XLA-कंपाइल्ड हार्डवेयर एक्सेलेरेशन का समर्थन करता है और मानकीकृत भाषा कार्यों के खिलाफ प्रदर्शन बेंचमार्किंग के लिए उपकरण प्रदान करता है।

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

Super-Gradients एक PyTorch कंप्यूटर विजन फ्रेमवर्क और ट्रेनिंग लाइब्रेरी है जिसे विजन मॉडल के पूरे लाइफसाइकिल के लिए डिज़ाइन किया गया है। यह इमेज क्लासिफिकेशन, ऑब्जेक्ट डिटेक्शन, सिमेंटिक सेगमेंटेशन और पोज़ एस्टिमेशन कार्यों में मॉडल को ट्रेन और फाइन-ट्यून करने के लिए एक डीप लर्निंग मॉडल ऑप्टिमाइज़र और डिप्लॉयमेंट टूलकिट के रूप में कार्य करता है। यह प्रोजेक्ट मॉडल ऑप्टिमाइज़ेशन के लिए विशिष्ट टूल प्रदान करता है, जिसमें टीचर-स्टूडेंट नॉलेज डिस्टिलेशन और मेमोरी व कंप्यूटेशनल आवश्यकताओं को कम करने के लिए न्यूमेरिकल प्रिसिजन कम्प्रेशन शामिल है। इसमें उच्च-प्रदर्शन ऑब्जेक्ट डिटेक्शन के लिए Yolo-NAS आर्किटेक्चर का कार्यान्वयन भी शामिल है। फ्रेमवर्क डिस्ट्रीब्यूटेड GPU ट्रेनिंग, मॉड्यूलर विजन पाइपलाइन और स्ट्रक्चर्ड रेसिपी कॉन्फ़िगरेशन के माध्यम से ट्रेनिंग रन के स्वचालन सहित क्षमताओं की एक विस्तृत सतह को कवर करता है।

TNN एक डीप लर्निंग इन्फरेंस फ्रेमवर्क है जिसे मोबाइल, डेस्कटॉप और सर्वर हार्डवेयर पर प्री-ट्रेंड न्यूरल नेटवर्क को निष्पादित करने के लिए डिज़ाइन किया गया है। यह एक हार्डवेयर-त्वरित रनटाइम और मॉडल कम्प्रेशन टूलकिट के रूप में कार्य करता है, जो विविध वातावरणों में मॉडल तैनात करने के लिए एक एकीकृत इंटरफ़ेस प्रदान करता है। इस फ्रेमवर्क में विभिन्न ट्रेनिंग फ्रेमवर्क से मॉडल को एक मानकीकृत आंतरिक फॉर्मेट में बदलने के लिए एक ONNX मॉडल कन्वर्टर शामिल है। यह मॉडल कम्प्रेशन टूल—जिसमें वेट क्वांटाइज़ेशन और स्टेटिक-कोड प्रूनिंग शामिल है—और एक मेमोरी मैनेजमेंट सिस्टम के संयोजन के माध्यम से खुद को अलग करता है जो RAM उपयोग को कम करने के लिए गैर-आश्रित नोड्स के बीच बफर का पुन: उपयोग करता है। यह सिस्टम मेमोरी एक्सेस को कम करने के लिए ऑपरेटर फ्यूजन के माध्यम से प्रदर्शन को अनुकूलित करता है और विशेष प्रोसेसर और GPU का लाभ उठाने के लिए प्लेटफ़ॉर्म-विशिष्ट बैकएंड का उपयोग करता है। यह लो-प्रिसिजन गणना और हार्डवेयर-विशिष्ट ट्यूनिंग के माध्यम से निष्पादन गति को और बढ़ाता है।

This project is a comprehensive instructional resource and course for building neural networks using PyTorch. It covers the fundamental building blocks of deep learning, including tensor manipulation, automatic differentiation, and the construction of modular neural network components. The repository serves as a technical guide for several specialized domains. It provides implementation details for computer vision tasks such as image classification, object detection, and semantic segmentation, as well as natural language processing workflows involving transformers, recurrent networks, and gen

exllamav2 is a high-performance inference library designed for running large language models locally on consumer-grade GPUs. It provides a GPU-accelerated runner and quantization tools to enable model execution without reliance on cloud-based computing services. The project features a quantization utility that compresses models into mixed bitrates between two and eight bits to reduce video RAM requirements. It distinguishes itself through a batched text generator that handles grouped requests and deduplicates cache data to increase throughput. The library covers a broad capability surface in

exllamav2 is a high-performance inference engine and framework for executing large language models locally on consumer-class GPUs. It provides a complete system for local model deployment, including a specialized inference engine and tools for model quantization. The project features a multi-GPU inference framework that distributes workloads across multiple graphics cards to run models that exceed the memory capacity of a single device. It includes a GPU model quantizer capable of converting models into mixed-precision formats between 2 and 8 bits to balance memory usage and accuracy. The en

VisualGLM-6B is a bilingual multimodal large language model and vision-language model designed for conversational tasks and visual understanding. It functions as a bilingual AI model capable of processing and generating responses in both Chinese and English. The system is a quantized large language model supporting 4-bit and 8-bit precision to reduce memory usage and hardware requirements during local deployment. It is also a parameter-efficient fine-tuning model, allowing for weight adjustments to adapt the system to specific downstream tasks without full retraining. The project covers mult

Chinese-Vicuna is a Chinese large language model and instruction-following AI based on the LLaMA architecture. It is specifically designed for natural language understanding and generation in the Chinese language, utilizing an instruction-tuned model to follow complex user prompts across conversations. The project provides a LoRA fine-tuning framework and quantization systems to enable model adaptation and inference on consumer hardware. It implements quantized inference to reduce memory usage on both CPUs and GPUs, supported by a low-level C++ implementation to minimize system resource requi

oneDNN is a library for deep learning acceleration that provides optimized building blocks for neural network training and inference. It manages tensor computation across CPU and GPU hardware, enabling the execution of high-performance primitives for model training and neural network inference optimization. The project distinguishes itself through hardware-specific kernel optimization and the use of just-in-time compilation to target specific processor instruction sets. It supports quantized neural network execution using both static and dynamic quantization to reduce memory usage and increas

VILA is a vision-language model integration that combines a visual encoder with a large language model to process images and text in a shared space. Its primary purpose is to enable the generation of natural language explanations and detailed text summaries of images and videos based on user prompts. The project utilizes a multi-stage alignment pipeline to synchronize visual and textual embeddings through sequential pretraining and supervised fine-tuning. To support deployment on desktop and edge hardware, it employs quantized low-precision inference to reduce model weights to 4-bit precision

This project is a collection of scripts and workflows for training, fine-tuning, and deploying large language models using the Hugging Face Transformers toolkit. It functions as a distributed training framework, a library for natural language processing task implementations, and a system for building retrieval-augmented generation chatbots. The repository includes specialized tools for model optimization, such as a Bayesian hyperparameter optimizer for automatically tuning model settings. It provides implementations for scaling model training across multiple graphics processors using data par

ChatGLM-Efficient-Tuning is a fine-tuning framework and toolkit designed to optimize large language models using parameter-efficient fine-tuning techniques. It provides a pipeline for adjusting model behavior and reducing the memory and compute requirements necessary for training. The project features a web-based trainer and orchestration interface for configuring and executing the fine-tuning process on a single GPU. It supports quantized training in lower precision formats to enable fine-tuning on hardware with limited memory, as well as reinforcement learning from human feedback for model

Neural Compressor is a deep learning model compression toolkit and AI inference acceleration engine. It functions as an automated model quantization tool and hardware-aware model compiler designed to reduce the memory footprint of neural networks and decrease execution latency. The project provides specialized frameworks for optimizing large language models, utilizing weight-only quantization and hardware-specific kernels to improve the operational efficiency of generative AI workloads. It maps neural network operators to specialized CPU and GPU vector instructions to accelerate model executi

Instructor-embedding एक नेचुरल लैंग्वेज प्रोसेसिंग फ्रेमवर्क है जिसे असंरचित टेक्स्ट को उच्च-आयामी न्यूमेरिकल वैक्टर में बदलने के लिए डिज़ाइन किया गया है। ट्रांसफॉर्मर-आधारित एनकोडर आर्किटेक्चर का उपयोग करके, यह सिस्टम बड़े डेटासेट में सिमेंटिक रिट्रीवल, डेटा वर्गीकरण और समानता विश्लेषण की सुविधा प्रदान करता है। यह फ्रेमवर्क इंस्ट्रक्शन-कंडीशन्ड वेक्टर प्रोजेक्शन के माध्यम से खुद को अलग करता है, जो अतिरिक्त प्रशिक्षण की आवश्यकता के बिना विशिष्ट कार्यों के लिए प्रदर्शन को बेहतर बनाने के लिए नेचुरल लैंग्वेज निर्देशों को सीधे एम्बेडिंग प्रक्रिया में शामिल करता है। यह एक कंट्रास्टिव लर्निंग लाइब्रेरी के रूप में कार्य करता है, जो उपयोगकर्ताओं को विशिष्ट डोमेन के लिए विशेष एम्बेडिंग बनाने के लिए कस्टम डेटासेट पर प्री-ट्रेंड लैंग्वेज मॉडल को फाइन-ट्यून करने की अनुमति देता है। प्रोजेक्ट वेक्टर अभ्यावेदन (representations) के प्रबंधन के लिए टूल का एक व्यापक सूट प्रदान करता है, जिसमें मानकीकृत मेट्रिक्स के खिलाफ मॉडल सटीकता को बेंचमार्क करने और त्वरित समानता खोज के लिए एम्बेडिंग को इंडेक्स करने की क्षमताएं शामिल हैं। संसाधन-सीमित वातावरण में डिप्लॉयमेंट का समर्थन करने के लिए, फ्रेमवर्क में मेमोरी उपयोग को कम करने और अनुमान (inference) की गति को तेज करने के लिए मिक्स्ड-प्रिसिजन मॉडल क्वांटाइजेशन जैसी अनुकूलन विशेषताएं शामिल हैं।