Awesome GitHub RepositoriesMixed-Precision Quantization

Open CLIP is an open source framework for training and deploying Contrastive Language-Image Pre-training models. It serves as a vision-language training framework and multimodal embedding engine that maps images and text into a shared vector space for similarity searches and zero-shot classification. The project provides a toolkit for distributed training of contrastive models and includes an image-to-text generative model for producing natural language descriptions. It supports custom text encoder integration and utilizes teacher-student model distillation to transfer knowledge from large pr

PaddleNLP is a development library and toolkit for training, fine-tuning, and deploying large and small language models using the PaddlePaddle framework. It provides a comprehensive suite for the entire natural language processing lifecycle, from model development to high-performance inference. The project features a standardized model zoo for loading and managing pre-trained models and tokenizers through a unified interface. It distinguishes itself with a specialized model compression framework that reduces memory footprints via weight precision conversion and lossless size optimization, alo

Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

StoryDiffusion is a generative AI system designed for consistent character image and video generation. It utilizes a pluggable cross-attention module to inject shared character representations into pretrained diffusion models, allowing for visual identity stability across multiple images and scenes without retraining the base model. The project features a video generation pipeline that produces temporally coherent sequences from text prompts or condition images. It employs a latent space motion interpolator to predict intermediate frames and semantic motion, enabling long-range video generati

该项目是一个基于 JAX 的 Transformer 框架和大语言模型训练器，专为在 TPU 硬件加速器上构建和训练分布式模型而设计。它提供了一个通过在设备网格上拆分权重和计算来减少内存开销并提高处理速度的系统，用于预训练和微调自回归模型。 该框架包含一个 TPU 计算编排器，用于资源配置和自动化远程分布式节点上的依赖安装。它还具有一个模型权重转换器，能够在不同的硬件配置和数值精度之间转换和重新分片检查点。 该项目涵盖了更广泛的功能，包括用于云存储的分片检查点管理、具有状态恢复的流式数据加载，以及用于模型推理的基于核的文本生成。它进一步支持针对 TPU 和 GPU 集群的 XLA 编译硬件加速，并提供针对标准化语言任务进行性能基准测试的工具。

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

Super-Gradients 是一个 PyTorch 计算机视觉框架和训练库，专为视觉模型的全生命周期设计。它作为一个深度学习模型优化器和部署工具包，用于训练和微调图像分类、目标检测、语义分割和姿态估计任务的模型。 该项目提供专门的模型优化工具，包括教师-学生知识蒸馏和数值精度压缩，以降低内存和计算需求。它还包括用于高性能目标检测的 Yolo-NAS 架构实现。 该框架涵盖了广泛的能力面，包括分布式 GPU 训练、模块化视觉流水线以及通过结构化配方配置实现训练运行的自动化。它进一步管理数据加载、图像增强以及将训练好的权重导出为通用格式以供生产硬件加速器使用。

TNN 是一个深度学习推理框架，旨在跨移动端、桌面端和服务器硬件执行预训练神经网络。它作为硬件加速运行时和模型压缩工具包，为在不同环境中部署模型提供了统一接口。 该框架包含一个 ONNX 模型转换器，可将来自各种训练框架的模型转换为标准化的内部格式。其特色在于结合了模型压缩工具（包括权重量化和静态代码剪枝）以及一种在非依赖节点之间重用缓冲区的内存管理系统，以减少 RAM 使用。 该系统通过算子融合优化性能以最小化内存访问，并采用平台特定的后端来利用专用处理器和 GPU。它还通过低精度计算和硬件特定调优进一步提高了执行速度。

这是一个关于使用 PyTorch 构建神经网络的综合教学资源和课程。它涵盖了深度学习的基本构建块，包括张量操作、自动微分以及模块化神经网络组件的构建。 该仓库是多个专业领域的参考指南。它提供了计算机视觉任务（如图像分类、目标检测和语义分割）的实现细节，以及涉及 Transformer、循环网络和生成模型的自然语言处理工作流。此外，它还包括生成式 AI 的参考资料，专门关注通过扩散模型和对抗网络进行图像合成。 材料延伸至模型优化和部署流水线。它涵盖了通过量化和将模型导出为 ONNX 和 TensorRT 等格式来减小模型大小并提高推理速度的技术。其他能力领域包括用于并行加载的数据工程、使用自定义指标的模型评估，以及开源大语言模型的部署。 该项目主要以一系列 Jupyter Notebook 的形式提供。

exllamav2 是一个高性能推理库，旨在在消费级 GPU 上本地运行大语言模型。它提供了一个 GPU 加速的运行器和量化工具，使模型执行无需依赖基于云的计算服务。 该项目具有一个量化实用程序，可将模型压缩为 2 到 8 位之间的混合比特率，以减少显存需求。它通过一个处理分组请求并对缓存数据进行去重的批处理文本生成器脱颖而出，从而提高了吞吐量。 该库涵盖了广泛的功能，包括用于实时输出的异步 Token 流式传输、用于线性代数运算的自定义 GPU 内核执行，以及用于低延迟访问模型权重的本地内存映射。

exllamav2 是一个高性能推理引擎和框架，用于在消费级 GPU 上本地执行大语言模型。它提供了一个完整的本地模型部署系统，包括专门的推理引擎和模型量化工具。 该项目具有一个多 GPU 推理框架，可将工作负载分配到多个显卡上，以运行超过单个设备内存容量的模型。它包括一个 GPU 模型量化器，能够将模型转换为 2 到 8 位之间的混合精度格式，以平衡内存使用和准确性。 该引擎通过基于批处理的并行推理和异步输出流式传输支持高吞吐量文本生成。这些功能由自定义 CUDA 内核和缓存去重支持，以优化硬件利用率并减少 Token 生成期间的延迟。

VisualGLM-6B 是一个双语多模态大语言模型和视觉语言模型，专为对话任务和视觉理解而设计。它是一个双语 AI 模型，能够处理并生成中文和英文的响应。 该系统是一个量化大语言模型，支持 4 位和 8 位精度，以减少本地部署期间的内存占用和硬件要求。它也是一个参数高效微调模型，允许在不进行完全重训练的情况下调整权重，以使系统适应特定的下游任务。 该项目涵盖了多模态对话 AI 和基于图像的对话，支持分析视觉内容以跨多种语言执行视觉理解任务。其功能包括模型精度量化和针对特定领域的微调，以满足专业应用需求。

Chinese-Vicuna 是一个基于 LLaMA 架构的中文大语言模型和指令跟随 AI。它专为中文自然语言理解和生成而设计，利用指令微调模型来跟随跨对话的复杂用户提示。 该项目提供了一个 LoRA 微调框架和量化系统，以实现模型在消费级硬件上的适配和推理。它实现了量化推理以减少 CPU 和 GPU 上的内存使用，并由低级 C++ 实现支持以最大限度地减少系统资源需求。 该系统涵盖了广泛的自然语言处理功能，包括多轮对话管理、多语言翻译和编程代码生成。它还包括用于特定领域训练、模型格式转换以及带有流式文本输出的交互式聊天界面的工具。

oneDNN 是一个深度学习加速库，为神经网络训练和推理提供优化的构建块。它管理跨 CPU 和 GPU 硬件的张量计算，支持执行用于模型训练和神经网络推理优化的高性能原语。 该项目通过硬件特定的内核优化和使用即时编译来针对特定处理器指令集脱颖而出。它支持使用静态和动态量化来执行量化神经网络，以减少内存使用并提高吞吐量。 该库涵盖了广泛的功能，包括卷积、矩阵乘法和循环神经网络执行等深度学习原语。它实现了先进的性能优化，包括操作融合、计算图优化和内存格式管理。通过稳定的 C ABI 和 C++ 包装器提供集成，并支持 SYCL、OpenCL 和外部线性代数库。 该系统包括用于硬件性能分析、原语基准测试和详细执行日志记录的观测工具。

VILA is a vision-language model integration that combines a visual encoder with a large language model to process images and text in a shared space. Its primary purpose is to enable the generation of natural language explanations and detailed text summaries of images and videos based on user prompts. The project utilizes a multi-stage alignment pipeline to synchronize visual and textual embeddings through sequential pretraining and supervised fine-tuning. To support deployment on desktop and edge hardware, it employs quantized low-precision inference to reduce model weights to 4-bit precision

This project is a collection of scripts and workflows for training, fine-tuning, and deploying large language models using the Hugging Face Transformers toolkit. It functions as a distributed training framework, a library for natural language processing task implementations, and a system for building retrieval-augmented generation chatbots. The repository includes specialized tools for model optimization, such as a Bayesian hyperparameter optimizer for automatically tuning model settings. It provides implementations for scaling model training across multiple graphics processors using data par

ChatGLM-Efficient-Tuning is a fine-tuning framework and toolkit designed to optimize large language models using parameter-efficient fine-tuning techniques. It provides a pipeline for adjusting model behavior and reducing the memory and compute requirements necessary for training. The project features a web-based trainer and orchestration interface for configuring and executing the fine-tuning process on a single GPU. It supports quantized training in lower precision formats to enable fine-tuning on hardware with limited memory, as well as reinforcement learning from human feedback for model

Neural Compressor is a deep learning model compression toolkit and AI inference acceleration engine. It functions as an automated model quantization tool and hardware-aware model compiler designed to reduce the memory footprint of neural networks and decrease execution latency. The project provides specialized frameworks for optimizing large language models, utilizing weight-only quantization and hardware-specific kernels to improve the operational efficiency of generative AI workloads. It maps neural network operators to specialized CPU and GPU vector instructions to accelerate model executi

Instructor-embedding 是一个自然语言处理框架，旨在将非结构化文本转换为高维数值向量。通过利用基于 Transformer 的编码器架构，该系统促进了大规模数据集上的语义检索、数据分类和相似度分析。 该框架通过指令条件向量投影脱颖而出，它将自然语言指令直接纳入嵌入过程，从而在无需额外训练的情况下提高特定任务的性能。它作为一个对比学习库，允许用户在自定义数据集上微调预训练语言模型，为特定领域创建专业化的嵌入。 该项目提供了一套全面的向量表示管理工具，包括针对标准化指标对模型准确性进行基准测试，以及为快速相似度搜索建立嵌入索引的功能。为了支持在资源受限环境中的部署，该框架包含了混合精度模型量化等优化功能，以减少内存使用并加速推理速度。