Awesome GitHub RepositoriesGPTQ Quantization Libraries

Lit-llama is a PyTorch-based implementation framework for the LLaMA language model, providing a system for pre-training, fine-tuning, and high-performance inference. It includes a pre-training pipeline for creating foundational language models from scratch and tools for running pretrained weights to generate natural text and predict sequences. The project provides specialized toolkits for parameter-efficient fine-tuning using low-rank adaptation and lightweight adapters. It also includes a quantization library that reduces model memory footprints through four-bit and eight-bit precision to en

AutoGPTQ 是一个模型压缩框架，旨在减少大语言模型的内存占用并提高推理速度。它利用 GPTQ 算法压缩模型权重，使这些模型能够在 VRAM 有限的硬件上运行。 该工具包提供了一个架构量化流水线，支持为各种神经网络架构集成自定义模型类。它包含一个带有优化内核的混合精度推理引擎，可在部署期间加速矩阵乘法。 该框架涵盖了从校准和量化到下游准确性评估的完整权重压缩工作流。这些工具通过在基准任务上比较量化模型与原始权重的输出来衡量性能损失。

AutoGPTQ 是一个模型压缩工具包和训练后量化框架，旨在减少大语言模型的内存占用。它利用 GPTQ 算法压缩神经网络权重，降低硬件要求并减少 VRAM 使用量。 该项目通过提供优化内核来提高 Token 生成速度，从而充当推理加速器。它具有模型架构扩展性，允许通过可配置模式将量化能力添加到新的模型结构中。 该框架涵盖了全面的量化流水线，包括层级权重压缩、基于校准的缩放估计以及特定精度的内存映射。它还包括用于模型性能评估的系统，以衡量量化对语言和摘要任务准确性的影响。