1 个仓库
Awesome GitHub RepositoriesQuantized Tensor Layouts
Mapping quantized tensors to hardware-specific memory layouts for faster execution.
Distinct from Tensor Memory Mapping: Specifically targets memory layouts for quantized weights on accelerators, whereas Tensor Memory Mapping is for general inter-language data transfer.
Explore 1 awesome GitHub repository matching software engineering & architecture · Quantized Tensor Layouts. Refine with filters or upvote what's useful.
Awesome Quantized Tensor Layouts GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- autogptq/autogptq
AutoGPTQ/AutoGPTQ
5,070在 GitHub 上查看AutoGPTQ 是一个模型压缩工具包和训练后量化框架，旨在减少大语言模型的内存占用。它利用 GPTQ 算法压缩神经网络权重，降低硬件要求并减少 VRAM 使用量。 该项目通过提供优化内核来提高 Token 生成速度，从而充当推理加速器。它具有模型架构扩展性，允许通过可配置模式将量化能力添加到新的模型结构中。 该框架涵盖了全面的量化流水线，包括层级权重压缩、基于校准的缩放估计以及特定精度的内存映射。它还包括用于模型性能评估的系统，以衡量量化对语言和摘要任务准确性的影响。
Maps quantized tensors to specific memory layouts to enable faster loading and execution on hardware accelerators.
Python
