3 Repos
Awesome GitHub RepositoriesConfigurable Bit-Width Quantizers
Tools that allow configuring quantization to specific bit-width combinations like A16W16 or A8W4 before deployment.
Distinct from Model Quantization: Distinct from Model Quantization: focuses on selecting among multiple bit-width configurations rather than applying a single quantization technique.
Explore 3 awesome GitHub repositories matching artificial intelligence & ml · Configurable Bit-Width Quantizers. Refine with filters or upvote what's useful.
Awesome Configurable Bit-Width Quantizers GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- autogptq/autogptq
AutoGPTQ/AutoGPTQ
5,070Auf GitHub ansehenAutoGPTQ ist ein Toolkit zur Modellkomprimierung und ein Framework zur Post-Training-Quantisierung, das entwickelt wurde, um den Speicherbedarf großer Sprachmodelle zu reduzieren. Es nutzt den GPTQ-Algorithmus zur Komprimierung neuronaler Netzwerkgewichte, wodurch Hardwareanforderungen gesenkt und die VRAM-Nutzung reduziert werden. Das Projekt dient als Inferenz-Beschleuniger durch die Bereitstellung optimierter Kernels, die die Token-Generierungsgeschwindigkeit erhöhen. Es bietet Erweiterbarkeit der Modellarchitektur, wodurch Quantisierungsfunktionen durch konfigurierbare Muster zu neuen Modellstrukturen hinzugefügt werden können. Das Framework deckt eine umfassende Quantisierungspipeline ab, einschließlich schichtweiser Gewichtskomprimierung, kalibrierungsbasierter Skalenschätzung und präzisionsspezifischem Memory-Mapping. Es enthält zudem Systeme zur Bewertung der Modellperformance, um die Auswirkungen der Quantisierung auf die Genauigkeit bei Sprach- und Zusammenfassungsaufgaben zu messen.
Processes quantization sequentially across model layers to preserve numerical stability and output accuracy.
Python - pytorch/executorch
pytorch/executorch
4,296Auf GitHub ansehenExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,
Configures model quantization to specific bit-width combinations like A16W16 or A8W4 before deployment.
Pythondeep-learningembeddedgpu - tencent/pocketflow
Tencent/PocketFlow
2,914Auf GitHub ansehenPocketFlow is an integrated toolkit for deep learning model compression, distributed training, and mobile format optimization. It provides a system for reducing the size and complexity of neural networks to improve inference efficiency, featuring a dedicated engine for knowledge distillation and a mobile model optimizer. The framework differentiates itself through an automated hyperparameter tuning system that uses reinforcement learning and statistical models to determine optimal compression ratios and layer-wise bit allocation. It also includes a distributed training system that utilizes mu
Assigns different quantization bit-widths to individual network layers to balance inference speed and model accuracy.
Pythonautomlcomputer-visiondeep-learning
