1 Repo
Awesome GitHub RepositoriesQuantized Tensor Layouts
Mapping quantized tensors to hardware-specific memory layouts for faster execution.
Distinct from Tensor Memory Mapping: Specifically targets memory layouts for quantized weights on accelerators, whereas Tensor Memory Mapping is for general inter-language data transfer.
Explore 1 awesome GitHub repository matching software engineering & architecture · Quantized Tensor Layouts. Refine with filters or upvote what's useful.
Awesome Quantized Tensor Layouts GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- autogptq/autogptq
AutoGPTQ/AutoGPTQ
5,070Auf GitHub ansehenAutoGPTQ ist ein Toolkit zur Modellkomprimierung und ein Framework zur Post-Training-Quantisierung, das entwickelt wurde, um den Speicherbedarf großer Sprachmodelle zu reduzieren. Es nutzt den GPTQ-Algorithmus zur Komprimierung neuronaler Netzwerkgewichte, wodurch Hardwareanforderungen gesenkt und die VRAM-Nutzung reduziert werden. Das Projekt dient als Inferenz-Beschleuniger durch die Bereitstellung optimierter Kernels, die die Token-Generierungsgeschwindigkeit erhöhen. Es bietet Erweiterbarkeit der Modellarchitektur, wodurch Quantisierungsfunktionen durch konfigurierbare Muster zu neuen Modellstrukturen hinzugefügt werden können. Das Framework deckt eine umfassende Quantisierungspipeline ab, einschließlich schichtweiser Gewichtskomprimierung, kalibrierungsbasierter Skalenschätzung und präzisionsspezifischem Memory-Mapping. Es enthält zudem Systeme zur Bewertung der Modellperformance, um die Auswirkungen der Quantisierung auf die Genauigkeit bei Sprach- und Zusammenfassungsaufgaben zu messen.
Maps quantized tensors to specific memory layouts to enable faster loading and execution on hardware accelerators.
Python
