1 repository
Awesome GitHub RepositoriesQuantized Tensor Layouts
Mapping quantized tensors to hardware-specific memory layouts for faster execution.
Distinct from Tensor Memory Mapping: Specifically targets memory layouts for quantized weights on accelerators, whereas Tensor Memory Mapping is for general inter-language data transfer.
Explore 1 awesome GitHub repository matching software engineering & architecture · Quantized Tensor Layouts. Refine with filters or upvote what's useful.
Awesome Quantized Tensor Layouts GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- autogptq/autogptq
AutoGPTQ/AutoGPTQ
5,070Vezi pe GitHubAutoGPTQ este un set de instrumente de compresie a modelelor și un framework de cuantizare post-antrenare conceput pentru a reduce amprenta de memorie a modelelor de limbaj mari. Utilizează algoritmul GPTQ pentru a comprima ponderile rețelelor neuronale, reducând cerințele hardware și utilizarea VRAM. Proiectul servește drept accelerator de inferență prin furnizarea de nuclee optimizate care cresc viteza de generare a token-urilor. Dispune de extensibilitate a arhitecturii modelului, permițând adăugarea capabilităților de cuantizare la noi structuri de modele prin modele configurabile. Framework-ul acoperă un pipeline cuprinzător de cuantizare, incluzând compresia ponderilor pe niveluri, estimarea scalei bazată pe calibrare și maparea memoriei specifică preciziei. Include, de asemenea, sisteme pentru evaluarea performanței modelului pentru a măsura impactul cuantizării asupra acurateței în sarcini de limbaj și sumarizare.
Maps quantized tensors to specific memory layouts to enable faster loading and execution on hardware accelerators.
Python
