1 repository
Awesome GitHub RepositoriesDifferentiable Quantization
Implementations of quantization layers that allow gradient flow for end-to-end training.
Distinct from Quantized Neural Network Execution: Specifically addresses the differentiability of the quantization step, not just integer-based inference execution.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Differentiable Quantization. Refine with filters or upvote what's useful.
Awesome Differentiable Quantization GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- lucidrains/vector-quantize-pytorch
lucidrains/vector-quantize-pytorch
3,968Vezi pe GitHubAceasta este o bibliotecă PyTorch pentru implementarea cuantizării vectoriale și scalare pentru a crea reprezentări latente discrete în rețelele neuronale. Oferă o suită de module și utilitare pentru conversia vectorilor continui în coduri discrete, suportând arhitecturi precum autoencodere variaționale cuantizate vectorial. Biblioteca dispune de mecanisme specializate pentru a menține sănătatea și eficiența codebook-ului, inclusiv re-inițializarea aleatorie a vectorilor pentru a preveni colapsul codebook-ului și inițializarea centroidului k-means pentru a accelera convergența. Suportă diverse strategii de cuantizare, cum ar fi cuantizarea reziduală recursivă pentru rezoluție mai mare, cuantizarea paralelă multi-head pentru divizarea subspațiului de caracteristici și cuantizarea scalară finită pentru crearea de coduri hypercube. Toolkit-ul include un modul de cuantizare diferențiabil care utilizează estimatori straight-through și trucuri de rotație pentru a permite backpropagation prin pași de cuantizare non-diferențiabili. Capabilitățile suplimentare acoperă potrivirea distanței unghiulare prin similaritatea cosinus, regularizarea ortogonală pentru translația caracteristicilor și dezentâlcirea spațiului latent prin codebook-uri scalare învățabile.
A set of tools for estimating gradients through non-differentiable quantization steps using straight-through estimators and rotation tricks.
Pythonartificial-intelligencedeep-learningpytorch
