Awesome GitHub RepositoriesImplicit Quantization Code Generation

Aceasta este o bibliotecă PyTorch pentru implementarea cuantizării vectoriale și scalare pentru a crea reprezentări latente discrete în rețelele neuronale. Oferă o suită de module și utilitare pentru conversia vectorilor continui în coduri discrete, suportând arhitecturi precum autoencodere variaționale cuantizate vectorial. Biblioteca dispune de mecanisme specializate pentru a menține sănătatea și eficiența codebook-ului, inclusiv re-inițializarea aleatorie a vectorilor pentru a preveni colapsul codebook-ului și inițializarea centroidului k-means pentru a accelera convergența. Suportă diverse strategii de cuantizare, cum ar fi cuantizarea reziduală recursivă pentru rezoluție mai mare, cuantizarea paralelă multi-head pentru divizarea subspațiului de caracteristici și cuantizarea scalară finită pentru crearea de coduri hypercube. Toolkit-ul include un modul de cuantizare diferențiabil care utilizează estimatori straight-through și trucuri de rotație pentru a permite backpropagation prin pași de cuantizare non-diferențiabili. Capabilitățile suplimentare acoperă potrivirea distanței unghiulare prin similaritatea cosinus, regularizarea ortogonală pentru translația caracteristicilor și dezentâlcirea spațiului latent prin codebook-uri scalare învățabile.