1 Repo
Awesome GitHub RepositoriesImplicit Quantization Code Generation
Generates discrete codes via linear projections using frozen codebooks to stabilize neural network training.
Distinct from Code Generation: Unlike software code generation, this refers to the generation of discrete latent codes in a ML model.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Implicit Quantization Code Generation. Refine with filters or upvote what's useful.
Awesome Implicit Quantization Code Generation GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- lucidrains/vector-quantize-pytorch
lucidrains/vector-quantize-pytorch
3,968Auf GitHub ansehenDies ist eine PyTorch-Bibliothek zur Implementierung von Vektor- und Skalarquantisierung, um diskrete latente Repräsentationen in neuronalen Netzen zu erstellen. Sie bietet eine Suite von Modulen und Dienstprogrammen zur Konvertierung kontinuierlicher Vektoren in diskrete Codes und unterstützt Architekturen wie Vector Quantized Variational Autoencoders. Die Bibliothek bietet spezialisierte Mechanismen zur Aufrechterhaltung der Codebook-Integrität und -Effizienz, einschließlich der zufälligen Re-Initialisierung von Vektoren zur Vermeidung von Codebook-Kollaps und der K-Means-Zentroid-Initialisierung zur Beschleunigung der Konvergenz. Sie unterstützt verschiedene Quantisierungsstrategien wie rekursive Residualquantisierung für höhere Auflösung, Multi-Head-Parallelquantisierung für Feature-Subspace-Division und Finite-Scalar-Quantisierung zur Erstellung von Hypercube-Codes. Das Toolkit enthält ein differenzierbares Quantisierungsmodul, das Straight-Through-Estimators und Rotation-Tricks verwendet, um Backpropagation durch nicht-differenzierbare Quantisierungsschritte zu ermöglichen. Zusätzliche Funktionen decken Winkelabstandsabgleiche mittels Kosinus-Ähnlichkeit, orthogonale Regularisierung für Feature-Translation und Latent-Space-Disentanglement durch lernbare Skalar-Codebooks ab.
Produces discrete codes through linear projections using frozen codebooks to improve convergence and prevent collapse.
Pythonartificial-intelligencedeep-learningpytorch
