1 Repo
Awesome GitHub RepositoriesMulti-Head Quantization
Splitting input dimensions across multiple independent heads to quantize different feature subspaces.
Distinct from Attention Head Mixing: This is for quantization subspaces, not multi-head attention mechanisms.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Multi-Head Quantization. Refine with filters or upvote what's useful.
Awesome Multi-Head Quantization GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- lucidrains/vector-quantize-pytorch
lucidrains/vector-quantize-pytorch
3,968Auf GitHub ansehenDies ist eine PyTorch-Bibliothek zur Implementierung von Vektor- und Skalarquantisierung, um diskrete latente Repräsentationen in neuronalen Netzen zu erstellen. Sie bietet eine Suite von Modulen und Dienstprogrammen zur Konvertierung kontinuierlicher Vektoren in diskrete Codes und unterstützt Architekturen wie Vector Quantized Variational Autoencoders. Die Bibliothek bietet spezialisierte Mechanismen zur Aufrechterhaltung der Codebook-Integrität und -Effizienz, einschließlich der zufälligen Re-Initialisierung von Vektoren zur Vermeidung von Codebook-Kollaps und der K-Means-Zentroid-Initialisierung zur Beschleunigung der Konvergenz. Sie unterstützt verschiedene Quantisierungsstrategien wie rekursive Residualquantisierung für höhere Auflösung, Multi-Head-Parallelquantisierung für Feature-Subspace-Division und Finite-Scalar-Quantisierung zur Erstellung von Hypercube-Codes. Das Toolkit enthält ein differenzierbares Quantisierungsmodul, das Straight-Through-Estimators und Rotation-Tricks verwendet, um Backpropagation durch nicht-differenzierbare Quantisierungsschritte zu ermöglichen. Zusätzliche Funktionen decken Winkelabstandsabgleiche mittels Kosinus-Ähnlichkeit, orthogonale Regularisierung für Feature-Translation und Latent-Space-Disentanglement durch lernbare Skalar-Codebooks ab.
Quantizes input dimensions across multiple heads using either shared or separate codebooks for each head.
Pythonartificial-intelligencedeep-learningpytorch
