1 repositorio
Awesome GitHub RepositoriesMulti-Head Quantization
Splitting input dimensions across multiple independent heads to quantize different feature subspaces.
Distinct from Attention Head Mixing: This is for quantization subspaces, not multi-head attention mechanisms.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Multi-Head Quantization. Refine with filters or upvote what's useful.
Awesome Multi-Head Quantization GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- lucidrains/vector-quantize-pytorch
lucidrains/vector-quantize-pytorch
3,968Ver en GitHubEsta es una biblioteca de PyTorch para implementar cuantización de vectores y escalares para crear representaciones latentes discretas en redes neuronales. Proporciona un conjunto de módulos y utilidades para convertir vectores continuos en códigos discretos, admitiendo arquitecturas como autoencoders variacionales cuantizados por vectores. La biblioteca cuenta con mecanismos especializados para mantener la salud y eficiencia del codebook, incluyendo la reinicialización aleatoria de vectores para prevenir el colapso del codebook y la inicialización de centroides k-means para acelerar la convergencia. Admite diversas estrategias de cuantización como cuantización residual recursiva para mayor resolución, cuantización paralela multi-cabeza para división de subespacios de características y cuantización escalar finita para crear códigos de hipercubo. El toolkit incluye un módulo de cuantización diferenciable que utiliza estimadores straight-through y trucos de rotación para permitir la retropropagación a través de pasos de cuantización no diferenciables. Capacidades adicionales cubren el emparejamiento de distancia angular mediante similitud de coseno, regularización ortogonal para traducción de características y desentrelazado del espacio latente mediante codebooks escalares aprendibles.
Quantizes input dimensions across multiple heads using either shared or separate codebooks for each head.
Pythonartificial-intelligencedeep-learningpytorch
