1 repositorio
Awesome GitHub RepositoriesImplicit Quantization Code Generation
Generates discrete codes via linear projections using frozen codebooks to stabilize neural network training.
Distinct from Code Generation: Unlike software code generation, this refers to the generation of discrete latent codes in a ML model.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Implicit Quantization Code Generation. Refine with filters or upvote what's useful.
Awesome Implicit Quantization Code Generation GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- lucidrains/vector-quantize-pytorch
lucidrains/vector-quantize-pytorch
3,968Ver en GitHubEsta es una biblioteca de PyTorch para implementar cuantización de vectores y escalares para crear representaciones latentes discretas en redes neuronales. Proporciona un conjunto de módulos y utilidades para convertir vectores continuos en códigos discretos, admitiendo arquitecturas como autoencoders variacionales cuantizados por vectores. La biblioteca cuenta con mecanismos especializados para mantener la salud y eficiencia del codebook, incluyendo la reinicialización aleatoria de vectores para prevenir el colapso del codebook y la inicialización de centroides k-means para acelerar la convergencia. Admite diversas estrategias de cuantización como cuantización residual recursiva para mayor resolución, cuantización paralela multi-cabeza para división de subespacios de características y cuantización escalar finita para crear códigos de hipercubo. El toolkit incluye un módulo de cuantización diferenciable que utiliza estimadores straight-through y trucos de rotación para permitir la retropropagación a través de pasos de cuantización no diferenciables. Capacidades adicionales cubren el emparejamiento de distancia angular mediante similitud de coseno, regularización ortogonal para traducción de características y desentrelazado del espacio latente mediante codebooks escalares aprendibles.
Produces discrete codes through linear projections using frozen codebooks to improve convergence and prevent collapse.
Pythonartificial-intelligencedeep-learningpytorch
