Awesome GitHub RepositoriesGPT Decoder Construction

x-transformers es una biblioteca de PyTorch y kit de herramientas de investigación para construir arquitecturas transformer. Proporciona un framework modular para implementar investigación experimental en transformers, incluyendo un conjunto de mecanismos de atención avanzados, herramientas de modelado de secuencias largas y un framework para vision transformers. El proyecto se distingue por su enfoque en componentes de alto rendimiento y eficiencia de memoria, como Flash Attention con kernels en mosaico (tiled kernels) y atención multi-query. También implementa métodos especializados para extender ventanas de contexto, incluyendo recurrencia de secuencias y embeddings posicionales rotatorios. La biblioteca cubre una amplia gama de capacidades arquitectónicas, incluyendo varios esquemas de normalización para estabilizar el entrenamiento, redes feedforward con puertas (gated) y topologías de capas personalizadas como las redes Macaron. Admite construcciones tanto de codificador como de decodificador, proporcionando herramientas para la generación de secuencias autorregresivas y tareas de visión-lenguaje como el subtitulado de imágenes.