Awesome GitHub RepositoriesNeural Network Stability Optimizations

x-transformers est une bibliothèque PyTorch et un toolkit de recherche pour construire des architectures transformer. Il fournit un framework modulaire pour implémenter la recherche transformer expérimentale, incluant une suite de mécanismes d'attention avancés, des outils de modélisation de séquences longues et un framework pour les vision transformers. Le projet se distingue par son accent sur les composants haute performance et économes en mémoire, tels que Flash Attention avec des noyaux tuilés et l'attention multi-requêtes. Il implémente également des méthodes spécialisées pour étendre les fenêtres de contexte, incluant la récurrence de séquence et les plongements positionnels rotatifs. La bibliothèque couvre un large éventail de capacités architecturales, incluant divers schémas de normalisation pour stabiliser l'entraînement, des réseaux feedforward à portes et des topologies de couches personnalisées comme les réseaux Macaron. Elle prend en charge les constructions d'encodeur et de décodeur, fournissant des outils pour la génération de séquence autorégressive et les tâches vision-langage comme la légende d'image.

This repository is an educational collection of implementations and research notes focused on deep learning architectures and optimization techniques. It provides modular code examples designed to demonstrate foundational and advanced concepts in machine learning, ranging from basic neural network structures to complex training strategies. The project distinguishes itself by offering practical implementations of specialized research methods, including capsule-based feature aggregation, gradient direction decoupling, and self-normalizing weight regularization. These materials allow for the stu