Awesome GitHub RepositoriesContinuous Embedding Processing

x-transformers ist eine PyTorch-Bibliothek und ein Research-Toolkit für den Aufbau von Transformer-Architekturen. Es bietet ein modulares Framework für die Implementierung experimenteller Transformer-Forschung, einschließlich einer Suite fortschrittlicher Attention-Mechanismen, Tools für die Modellierung langer Sequenzen und eines Frameworks für Vision-Transformer. Das Projekt zeichnet sich durch den Fokus auf speichereffiziente und performante Komponenten aus, wie etwa Flash-Attention mit Tiled-Kernels und Multi-Query-Attention. Zudem implementiert es spezialisierte Methoden zur Erweiterung von Kontextfenstern, einschließlich Sequence-Recurrence und Rotary-Positional-Embeddings. Die Bibliothek deckt ein breites Spektrum architektonischer Funktionen ab, darunter verschiedene Normalisierungsschemata zur Stabilisierung des Trainings, Gated-Feedforward-Netzwerke und benutzerdefinierte Layer-Topologien wie Macaron-Netzwerke. Sie unterstützt sowohl Encoder- als auch Decoder-Konstruktionen und bietet Tools für die autoregressive Sequenzgenerierung sowie Vision-Language-Aufgaben wie Bildunterschriften.