1 Repo
Awesome GitHub RepositoriesGPT Decoder Construction
Specific patterns for constructing autoregressive GPT-style decoders with customizable depth and attention heads.
Distinct from Model Construction: Focuses specifically on the construction logic of GPT-style decoders, rather than general model construction.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · GPT Decoder Construction. Refine with filters or upvote what's useful.
Awesome GPT Decoder Construction GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- lucidrains/x-transformers
lucidrains/x-transformers
5,912Auf GitHub ansehenx-transformers ist eine PyTorch-Bibliothek und ein Research-Toolkit für den Aufbau von Transformer-Architekturen. Es bietet ein modulares Framework für die Implementierung experimenteller Transformer-Forschung, einschließlich einer Suite fortschrittlicher Attention-Mechanismen, Tools für die Modellierung langer Sequenzen und eines Frameworks für Vision-Transformer. Das Projekt zeichnet sich durch den Fokus auf speichereffiziente und performante Komponenten aus, wie etwa Flash-Attention mit Tiled-Kernels und Multi-Query-Attention. Zudem implementiert es spezialisierte Methoden zur Erweiterung von Kontextfenstern, einschließlich Sequence-Recurrence und Rotary-Positional-Embeddings. Die Bibliothek deckt ein breites Spektrum architektonischer Funktionen ab, darunter verschiedene Normalisierungsschemata zur Stabilisierung des Trainings, Gated-Feedforward-Netzwerke und benutzerdefinierte Layer-Topologien wie Macaron-Netzwerke. Sie unterstützt sowohl Encoder- als auch Decoder-Konstruktionen und bietet Tools für die autoregressive Sequenzgenerierung sowie Vision-Language-Aufgaben wie Bildunterschriften.
Implements patterns for constructing autoregressive GPT-style decoders with customizable depth and attention heads.
Python
