1 Repo
Awesome GitHub RepositoriesAttention Sparsification
Techniques that reduce compute by zeroing out low-importance attention scores, typically via top-k selection.
Distinct from Model Sparsification: Specifically targets sparsity within the attention matrix rather than general model parameter pruning.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Attention Sparsification. Refine with filters or upvote what's useful.
Awesome Attention Sparsification GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- lucidrains/x-transformers
lucidrains/x-transformers
5,912Auf GitHub ansehenx-transformers ist eine PyTorch-Bibliothek und ein Research-Toolkit für den Aufbau von Transformer-Architekturen. Es bietet ein modulares Framework für die Implementierung experimenteller Transformer-Forschung, einschließlich einer Suite fortschrittlicher Attention-Mechanismen, Tools für die Modellierung langer Sequenzen und eines Frameworks für Vision-Transformer. Das Projekt zeichnet sich durch den Fokus auf speichereffiziente und performante Komponenten aus, wie etwa Flash-Attention mit Tiled-Kernels und Multi-Query-Attention. Zudem implementiert es spezialisierte Methoden zur Erweiterung von Kontextfenstern, einschließlich Sequence-Recurrence und Rotary-Positional-Embeddings. Die Bibliothek deckt ein breites Spektrum architektonischer Funktionen ab, darunter verschiedene Normalisierungsschemata zur Stabilisierung des Trainings, Gated-Feedforward-Netzwerke und benutzerdefinierte Layer-Topologien wie Macaron-Netzwerke. Sie unterstützt sowohl Encoder- als auch Decoder-Konstruktionen und bietet Tools für die autoregressive Sequenzgenerierung sowie Vision-Language-Aufgaben wie Bildunterschriften.
Implements top-k selection to zero out low-importance attention scores, reducing computational overhead.
Python
