1 repository
Awesome GitHub RepositoriesAttention Sparsification
Techniques that reduce compute by zeroing out low-importance attention scores, typically via top-k selection.
Distinct from Model Sparsification: Specifically targets sparsity within the attention matrix rather than general model parameter pruning.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Attention Sparsification. Refine with filters or upvote what's useful.
Awesome Attention Sparsification GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- lucidrains/x-transformers
lucidrains/x-transformers
5,912Vezi pe GitHubx-transformers este o bibliotecă PyTorch și un toolkit de cercetare pentru construirea arhitecturilor de tip transformer. Oferă un framework modular pentru implementarea cercetării experimentale în domeniul transformer, incluzând o suită de mecanisme avansate de atenție, instrumente de modelare a secvențelor lungi și un framework pentru vision transformers. Proiectul se distinge prin accentul pus pe componente eficiente din punct de vedere al memoriei și de înaltă performanță, cum ar fi Flash Attention cu nuclee (kernels) tiled și atenție multi-query. De asemenea, implementează metode specializate pentru extinderea ferestrelor de context, inclusiv recurența secvențelor și embedding-uri poziționale rotative. Biblioteca acoperă o gamă largă de capabilități arhitecturale, inclusiv diverse scheme de normalizare pentru stabilizarea antrenamentului, rețele feedforward cu porți (gated) și topologii de straturi personalizate precum rețelele Macaron. Suportă construcții atât de tip encoder, cât și decoder, oferind instrumente pentru generarea autoregresivă de secvențe și sarcini vision-language, cum ar fi generarea de subtitrări pentru imagini.
Implements top-k selection to zero out low-importance attention scores, reducing computational overhead.
Python
