1 repository
Awesome GitHub RepositoriesGPT Decoder Construction
Specific patterns for constructing autoregressive GPT-style decoders with customizable depth and attention heads.
Distinct from Model Construction: Focuses specifically on the construction logic of GPT-style decoders, rather than general model construction.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · GPT Decoder Construction. Refine with filters or upvote what's useful.
Awesome GPT Decoder Construction GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- lucidrains/x-transformers
lucidrains/x-transformers
5,912Vezi pe GitHubx-transformers este o bibliotecă PyTorch și un toolkit de cercetare pentru construirea arhitecturilor de tip transformer. Oferă un framework modular pentru implementarea cercetării experimentale în domeniul transformer, incluzând o suită de mecanisme avansate de atenție, instrumente de modelare a secvențelor lungi și un framework pentru vision transformers. Proiectul se distinge prin accentul pus pe componente eficiente din punct de vedere al memoriei și de înaltă performanță, cum ar fi Flash Attention cu nuclee (kernels) tiled și atenție multi-query. De asemenea, implementează metode specializate pentru extinderea ferestrelor de context, inclusiv recurența secvențelor și embedding-uri poziționale rotative. Biblioteca acoperă o gamă largă de capabilități arhitecturale, inclusiv diverse scheme de normalizare pentru stabilizarea antrenamentului, rețele feedforward cu porți (gated) și topologii de straturi personalizate precum rețelele Macaron. Suportă construcții atât de tip encoder, cât și decoder, oferind instrumente pentru generarea autoregresivă de secvențe și sarcini vision-language, cum ar fi generarea de subtitrări pentru imagini.
Implements patterns for constructing autoregressive GPT-style decoders with customizable depth and attention heads.
Python
