Awesome GitHub RepositoriesContinuous Embedding Processing

x-transformers este o bibliotecă PyTorch și un toolkit de cercetare pentru construirea arhitecturilor de tip transformer. Oferă un framework modular pentru implementarea cercetării experimentale în domeniul transformer, incluzând o suită de mecanisme avansate de atenție, instrumente de modelare a secvențelor lungi și un framework pentru vision transformers. Proiectul se distinge prin accentul pus pe componente eficiente din punct de vedere al memoriei și de înaltă performanță, cum ar fi Flash Attention cu nuclee (kernels) tiled și atenție multi-query. De asemenea, implementează metode specializate pentru extinderea ferestrelor de context, inclusiv recurența secvențelor și embedding-uri poziționale rotative. Biblioteca acoperă o gamă largă de capabilități arhitecturale, inclusiv diverse scheme de normalizare pentru stabilizarea antrenamentului, rețele feedforward cu porți (gated) și topologii de straturi personalizate precum rețelele Macaron. Suportă construcții atât de tip encoder, cât și decoder, oferind instrumente pentru generarea autoregresivă de secvențe și sarcini vision-language, cum ar fi generarea de subtitrări pentru imagini.