1 repository
Awesome GitHub RepositoriesHierarchical Position Embeddings
Embedding structures that allow transformers to process text beyond standard length limits by nesting position information.
Distinct from Long-Context Sequence Processors: Specifically covers the architectural embedding method for long text, whereas Long-Context Sequence Processors is a broader system category.
Explore 1 awesome GitHub repository matching data & databases · Hierarchical Position Embeddings. Refine with filters or upvote what's useful.
Awesome Hierarchical Position Embeddings GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- bojone/bert4keras
bojone/bert4keras
5,419Vezi pe GitHubbert4keras este o reimplementare ușoară a arhitecturii transformer BERT pentru framework-ul de deep learning Keras. Acesta servește drept set de instrumente pentru procesarea limbajului natural și bibliotecă de modele transformer utilizată pentru clasificarea textului, etichetarea secvențelor și extracția embedding-urilor semantice. Framework-ul include un sistem de model sequence-to-sequence pentru răspunsul la întrebări și generarea de text, precum și un server de inferență a modelului pentru a implementa transformere antrenate ca API-uri web pentru predicții în timp real. Capabilitățile acoperă o gamă largă de sarcini de înțelegere a limbajului natural, inclusiv înțelegerea lecturii, extracția relațiilor și procesarea textelor lungi. Biblioteca oferă instrumente pentru pre-antrenarea și fine-tuning-ul modelelor de limbaj, alături de tehnici de optimizare precum reducerea parametrilor, antrenarea adversă pentru robustețe și configurarea ratei de învățare pe niveluri. Proiectul include un loader de conversie a ponderilor pentru a transforma ponderile pre-antrenate din formate externe în structuri Keras compatibile.
Implements hierarchical position embeddings to handle input sequences that exceed standard transformer length limits.
Python
