1 Repo
Awesome GitHub RepositoriesHierarchical Position Embeddings
Embedding structures that allow transformers to process text beyond standard length limits by nesting position information.
Distinct from Long-Context Sequence Processors: Specifically covers the architectural embedding method for long text, whereas Long-Context Sequence Processors is a broader system category.
Explore 1 awesome GitHub repository matching data & databases · Hierarchical Position Embeddings. Refine with filters or upvote what's useful.
Awesome Hierarchical Position Embeddings GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- bojone/bert4keras
bojone/bert4keras
5,419Auf GitHub ansehenbert4keras ist eine leichtgewichtige Reimplementierung der BERT-Transformer-Architektur für das Keras-Deep-Learning-Framework. Es dient als Toolkit für die natürliche Sprachverarbeitung (NLP) und als Transformer-Modellbibliothek, die für Textklassifizierung, Sequenz-Labeling und die Extraktion semantischer Embeddings verwendet wird. Das Framework enthält ein Sequence-to-Sequence-Modellsystem für Question-Answering und Textgenerierung sowie einen Modell-Inference-Server, um trainierte Transformer als Web-APIs für Echtzeit-Vorhersagen bereitzustellen. Die Funktionen decken ein breites Spektrum an Aufgaben des natürlichen Sprachverständnisses ab, einschließlich Leseverständnis, Relationsextraktion und Langtextverarbeitung. Die Bibliothek bietet Tools für das Pre-Training und Fine-Tuning von Sprachmodellen sowie Optimierungstechniken wie Parameterreduktion, adversarielles Training für Robustheit und schichtweise Konfiguration der Lernrate. Das Projekt enthält einen Weight-Conversion-Loader, um vortrainierte Gewichte aus externen Formaten in kompatible Keras-Strukturen umzuwandeln.
Implements hierarchical position embeddings to handle input sequences that exceed standard transformer length limits.
Python
