1 个仓库
Awesome GitHub RepositoriesHierarchical Position Embeddings
Embedding structures that allow transformers to process text beyond standard length limits by nesting position information.
Distinct from Long-Context Sequence Processors: Specifically covers the architectural embedding method for long text, whereas Long-Context Sequence Processors is a broader system category.
Explore 1 awesome GitHub repository matching data & databases · Hierarchical Position Embeddings. Refine with filters or upvote what's useful.
Awesome Hierarchical Position Embeddings GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- bojone/bert4keras
bojone/bert4keras
5,419在 GitHub 上查看bert4keras 是 Keras 深度学习框架的 BERT Transformer 架构的轻量级重新实现。它作为一个自然语言处理工具包和 Transformer 模型库，用于文本分类、序列标注和语义嵌入提取。 该框架包括用于问答和文本生成的序列到序列模型系统，以及一个模型推理服务器，用于将训练好的 Transformer 部署为 Web API 以进行实时预测。 功能涵盖了广泛的自然语言理解任务，包括阅读理解、关系提取和长文本处理。该库提供了用于语言模型预训练和微调的工具，以及参数缩减、用于鲁棒性的对抗性训练和层级学习率配置等优化技术。 该项目包括一个权重转换加载器，用于将外部格式的预训练权重转换为兼容的 Keras 结构。
Implements hierarchical position embeddings to handle input sequences that exceed standard transformer length limits.
Python
