1 个仓库
Awesome GitHub RepositoriesContinuous Embedding Processing
Techniques for processing continuous-valued input and output tensors instead of discrete token identifiers.
Distinct from Discrete-to-Continuous Model Conversion: Shortlist candidates focus on process continuity, regression, or conversion rather than the embedding processing mechanism itself.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Continuous Embedding Processing. Refine with filters or upvote what's useful.
Awesome Continuous Embedding Processing GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- lucidrains/x-transformers
lucidrains/x-transformers
5,912在 GitHub 上查看x-transformers 是一个用于构建 Transformer 架构的 PyTorch 库和研究工具包。它提供了一个模块化框架来实现实验性 Transformer 研究，包括一套先进的注意力机制、长序列建模工具以及视觉 Transformer 框架。 该项目以专注于内存高效和高性能组件而著称，例如带有分块内核的 Flash Attention 和多查询注意力。它还实现了用于扩展上下文窗口的专门方法，包括序列循环和旋转位置嵌入。 该库涵盖了广泛的架构功能，包括用于稳定训练的各种归一化方案、门控前馈网络以及 Macaron 网络等自定义层拓扑。它支持编码器和解码器构造，为自回归序列生成和图像描述等视觉-语言任务提供工具。
Processes continuous-valued input and output tensors as an alternative to discrete token identifiers.
Python
