1 个仓库
Awesome GitHub RepositoriesAttention Sparsification
Techniques that reduce compute by zeroing out low-importance attention scores, typically via top-k selection.
Distinct from Model Sparsification: Specifically targets sparsity within the attention matrix rather than general model parameter pruning.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Attention Sparsification. Refine with filters or upvote what's useful.
Awesome Attention Sparsification GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- lucidrains/x-transformers
lucidrains/x-transformers
5,912在 GitHub 上查看x-transformers 是一个用于构建 Transformer 架构的 PyTorch 库和研究工具包。它提供了一个模块化框架来实现实验性 Transformer 研究，包括一套先进的注意力机制、长序列建模工具以及视觉 Transformer 框架。 该项目以专注于内存高效和高性能组件而著称，例如带有分块内核的 Flash Attention 和多查询注意力。它还实现了用于扩展上下文窗口的专门方法，包括序列循环和旋转位置嵌入。 该库涵盖了广泛的架构功能，包括用于稳定训练的各种归一化方案、门控前馈网络以及 Macaron 网络等自定义层拓扑。它支持编码器和解码器构造，为自回归序列生成和图像描述等视觉-语言任务提供工具。
Implements top-k selection to zero out low-importance attention scores, reducing computational overhead.
Python
