1 个仓库
Awesome GitHub RepositoriesSequence Packing
Techniques for packing multiple variable-length sequences into a single fixed-length input to eliminate padding waste.
Distinct from Memory Padding Optimizers: Distinct from Memory Padding Optimizers: focuses on sequence-level packing for ML training rather than low-level data structure field alignment.
Explore 1 awesome GitHub repository matching operating systems & systems programming · Sequence Packing. Refine with filters or upvote what's useful.
Awesome Sequence Packing GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- internlm/xtuner
InternLM/xtuner
5,150在 GitHub 上查看xtuner 是一个用于大语言模型的综合训练引擎，提供用于预训练、监督微调以及视觉-语言多模态模型优化的工具包。它作为一个分布式训练加速器和专门的框架，用于扩展专家混合（MoE）模型，并通过人类反馈强化学习（RLHF）来对齐模型行为。 该项目的特色在于先进的内存和计算优化，例如用于超长上下文窗口的序列并行，以及用于减少 GPU 空闲时间的交错流水线并行。它提供了一套专门的偏好优化套件，实现了如组相对策略优化（GRPO）和直接偏好优化（DPO）等技术，以优化模型策略和奖励系统。 广泛的功能领域涵盖跨多节点的分布式模型训练、多模态数据集准备以及基于适配器（Adapter）的微调管理。该引擎还包括用于模型评估、权重合并以及将训练参数导出到推理引擎的工具。 训练通过标准化的配置文件和分布式启动器进行管理，以确保跨计算集群的一致结果。
Reduce GPU memory waste by packing variable-length data into single sequences to eliminate excessive padding.
Pythonagentdeepseek-v3gpt-oss
