1 个仓库
Awesome GitHub RepositoriesLoading Sequence Determinism
Ensuring a fixed and reproducible order of data files during model training across distributed clusters.
Distinct from Data Standardization: Distinct from general data standardization; specifically targets the sequence of file loading for training consistency.
Explore 1 awesome GitHub repository matching data & databases · Loading Sequence Determinism. Refine with filters or upvote what's useful.
Awesome Loading Sequence Determinism GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- internlm/xtuner
InternLM/xtuner
5,150在 GitHub 上查看xtuner 是一个用于大语言模型的综合训练引擎，提供用于预训练、监督微调以及视觉-语言多模态模型优化的工具包。它作为一个分布式训练加速器和专门的框架，用于扩展专家混合（MoE）模型，并通过人类反馈强化学习（RLHF）来对齐模型行为。 该项目的特色在于先进的内存和计算优化，例如用于超长上下文窗口的序列并行，以及用于减少 GPU 空闲时间的交错流水线并行。它提供了一套专门的偏好优化套件，实现了如组相对策略优化（GRPO）和直接偏好优化（DPO）等技术，以优化模型策略和奖励系统。 广泛的功能领域涵盖跨多节点的分布式模型训练、多模态数据集准备以及基于适配器（Adapter）的微调管理。该引擎还包括用于模型评估、权重合并以及将训练参数导出到推理引擎的工具。 训练通过标准化的配置文件和分布式启动器进行管理，以确保跨计算集群的一致结果。
Generates a fixed sequence of training data files to ensure consistent results across computing clusters.
Pythonagentdeepseek-v3gpt-oss
