3 个仓库
Awesome GitHub RepositoriesLength-Based Batch Groupers
Sorts and groups input sequences by length before processing to minimize padding waste and maximize throughput.
Distinct from Batch Optimizers: Distinct from Batch Optimizers: focuses on grouping by sequence length rather than general input chunking for provider constraints.
Explore 3 awesome GitHub repositories matching data & databases · Length-Based Batch Groupers. Refine with filters or upvote what's useful.
Awesome Length-Based Batch Groupers GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- internlm/xtuner
InternLM/xtuner
5,150在 GitHub 上查看xtuner 是一个用于大语言模型的综合训练引擎，提供用于预训练、监督微调以及视觉-语言多模态模型优化的工具包。它作为一个分布式训练加速器和专门的框架，用于扩展专家混合（MoE）模型，并通过人类反馈强化学习（RLHF）来对齐模型行为。 该项目的特色在于先进的内存和计算优化，例如用于超长上下文窗口的序列并行，以及用于减少 GPU 空闲时间的交错流水线并行。它提供了一套专门的偏好优化套件，实现了如组相对策略优化（GRPO）和直接偏好优化（DPO）等技术，以优化模型策略和奖励系统。 广泛的功能领域涵盖跨多节点的分布式模型训练、多模态数据集准备以及基于适配器（Adapter）的微调管理。该引擎还包括用于模型评估、权重合并以及将训练参数导出到推理引擎的工具。 训练通过标准化的配置文件和分布式启动器进行管理，以确保跨计算集群的一致结果。
Sorts training data by length to create batches of similar-sized sequences and minimize padding overhead.
Pythonagentdeepseek-v3gpt-oss - fastai/course-v3
fastai/course-v3
4,914在 GitHub 上查看该项目是一个综合性教育计划和深度学习框架，旨在通过 Notebook 和代码示例教授 PyTorch 深度学习实践。它作为一个用于构建、训练和部署神经网络的高级库，充当模型训练编排器，协调 PyTorch 模型、优化器和损失函数。 该项目为计算机视觉、自然语言处理和表格数据预处理提供了专门的工具包。它通过高级训练控制脱颖而出，例如判别式学习率、用于自定义训练逻辑的双向回调系统，以及自动化设备放置和训练循环的高级学习器抽象。 该框架涵盖了广泛的能力面，包括自动化数据流水线构建、模型架构分析以及跨分类、回归和分割任务的性能评估。它还包括用于跨多个 GPU 进行分布式训练的工具、用于内存优化的混合精度训练，以及对医学影像数据的专门支持。 该项目以一系列 Jupyter Notebook 的形式交付。
Orders dataset items based on text length to minimize padding waste and improve batching efficiency.
Jupyter Notebookdata-sciencedeep-learningfastai - opennmt/ctranslate2
OpenNMT/CTranslate2
4,319在 GitHub 上查看CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di
CTranslate2 groups input sequences by length and processes them in fixed-size chunks to maximize hardware utilization and throughput.
C++avxavx2cpp
