Awesome GitHub RepositoriesBatch Optimizers

Ragas is an evaluation framework designed to measure the performance of retrieval-augmented generation pipelines and autonomous agent workflows. It provides a comprehensive suite of tools for benchmarking system outputs, utilizing language models as automated judges to score performance against defined rubrics and reference data. By standardizing inputs, retrieved contexts, and generated responses into a unified schema, the project enables consistent analysis across complex AI applications. The framework distinguishes itself through its ability to generate synthetic test datasets from existin

xtuner 是一个用于大语言模型的综合训练引擎，提供用于预训练、监督微调以及视觉-语言多模态模型优化的工具包。它作为一个分布式训练加速器和专门的框架，用于扩展专家混合（MoE）模型，并通过人类反馈强化学习（RLHF）来对齐模型行为。 该项目的特色在于先进的内存和计算优化，例如用于超长上下文窗口的序列并行，以及用于减少 GPU 空闲时间的交错流水线并行。它提供了一套专门的偏好优化套件，实现了如组相对策略优化（GRPO）和直接偏好优化（DPO）等技术，以优化模型策略和奖励系统。 广泛的功能领域涵盖跨多节点的分布式模型训练、多模态数据集准备以及基于适配器（Adapter）的微调管理。该引擎还包括用于模型评估、权重合并以及将训练参数导出到推理引擎的工具。 训练通过标准化的配置文件和分布式启动器进行管理，以确保跨计算集群的一致结果。

该项目是一个综合性教育计划和深度学习框架，旨在通过 Notebook 和代码示例教授 PyTorch 深度学习实践。它作为一个用于构建、训练和部署神经网络的高级库，充当模型训练编排器，协调 PyTorch 模型、优化器和损失函数。 该项目为计算机视觉、自然语言处理和表格数据预处理提供了专门的工具包。它通过高级训练控制脱颖而出，例如判别式学习率、用于自定义训练逻辑的双向回调系统，以及自动化设备放置和训练循环的高级学习器抽象。 该框架涵盖了广泛的能力面，包括自动化数据流水线构建、模型架构分析以及跨分类、回归和分割任务的性能评估。它还包括用于跨多个 GPU 进行分布式训练的工具、用于内存优化的混合精度训练，以及对医学影像数据的专门支持。 该项目以一系列 Jupyter Notebook 的形式交付。

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di