Awesome GitHub RepositoriesDistributed ML Trainers

CatBoost is a gradient boosting machine learning library used to train decision tree ensembles for regression, classification, and ranking tasks. It functions as a high-performance framework that provides a categorical data processor for transforming non-numeric features, a distributed trainer for large-scale datasets, and GPU acceleration to speed up model construction. The library distinguishes itself through native handling of categorical data and text features, removing the need for manual encoding. It includes a specialized model interpretability tool that leverages SHAP values and featu

TensorTrade is a reinforcement learning trading framework designed for training and deploying autonomous agents that optimize financial market strategies. It provides an algorithmic trading simulation environment where agents can be tested against market data using simulated broker environments. The framework features a distributed training system using RLlib to optimize decision policies across large datasets. It includes a walk-forward validation tool that evaluates trading strategies through windowed performance analysis to prevent overfitting and measure real-world viability. The project

llm-foundry هو إطار عمل تدريبي للنماذج اللغوية الكبيرة، يوفر نظاماً للتدريب المسبق للنماذج الأساسية والضبط الدقيق الخاضع للإشراف. يتضمن مدرباً موزعاً لتوسيع نطاق أحمال العمل عبر عقد ووحدات معالجة رسومات متعددة، وخط أنابيب لبث البيانات من التخزين السحابي، وتنفيذاً للضبط الدقيق الفعال للمعلمات. يتميز إطار العمل باستخدامه لتقسيم المعلمات (parameter sharding) وبث البيانات عالي الإنتاجية للحفاظ على الاستقرار أثناء التدريب واسع النطاق. كما يدمج التكيف منخفض الرتبة (low-rank adaptation) لتقليل التكاليف الحسابية ويستخدم دقة الفاصلة العائمة بثماني بتات لزيادة سرعة الحوسبة على الأجهزة المتوافقة. تغطي قاعدة الكود مجموعة واسعة من القدرات، بما في ذلك هندسة البيانات لتحويل البيانات الخام إلى تنسيقات مضغوطة، وقياس أداء النموذج من خلال مجموعة تقييم، والقدرة على تصدير أوزان النموذج إلى تنسيقات صناعية قياسية. كما يدعم تسجيل المكونات المخصصة عبر المزخرفات (decorators) ويوفر تحكماً في طرق تضمين الموضع (positional embedding).

هذا المشروع عبارة عن محرك سير عمل للتعلم الآلي حاوي (containerized) ومنسق مصمم لأتمتة دورة حياة نماذج التعلم الآلي من البداية إلى النهاية على مجموعات Kubernetes. يعمل كمجمع لخط أنابيب MLOps يحول لغة خاصة بالمجال إلى مواصفات مهيكلة للنشر المحمول والقابل للتوسع. توفر المنصة بيئة متعددة المستأجرين مع مساحات أسماء معزولة ومصادقة موفر الهوية. يتميز بدمج عزل المهام القائم على الحاويات، وإدارة القطع الأثرية (artifacts) ذات النوع القوي لتمرير البيانات، والتخزين المؤقت للنتائج القابل للعنونة بالمحتوى لتجنب الحسابات الزائدة. يغطي النظام تنسيق سير العمل الشامل، بما في ذلك تنفيذ المهام المتوازي، وجدولة التشغيل المتكرر، ومنطق التفرع الشرطي. كما يدعم تتبع التجارب، وجمع مقاييس سير العمل، وإدارة مكونات خط الأنابيب القابلة لإعادة الاستخدام، مع القدرة على تكوين طلبات موارد الأجهزة المحددة لوحدة المعالجة المركزية (CPU) والذاكرة ووحدة معالجة الرسومات (GPU). يتم توزيع البرنامج عبر Python SDK ويمكن نشره في بيئات مستقلة أو محلية أو متعددة المستأجرين.

This is a PyTorch recommendation framework and deep learning recommendation model designed to generate personalized content predictions. It functions as a distributed embedding trainer that processes dense and sparse features through a neural network architecture to predict user preferences. The project implements a CUDA-optimized machine learning system using specialized GPU kernels to accelerate embedding lookup and aggregation. It employs a distributed approach to shard massive sparse feature tables across multiple GPUs, enabling the training of large-scale models. The system utilizes a t

OpenManus-RL is a reinforcement learning framework and distributed training pipeline designed to train large language models as agents. It serves as an agentic reasoning optimizer and reward model trainer, providing the infrastructure to improve model decision-making through reward-based policy optimization. The project distinguishes itself through a distributed architecture that supports parameter sharding across multiple compute nodes and a coordinated rollout system for collecting interaction trajectories. It incorporates advanced reasoning strategies, such as Tree-of-Thoughts and Monte Ca

Hallo2 is an AI video generation tool and audio-driven portrait animation framework designed to transform static images into speaking videos. It functions as a portrait image animator that synchronizes a single photo with an audio track to produce high-resolution talking head videos. The system includes a distributed animation trainer for fine-tuning deep learning models using custom datasets and distributed computing resources. It employs hierarchical video generation and temporal consistency modeling to produce long-form character animations that remain stable over extended durations. The

Open-Instruct is a distributed training and instruction tuning framework for large language models. It functions as a coordinator for supervised fine-tuning, reinforcement learning from human feedback pipelines, and tool-use training, providing specialized roles for dataset curation and model alignment. The project distinguishes itself through a high-performance training architecture that utilizes actor-based distributed coordination and hybrid sharding to manage large GPU clusters. It implements advanced alignment techniques including direct preference optimization, group relative policy opt

This project is a training pipeline and framework for developing Chinese language models based on the Llama 2 architecture. It functions as a distributed GPU trainer and dataset preprocessing toolkit designed for both the initial pre-training of baseline models and subsequent supervised fine-tuning. The system distinguishes itself through a specialized workflow for Chinese text, incorporating a data curation pipeline that uses similarity hashing for deduplication and a tokenization process that converts raw text into memory-mapped binary files for efficient disk access. It implements a superv