Awesome GitHub RepositoriesDistributed Model Parallelism

Magic Animate is a diffusion model video generator designed for human image animation. It transforms a static human photo into a temporally consistent video by mapping movements from a reference motion clip, acting as a tool to create realistic animations from a single image. The system ensures visual stability and minimizes flicker through temporal attention injection and motion-controlled noise scheduling. To accelerate the generation of high-resolution video, it includes a distributed GPU inference engine that splits model workloads across multiple graphics cards. The project covers a com

GPT-Neo is an open-source distributed training framework designed for scaling GPT-2 and GPT-3-style language models across multiple devices using mesh-tensorflow for model parallelism. It provides the infrastructure to train transformer-based language models with billions of parameters across distributed computing environments, making large-scale language model research accessible outside of proprietary systems. The framework supports training both autoregressive GPT-style models and masked language models like BERT or RoBERTa, with configurable masking strategies and token handling. It inclu

هذا إطار عمل لتعلم الآلة لمعالجة مهام معالجة اللغات الطبيعية المتنوعة كمشكلة نص إلى نص موحدة. يوفر مجموعة أدوات للتدريب المسبق والضبط الدقيق لنماذج المحولات واسعة النطاق، مستخدماً نظاماً يتم فيه تنسيق كل من المدخلات والمخرجات كسلاسل نصية خام. يتميز إطار العمل بنظام التدريب الموزع الخاص به، والذي يستخدم استراتيجيات قائمة على الشبكة لتوسيع أوزان النموذج ودفعات التدريب عبر أنوية TPU متعددة. يدعم التعلم متعدد المهام من خلال دمج مجموعات بيانات متنوعة في تدفق تدريب واحد باستخدام معدلات خليط قابلة للتكوين، مما يسمح لنموذج واحد بالتعامل مع مهام لغوية مختلفة. يغطي النظام مجموعة واسعة من القدرات بما في ذلك بنيات المشفر-فك التشفير (encoder-decoder)، وفك التشفير بالبحث الشعاعي (beam-search) لتوليد النصوص، وتدفقات عمل التعلم بالنقل. يتضمن أدوات لإعداد مجموعات بيانات NLP، وتقييم أداء النموذج، وتصدير نقاط التحقق المدربة لخدمة الإنتاج. تدعم المكتبة تحميل نقاط تحقق النماذج المدربة مسبقاً بأحجام مختلفة لتسريع التطوير.

This project is a neural machine translation system used to build models that automatically translate text from one language to another. It utilizes sequence-to-sequence modeling to transform variable-length input sequences into corresponding output sequences. The system implements bidirectional recurrent neural network encoding and attention mechanisms to capture contextual information and focus on specific parts of the source text during translation. To manage training and inference, it employs separate computational graphs and supports distributing model layers across multiple GPU devices.

FasterTransformer is a high-performance inference optimization library and distributed runtime designed to accelerate the execution of transformer models. It provides a toolkit for reducing model precision and parallelizing execution across multiple GPUs to increase throughput and reduce latency for large language models. The framework utilizes a C++ backend with custom CUDA kernels to replace generic operations with optimized GPU instructions. It implements tensor and pipeline parallelism to shard model weights and distribute compute operations across multiple devices. The system includes c

هذا المشروع هو إطار عمل للمحولات (transformers) قائم على JAX ومدرب لنماذج اللغة الكبيرة مصمم لبناء وتدريب النماذج الموزعة على مسرعات الأجهزة TPU. يوفر نظاماً للتدريب المسبق والضبط الدقيق للنماذج ذاتية الانحدار عن طريق تقسيم الأوزان والحسابات عبر شبكة من الأجهزة لتقليل حمل الذاكرة وزيادة سرعة المعالجة. يتضمن إطار العمل منسق حساب TPU لتوفير الموارد وأتمتة تثبيت التبعيات عبر العقد الموزعة البعيدة. كما يتميز بمحول أوزان النموذج القادر على تحويل وإعادة تقسيم نقاط التحقق (checkpoints) بين تكوينات الأجهزة المختلفة والدقة العددية. يغطي المشروع قدرات أوسع تشمل إدارة نقاط التحقق المقسمة للتخزين السحابي، وتحميل البيانات القائم على التدفق مع استعادة الحالة، وتوليد النصوص القائم على النواة لاستنتاج النموذج. كما يدعم تسريع الأجهزة المجمع بـ XLA لمجموعات TPU و GPU ويوفر أدوات لقياس الأداء مقابل مهام اللغة الموحدة.

Aibrix is an inference orchestrator designed for scaling, routing, and managing the deployment of large language models across distributed vLLM clusters. It serves as a centralized gateway for load balancing and routing traffic to specific model replicas and versions. The system manages resource efficiency through a GPU cluster autoscaler that adjusts compute instance counts based on real-time request volume. It further optimizes operations by mixing different accelerator types within a single cluster and utilizing a model adapter orchestrator to deploy lightweight parameter adapters on share

trlx هي مكتبة للتعلم التعزيزي وإطار عمل للتدريب مصمم لمواءمة النماذج اللغوية الكبيرة باستخدام التغذية الراجعة البشرية. تعمل كمدرب موزع ومنسق للحوسبة لتوسيع نطاق النماذج ذات المعلمات العالية عبر وحدات معالجة رسومات (GPUs) وعقد متعددة. يوفر المشروع أدوات للتعلم التعزيزي من التغذية الراجعة البشرية ومواءمة النماذج. ينفذ التحسين القائم على نموذج المكافأة وتحسين السياسة القريب (PPO) لتحسين سلوك النموذج بناءً على المكافآت الموجهة نحو الهدف أو مجموعات البيانات المصنفة بشرياً. يغطي إطار العمل استراتيجيات التدريب الموزع، بما في ذلك توازي النماذج، وتقسيم المعلمات، ومزامنة التدرج عبر عقد متعددة. كما يدمج قيوداً مثل تباعد KL لإدارة انحراف النموذج أثناء عملية التعلم التعزيزي.

whisper-jax هو تطبيق عالي الأداء لنموذج التعرف التلقائي على الكلام Whisper تمت إعادة كتابته باستخدام إطار عمل JAX. تم تصميم النموذج للاستنتاج المسرع ويستخدم تجميع XLA لتحسين تنفيذ النموذج على مسرعات الأجهزة. يركز المشروع على النسخ المحسن لـ TPU لتحقيق إنتاجية وسرعة عاليتين. يتضمن المشروع خط أنابيب لتحويل الأوزان يقوم بتحويل معلمات النموذج المدربة مسبقاً من PyTorch إلى مصفوفات متوافقة مع JAX. يدعم النظام نسخ الصوت إلى نص، وترجمة الكلام عبر لغات متعددة، وتوليد طوابع زمنية للصوت. يتيح النظام معالجة الصوت على دفعات ويوسع الأداء من خلال التجميع المتوازي للبيانات وتقسيم الموتر المتوازي للنموذج. يوفر المشروع طريقة لنشر نموذج النسخ كنقطة نهاية استنتاج عن بُعد مع واجهة ويب.

FastVideo is a comprehensive system for accelerated video generation, serving as a video generation inference engine, a video diffusion training framework, and a modular pipeline orchestrator. It provides a distributed transformer optimizer and a distillation toolkit designed to reduce denoising steps and model complexity to increase frame rates. The project distinguishes itself through specialized acceleration techniques, including joint distillation and sparse attention training. It implements low-step video generation and weight quantization to FP8 or FP4 precision to increase throughput a