Awesome GitHub RepositoriesData Parallelism

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

AllenNLP is a PyTorch-based research library and deep learning language toolkit designed for developing and training neural network architectures for linguistic tasks. It provides a distributed training system that coordinates data and gradients across multiple GPUs and a framework for integrating pretrained transformer architectures. The system distinguishes itself with a dedicated algorithmic bias mitigation tool used to identify and reduce bias in linguistic model predictions. It also includes model influence analysis to interpret predictions by calculating the influence of specific traini

This project is a comprehensive educational curriculum and structured learning path covering the full lifecycle of large language models. It provides a guided progression through the theory, architecture, training, and deployment of these models. The curriculum includes specialized guides on transformer architecture, model training tutorials, and frameworks for designing autonomous agents. It also provides dedicated resources for studying model safety and ethics. The material covers a wide range of technical capabilities, including distributed training strategies, parameter-efficient fine-tu

trlx هي مكتبة للتعلم التعزيزي وإطار عمل للتدريب مصمم لمواءمة النماذج اللغوية الكبيرة باستخدام التغذية الراجعة البشرية. تعمل كمدرب موزع ومنسق للحوسبة لتوسيع نطاق النماذج ذات المعلمات العالية عبر وحدات معالجة رسومات (GPUs) وعقد متعددة. يوفر المشروع أدوات للتعلم التعزيزي من التغذية الراجعة البشرية ومواءمة النماذج. ينفذ التحسين القائم على نموذج المكافأة وتحسين السياسة القريب (PPO) لتحسين سلوك النموذج بناءً على المكافآت الموجهة نحو الهدف أو مجموعات البيانات المصنفة بشرياً. يغطي إطار العمل استراتيجيات التدريب الموزع، بما في ذلك توازي النماذج، وتقسيم المعلمات، ومزامنة التدرج عبر عقد متعددة. كما يدمج قيوداً مثل تباعد KL لإدارة انحراف النموذج أثناء عملية التعلم التعزيزي.

This project is a PyTorch implementation of 3D residual networks designed for video action recognition. It provides a spatiotemporal architecture that analyzes both spatial frames and temporal motion to classify human activities within video clips. The system includes a distributed model training framework to accelerate learning across multiple compute nodes. It supports the deployment and fine-tuning of pre-trained model weights, allowing the adaptation of existing networks to specific new datasets. The codebase covers the full pipeline for spatiotemporal learning, including video dataset p

This project is a framework for aligning large language models with human preferences. It provides a library for optimizing model behavior by mapping preference data directly to a policy objective, bypassing the need for a separate reward model. The framework utilizes a closed-form mathematical objective to adjust model weights by maximizing the likelihood of preferred responses relative to dispreferred ones. It includes a toolkit for supervised fine-tuning, allowing users to establish a stable baseline on demonstration data before applying preference-based optimization techniques. The libra

هذا المشروع عبارة عن مجموعة شاملة من الموارد التعليمية والأدلة الفنية لتدريب، وضبط، ونشر نماذج تعلم الآلة باستخدام PyTorch وHugging Face. يعمل كمرجع عملي لتوسيع نطاق سير عمل التعلم العميق، حيث يقدم تعليمات منظمة لإدارة البنيات واسعة النطاق عبر مسرعات الأجهزة الموزعة. يتميز المستودع بالتركيز على دورة الحياة الشاملة لنماذج اللغة الكبيرة، مع التأكيد بشكل خاص على النشر في الحاويات وتحسين الأداء. يفصل المستودع سير العمل للضبط الدقيق الفعال للمعلمات ويوفر توجيهاً فنياً حول تقليل بصمات الذاكرة من خلال تقنيات تكميم الوزن وفك التشفير التخميني. بعيداً عن التدريب والنشر الأساسي، يغطي المشروع مجموعة واسعة من عمليات تعلم الآلة، بما في ذلك تغليف البيئة، وقياس الأداء، وتكوين بيئات التنفيذ الحاوية. تساعد هذه الموارد في الحفاظ على أداء متسق وكفاءة في الموارد عند استضافة النماذج التوليدية والمتعددة الوسائط في الإنتاج.