Awesome GitHub RepositoriesLarge Model Optimizations

Transformers is a comprehensive library for machine learning that provides a unified interface for training, fine-tuning, and deploying transformer-based models. It supports a wide range of tasks, including text classification, language modeling, question answering, and sequence-to-sequence translation, while offering specialized architectures for both text and vision processing. The framework includes tools for managing the entire model lifecycle, from data preprocessing and tokenization to distributed training and inference. The library features extensive support for model optimization and

DeepSpeed is a distributed deep learning optimization library and framework designed for the training and inference of massive AI models. It serves as a model parallelism orchestrator and a toolkit for scaling large language models across multiple GPUs and compute nodes. The project distinguishes itself through 3D parallelism orchestration, which combines data, pipeline, and tensor parallelism. It utilizes ZeRO-based memory partitioning to eliminate redundant storage and employs CPU-offload memory management to move weights and optimizer states to system RAM. Additionally, it provides special

PyTorch Lightning is a high-level deep learning framework for PyTorch that automates training loops and removes repetitive engineering boilerplate. It functions as a structured pipeline for managing machine learning experiments, providing a distributed training orchestrator and tools for mixed-precision training. The framework decouples scientific model architecture from the engineering required for infrastructure and scaling. This separation allows the same model code to execute across CPUs, GPUs, or TPUs through a hardware-agnostic execution engine and a centralized trainer that manages the

This project is a deep learning framework designed for constructing, training, and deploying neural networks across diverse hardware environments. It functions as a high-performance tensor computation library that provides both imperative and symbolic programming interfaces, allowing developers to balance flexible, step-by-step model building with the efficiency of compiled computation graphs. The framework distinguishes itself through a hybrid execution engine that integrates declarative graph compilation with imperative runtime logic. It supports scalable, distributed training across multip

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

Personaplex is an LLM speech-to-speech framework and conversational AI persona engine designed for real-time voice interfaces. It provides a system for defining AI identities and vocal characteristics through a combination of text-based role prompts and audio reference files. The project features a real-time AI voice interface that supports full-duplex human-AI dialogue, enabling multiple parties to speak and listen simultaneously via bidirectional audio streaming. It includes a GPU-accelerated audio processor and a speech-to-speech pipeline to facilitate low-latency conversations. The frame

Apex is a high-performance toolkit for PyTorch designed to coordinate distributed training, execute fused GPU kernels, manage mixed precision, and implement optimized distributed optimizers. It provides specialized tools for scaling model training across multiple GPUs and nodes to increase processing speed and throughput. The library features high-performance implementations of Adam and LAMB optimizers to reduce synchronization overhead and memory bottlenecks. It utilizes fused CUDA kernels to combine neural network operations, reducing memory overhead and increasing execution speed. The too

bitsandbytes is a deep learning quantization tool and library designed to reduce the memory footprint of large language models. It serves as a GPU memory optimizer and quantization framework, compressing model weights and features to 8-bit and 4-bit precision to enable inference and training on hardware with limited memory. The project provides a framework for low-rank adaptation, allowing the fine-tuning of quantized models by combining 4-bit weights with small trainable matrices. It further distinguishes itself through memory paging, which moves optimizer states between CPU and GPU memory t

Wenda هي منصة لتنسيق النماذج اللغوية الكبيرة (LLM) ومحرك سير عمل مخصص مصمم لإدارة خلفيات نماذج لغوية متعددة من خلال واجهة موحدة. تعمل كبوابة ذكاء اصطناعي مستضافة ذاتياً تتيح تنفيذ تسلسلات مهام معقدة وتدفقات محادثة مؤتمتة. يستخدم النظام إضافات JavaScript لتنسيق سير العمل وتشغيل استدعاءات API الخارجية. يدعم التوليد المعزز بالاسترجاع (RAG) عن طريق حقن البيانات ذات الصلة من مخازن المتجهات والملفات غير المتصلة بالإنترنت في المطالبات لزيادة دقة الاستجابة. تم بناء المنصة لنشر الشبكات الخاصة، وتتميز بإدارة الوصول متعدد المستخدمين والقدرة على تشغيل نماذج مفتوحة المصدر مكممة لتناسب قيود أجهزة معينة. كما تتضمن تتبع التاريخ القائم على الجلسة للحفاظ على سياق المحادثة.

This project provides a comprehensive technical guide and framework for engineering large-scale machine learning systems. It covers the full lifecycle of model development, focusing on the infrastructure and computational principles required to build, train, and serve generative AI models across distributed GPU clusters. The repository distinguishes itself by offering deep-dive tutorials and implementation strategies for complex system challenges. It emphasizes high-performance architectural primitives, such as collective communication orchestration, distributed tensor sharding, and static gr

EasyR1 هو نظام تدريب نماذج موزع وإطار عمل للتعلم التعزيزي لنماذج اللغات الكبيرة ونماذج الرؤية واللغة. يعمل كمدرب متعدد الوسائط وتطبيق لخط أنابيب تحسين السياسة القريب (Proximal Policy Optimization) المصمم لتحسين قدرات التفكير والإدراك للنماذج التي تعالج النصوص والصور. يتخصص النظام في توزيع أعباء عمل التعلم التعزيزي عبر عقد حوسبة متعددة لإدارة متطلبات الذاكرة العالية. يعمل النظام على تحسين استخدام الأجهزة من خلال التدريب بدون حشو (Padding-free) والضبط الدقيق لتناسب النماذج الكبيرة مع وحدات معالجة الرسومات المتاحة. يغطي إطار العمل التعلم التعزيزي وتنسيق نماذج المكافآت، بما في ذلك سير عمل التعلم التعزيزي من التغذية الراجعة البشرية. تشمل جوانبه التقنية التوازي الموزع للبيانات، والتدريب بالدقة الهجينة، وخطوط أنابيب الإدخال متعددة الوسائط للبيانات المتداخلة من نصوص وصور. يتضمن المشروع أدوات لاستعادة الحالة بناءً على نقاط التحقق (Checkpoints) ويتكامل مع أدوات تسجيل خارجية لتتبع تقدم التدريب ومقاييس الأداء.

هذا المشروع هو دليل دراسة دورة تقنية شامل ومرجع لتعلم بنيات وطرق تدريب المحولات (Transformers) ونماذج اللغة الكبيرة. يعمل كنظرة عامة تقنية لفهم كيفية معالجة الشبكات العصبية للبيانات وكيفية مواءمة سلوك النموذج مع أهداف أداء محددة. يوفر المستودع أدلة متخصصة حول العديد من المجالات الرئيسية لتطوير النماذج. يتضمن ذلك مراجع مفصلة لبنيات المحولات، وأطر عمل التنفيذ للتوليد المعزز بالاسترجاع وسير عمل الوكلاء، وأدلة تقنية لتحسين النماذج وضبطها بدقة. يغطي المحتوى مجموعة واسعة من القدرات، بما في ذلك الضبط الدقيق الخاضع للإشراف، والتكيف منخفض الرتبة، والمواءمة القائمة على التفضيلات. كما يتناول كفاءة النموذج من خلال التكميم، والتقطير، وبنيات خليط الخبراء، إلى جانب دراسة آليات الانتباه الذاتي والانتباه السريع.