Awesome GitHub RepositoriesLarge Model Optimizations

Transformers is a comprehensive library for machine learning that provides a unified interface for training, fine-tuning, and deploying transformer-based models. It supports a wide range of tasks, including text classification, language modeling, question answering, and sequence-to-sequence translation, while offering specialized architectures for both text and vision processing. The framework includes tools for managing the entire model lifecycle, from data preprocessing and tokenization to distributed training and inference. The library features extensive support for model optimization and

DeepSpeed is a distributed deep learning optimization library and framework designed for the training and inference of massive AI models. It serves as a model parallelism orchestrator and a toolkit for scaling large language models across multiple GPUs and compute nodes. The project distinguishes itself through 3D parallelism orchestration, which combines data, pipeline, and tensor parallelism. It utilizes ZeRO-based memory partitioning to eliminate redundant storage and employs CPU-offload memory management to move weights and optimizer states to system RAM. Additionally, it provides special

PyTorch Lightning is a high-level deep learning framework for PyTorch that automates training loops and removes repetitive engineering boilerplate. It functions as a structured pipeline for managing machine learning experiments, providing a distributed training orchestrator and tools for mixed-precision training. The framework decouples scientific model architecture from the engineering required for infrastructure and scaling. This separation allows the same model code to execute across CPUs, GPUs, or TPUs through a hardware-agnostic execution engine and a centralized trainer that manages the

This project is a deep learning framework designed for constructing, training, and deploying neural networks across diverse hardware environments. It functions as a high-performance tensor computation library that provides both imperative and symbolic programming interfaces, allowing developers to balance flexible, step-by-step model building with the efficiency of compiled computation graphs. The framework distinguishes itself through a hybrid execution engine that integrates declarative graph compilation with imperative runtime logic. It supports scalable, distributed training across multip

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

Personaplex is an LLM speech-to-speech framework and conversational AI persona engine designed for real-time voice interfaces. It provides a system for defining AI identities and vocal characteristics through a combination of text-based role prompts and audio reference files. The project features a real-time AI voice interface that supports full-duplex human-AI dialogue, enabling multiple parties to speak and listen simultaneously via bidirectional audio streaming. It includes a GPU-accelerated audio processor and a speech-to-speech pipeline to facilitate low-latency conversations. The frame

Apex is a high-performance toolkit for PyTorch designed to coordinate distributed training, execute fused GPU kernels, manage mixed precision, and implement optimized distributed optimizers. It provides specialized tools for scaling model training across multiple GPUs and nodes to increase processing speed and throughput. The library features high-performance implementations of Adam and LAMB optimizers to reduce synchronization overhead and memory bottlenecks. It utilizes fused CUDA kernels to combine neural network operations, reducing memory overhead and increasing execution speed. The too

bitsandbytes is a deep learning quantization tool and library designed to reduce the memory footprint of large language models. It serves as a GPU memory optimizer and quantization framework, compressing model weights and features to 8-bit and 4-bit precision to enable inference and training on hardware with limited memory. The project provides a framework for low-rank adaptation, allowing the fine-tuning of quantized models by combining 4-bit weights with small trainable matrices. It further distinguishes itself through memory paging, which moves optimizer states between CPU and GPU memory t

Wenda est une plateforme d'orchestration LLM et un moteur de workflow personnalisé conçu pour gérer plusieurs backends de modèles de langage via une interface unifiée. Il fonctionne comme une passerelle IA auto-hébergée qui permet l'exécution de séquences de tâches complexes et de flux de conversation automatisés. Le système utilise des plugins JavaScript pour orchestrer les workflows et déclencher des appels API externes. Il prend en charge la génération augmentée par récupération (RAG) en injectant des données pertinentes provenant de bases de données vectorielles et de fichiers hors ligne dans les prompts pour augmenter la précision des réponses. La plateforme est conçue pour des déploiements sur réseau privé, avec une gestion des accès multi-utilisateurs et la capacité d'exécuter des modèles open source quantifiés pour s'adapter à des contraintes matérielles spécifiques. Elle inclut également un suivi d'historique basé sur les sessions pour maintenir le contexte conversationnel.

This project provides a comprehensive technical guide and framework for engineering large-scale machine learning systems. It covers the full lifecycle of model development, focusing on the infrastructure and computational principles required to build, train, and serve generative AI models across distributed GPU clusters. The repository distinguishes itself by offering deep-dive tutorials and implementation strategies for complex system challenges. It emphasizes high-performance architectural primitives, such as collective communication orchestration, distributed tensor sharding, and static gr

EasyR1 est un système d'entraînement de modèles distribué et un framework d'apprentissage par renforcement pour les grands modèles de langage et les modèles vision-langage. Il fonctionne comme un entraîneur multimodal et une implémentation d'un pipeline Proximal Policy Optimization conçu pour affiner les capacités de raisonnement et de perception des modèles traitant à la fois du texte et des images. Le système se spécialise dans la distribution des charges de travail d'apprentissage par renforcement sur plusieurs nœuds de calcul pour gérer des besoins en mémoire élevés. Il optimise l'utilisation du matériel grâce à un entraînement sans padding et un fine-tuning permettant d'adapter de grands modèles aux unités de traitement graphique disponibles. Le framework couvre l'apprentissage par renforcement et l'orchestration de modèles de récompense, incluant les workflows d'apprentissage par renforcement à partir de feedback humain (RLHF). Sa surface technique inclut le parallélisme de données distribué, l'entraînement en précision hybride et des pipelines d'entrée multimodaux pour des données texte et image entrelacées. Le projet inclut des utilitaires pour la récupération d'état basée sur des checkpoints et s'intègre avec des outils de logging externes pour suivre la progression de l'entraînement et les métriques de performance.

Ce projet est un guide d'étude complet et une référence technique pour apprendre les architectures et les méthodes d'entraînement des Transformers et des grands modèles de langage. Il sert d'aperçu technique pour comprendre comment les réseaux de neurones traitent les données et comment aligner le comportement du modèle avec des objectifs de performance spécifiques. Le dépôt fournit des guides spécialisés sur plusieurs domaines clés du développement de modèles. Cela inclut des références détaillées pour les architectures de transformateurs, des frameworks d'implémentation pour la génération augmentée par récupération (RAG) et les flux de travail agentiques, ainsi que des guides techniques pour l'optimisation et le fine-tuning des modèles. Le contenu couvre un large éventail de capacités, y compris le fine-tuning supervisé, l'adaptation de bas rang (LoRA) et l'alignement basé sur les préférences. Il aborde également l'efficacité des modèles via la quantification, la distillation et les architectures de mélange d'experts, ainsi que l'étude des mécanismes d'auto-attention et de flash attention. Les ressources et les exemples sont fournis pour le développement en C#, JavaScript et Python.