Awesome GitHub RepositoriesLarge Model Optimizations

Transformers is a comprehensive library for machine learning that provides a unified interface for training, fine-tuning, and deploying transformer-based models. It supports a wide range of tasks, including text classification, language modeling, question answering, and sequence-to-sequence translation, while offering specialized architectures for both text and vision processing. The framework includes tools for managing the entire model lifecycle, from data preprocessing and tokenization to distributed training and inference. The library features extensive support for model optimization and

DeepSpeed is a distributed deep learning optimization library and framework designed for the training and inference of massive AI models. It serves as a model parallelism orchestrator and a toolkit for scaling large language models across multiple GPUs and compute nodes. The project distinguishes itself through 3D parallelism orchestration, which combines data, pipeline, and tensor parallelism. It utilizes ZeRO-based memory partitioning to eliminate redundant storage and employs CPU-offload memory management to move weights and optimizer states to system RAM. Additionally, it provides special

PyTorch Lightning is a high-level deep learning framework for PyTorch that automates training loops and removes repetitive engineering boilerplate. It functions as a structured pipeline for managing machine learning experiments, providing a distributed training orchestrator and tools for mixed-precision training. The framework decouples scientific model architecture from the engineering required for infrastructure and scaling. This separation allows the same model code to execute across CPUs, GPUs, or TPUs through a hardware-agnostic execution engine and a centralized trainer that manages the

This project is a deep learning framework designed for constructing, training, and deploying neural networks across diverse hardware environments. It functions as a high-performance tensor computation library that provides both imperative and symbolic programming interfaces, allowing developers to balance flexible, step-by-step model building with the efficiency of compiled computation graphs. The framework distinguishes itself through a hybrid execution engine that integrates declarative graph compilation with imperative runtime logic. It supports scalable, distributed training across multip

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

Personaplex is an LLM speech-to-speech framework and conversational AI persona engine designed for real-time voice interfaces. It provides a system for defining AI identities and vocal characteristics through a combination of text-based role prompts and audio reference files. The project features a real-time AI voice interface that supports full-duplex human-AI dialogue, enabling multiple parties to speak and listen simultaneously via bidirectional audio streaming. It includes a GPU-accelerated audio processor and a speech-to-speech pipeline to facilitate low-latency conversations. The frame

Apex is a high-performance toolkit for PyTorch designed to coordinate distributed training, execute fused GPU kernels, manage mixed precision, and implement optimized distributed optimizers. It provides specialized tools for scaling model training across multiple GPUs and nodes to increase processing speed and throughput. The library features high-performance implementations of Adam and LAMB optimizers to reduce synchronization overhead and memory bottlenecks. It utilizes fused CUDA kernels to combine neural network operations, reducing memory overhead and increasing execution speed. The too

bitsandbytes is a deep learning quantization tool and library designed to reduce the memory footprint of large language models. It serves as a GPU memory optimizer and quantization framework, compressing model weights and features to 8-bit and 4-bit precision to enable inference and training on hardware with limited memory. The project provides a framework for low-rank adaptation, allowing the fine-tuning of quantized models by combining 4-bit weights with small trainable matrices. It further distinguishes itself through memory paging, which moves optimizer states between CPU and GPU memory t

Wenda este o platformă de orchestrare LLM și un motor de flux de lucru personalizat conceput pentru a gestiona mai multe backend-uri de modele de limbaj printr-o interfață unificată. Funcționează ca un gateway AI auto-găzduit care permite executarea secvențelor complexe de sarcini și a fluxurilor de conversație automatizate. Sistemul utilizează plugin-uri JavaScript pentru a orchestra fluxurile de lucru și a declanșa apeluri API externe. Suportă generarea augmentată prin recuperare (RAG) prin injectarea datelor relevante din vector stores și fișiere offline în prompt-uri pentru a crește acuratețea răspunsului. Platforma este construită pentru implementări în rețele private, având gestionarea accesului multi-utilizator și capacitatea de a rula modele open source cuantizate pentru a se încadra în constrângeri hardware specifice. Include, de asemenea, urmărirea istoricului bazată pe sesiune pentru a menține contextul conversațional.

This project provides a comprehensive technical guide and framework for engineering large-scale machine learning systems. It covers the full lifecycle of model development, focusing on the infrastructure and computational principles required to build, train, and serve generative AI models across distributed GPU clusters. The repository distinguishes itself by offering deep-dive tutorials and implementation strategies for complex system challenges. It emphasizes high-performance architectural primitives, such as collective communication orchestration, distributed tensor sharding, and static gr

EasyR1 este un sistem distribuit de antrenare a modelelor și un framework de învățare prin consolidare (reinforcement learning) pentru modele mari de limbaj și modele multimodale (text-imagine). Funcționează ca un antrenor multimodal și o implementare a unui pipeline de Proximal Policy Optimization, conceput pentru a rafina capacitățile de raționament și percepție ale modelelor care procesează atât text, cât și imagini. Sistemul se specializează în distribuirea sarcinilor de învățare prin consolidare pe mai multe noduri de calcul pentru a gestiona cerințele mari de memorie. Optimizează utilizarea hardware-ului prin antrenare fără padding și fine-tuning pentru a potrivi modele mari pe unitățile de procesare grafică (GPU) disponibile. Framework-ul acoperă învățarea prin consolidare și orchestrarea modelelor de recompensă, inclusiv fluxuri de lucru de învățare prin consolidare din feedback uman (RLHF). Suprafața sa tehnică include paralelismul distribuit al datelor, antrenarea cu precizie hibridă și pipeline-uri de intrare multimodale pentru date intercalate de text și imagine. Proiectul include utilitare pentru recuperarea stării bazată pe checkpoint-uri și se integrează cu instrumente externe de logare pentru urmărirea progresului antrenării și a metricilor de performanță.

Acest proiect este un ghid de studiu cuprinzător pentru cursuri tehnice și o referință pentru învățarea arhitecturilor și metodelor de antrenare a modelelor Transformer și a modelelor de limbaj mari (LLM). Servește ca o prezentare tehnică pentru înțelegerea modului în care rețelele neuronale procesează datele și cum să aliniezi comportamentul modelului cu obiective specifice de performanță. Repository-ul oferă ghiduri specializate pe mai multe domenii cheie ale dezvoltării modelelor. Aceasta include referințe detaliate pentru arhitecturile transformer, framework-uri de implementare pentru retrieval-augmented generation și fluxuri de lucru agentice, precum și ghiduri tehnice pentru optimizarea și fine-tuning-ul modelelor. Conținutul acoperă o gamă largă de capabilități, inclusiv fine-tuning supervizat, adaptare low-rank și aliniere bazată pe preferințe. De asemenea, abordează eficiența modelului prin cuantizare, distilare și arhitecturi mixture-of-experts, alături de studiul mecanismelor de self-attention și flash attention. Resursele sunt furnizate pentru dezvoltare în C#, JavaScript și Python.