Awesome GitHub RepositoriesSparse Model Architectures

This project is a comprehensive framework for the entire lifecycle of transformer-based language models, supporting everything from foundational pretraining to specialized deployment. It provides a modular toolkit for defining neural network architectures, managing data preparation pipelines, and executing training routines across various scales. The framework is designed to handle the full model development process, including supervised fine-tuning, behavioral alignment, and the integration of agentic capabilities. What distinguishes this framework is its focus on efficient training and adva

Grok-1 is an open-weights large language model implementation featuring a sparse mixture-of-experts architecture. It is designed for high-performance text generation and natural language processing by activating only a subset of specialized expert layers per token. The model utilizes 8-bit weight quantization to reduce memory overhead and accelerate loading. To manage its high parameter count, the implementation supports activation sharding, which distributes the memory load across multiple hardware devices during execution. The project covers large-scale model inference, including text comp

DeepSpeed is a distributed deep learning optimization library and framework designed for the training and inference of massive AI models. It serves as a model parallelism orchestrator and a toolkit for scaling large language models across multiple GPUs and compute nodes. The project distinguishes itself through 3D parallelism orchestration, which combines data, pipeline, and tensor parallelism. It utilizes ZeRO-based memory partitioning to eliminate redundant storage and employs CPU-offload memory management to move weights and optimizer states to system RAM. Additionally, it provides special

PowerInfer is a high-performance local large language model inference engine and sparse inference framework. It provides a runtime for executing models on consumer-grade hardware, utilizing a GPU acceleration backend to optimize tensor operations for graphics processors. The system distinguishes itself through a sparse inference framework that increases generation speed by skipping computations based on activation sparsity in model weights. It includes a GGUF model converter for transforming weights and metadata into a unified binary format, as well as an OpenAI API compatible server for inte

gpt-neox is a distributed training system and framework for building large-scale autoregressive language models. It implements the transformer architecture and provides a toolkit for training models with billions of parameters by distributing weights across compute clusters. The framework distinguishes itself through extensive support for distributed model parallelism, including pipeline and sequence parallelism, to overcome single-device memory limits. It further supports sparse model architectures using a mixture of experts system with Sinkhorn-based routing. The project covers a broad ran

Aerosolve este un framework de machine learning conceput pentru antrenarea și implementarea modelelor interpretabile. Acesta funcționează ca un instrument de feature engineering și un antrenor de modele care utilizează modelarea cu caracteristici rare (sparse feature modeling) pentru a simplifica depanarea ponderilor și a accelera iterația datelor. Sistemul include un limbaj de transformare specific domeniului pentru convertirea seturilor de date brute în reprezentări pregătite pentru model. De asemenea, oferă capabilități pentru analiza conținutului vizual prin maparea imaginilor în spații vectoriale dense de înaltă dimensiune, pentru a clasifica și organiza datele după stil sau conținut. Framework-ul permite antrenarea centrată pe om prin injectarea credințelor anterioare și a ponderilor specifice în procesul de învățare al modelului. Pentru deployment, utilizează un runtime de inferență minimal pentru a executa predicții ușoare și un mecanism de scoring cu context partajat pentru a procesa mai multe elemente într-o singură operațiune.

Engram este un sistem dinamic de recuperare a cunoștințelor și un framework de augmentare a memoriei pentru modele de limbaj mari (LLM). Funcționează ca un strat scalabil de căutare în memorie și o componentă de arhitectură rară (sparse), concepută pentru a îmbina cunoștințele statice ale modelului cu stări externe dinamice pentru a îmbunătăți factualitatea și a reduce halucinațiile. Sistemul utilizează recuperarea condiționată a memoriei și adresarea diferențiabilă a memoriei pentru a mapa tokenurile de input către indici specifici într-un depozit de memorie asociativă la scară largă. Acest lucru permite modelului să își mărească parametrii totali disponibili prin stocarea ponderilor în tabele de căutare externe și activarea doar a segmentelor de cunoștințe relevante pentru un anumit input. Frameworkul acoperă optimizarea rarității modelului și augmentarea scalabilă, folosind recuperarea key-value și fuziunea dinamică a parametrilor pentru a îmbunătăți performanța pe sarcini specializate fără a necesita o reantrenare completă a rețelei.

Amazon DSSTNE este un toolkit de machine learning și o bibliotecă de rețele tensoriale rare (sparse) concepută pentru modele de deep learning cu input-uri și output-uri rare. Oferă un framework de antrenare model-parallel și un motor sparse accelerat GPU pentru a suporta rețele care consumă multă memorie. Framework-ul este conceput special pentru antrenarea sistemelor de recomandare și învățarea sparse la scară largă. Permite distribuirea matricelor mari de ponderi și a tabelelor de embedding pe mai multe dispozitive GPU pentru a gestiona modele care depășesc capacitatea de memorie a unui singur procesor. Proiectul acoperă o gamă largă de capabilități, inclusiv calculul distribuit pe GPU, procesarea seturilor de date rare și construcția de rețele tensoriale rare scalabile. Aceste utilitare permit execuția operațiunilor de machine learning de înaltă performanță și scalarea modelelor pe clustere GPU.

FastDeploy is a high-performance deployment framework for large language models, vision models, and multimodal models. It provides the infrastructure to launch model services that process combined image, video, and text inputs, exposing these capabilities through a standardized, OpenAI-compatible API for chat and text completions. The project distinguishes itself through advanced inference pipeline engineering and GPU optimization. It employs speculative decoding, tensor parallelism, and a disaggregated execution model that separates prefill and decode phases across different hardware resourc