Awesome GitHub RepositoriesSparse Model Architectures

This project is a comprehensive framework for the entire lifecycle of transformer-based language models, supporting everything from foundational pretraining to specialized deployment. It provides a modular toolkit for defining neural network architectures, managing data preparation pipelines, and executing training routines across various scales. The framework is designed to handle the full model development process, including supervised fine-tuning, behavioral alignment, and the integration of agentic capabilities. What distinguishes this framework is its focus on efficient training and adva

Grok-1 is an open-weights large language model implementation featuring a sparse mixture-of-experts architecture. It is designed for high-performance text generation and natural language processing by activating only a subset of specialized expert layers per token. The model utilizes 8-bit weight quantization to reduce memory overhead and accelerate loading. To manage its high parameter count, the implementation supports activation sharding, which distributes the memory load across multiple hardware devices during execution. The project covers large-scale model inference, including text comp

DeepSpeed is a distributed deep learning optimization library and framework designed for the training and inference of massive AI models. It serves as a model parallelism orchestrator and a toolkit for scaling large language models across multiple GPUs and compute nodes. The project distinguishes itself through 3D parallelism orchestration, which combines data, pipeline, and tensor parallelism. It utilizes ZeRO-based memory partitioning to eliminate redundant storage and employs CPU-offload memory management to move weights and optimizer states to system RAM. Additionally, it provides special

PowerInfer is a high-performance local large language model inference engine and sparse inference framework. It provides a runtime for executing models on consumer-grade hardware, utilizing a GPU acceleration backend to optimize tensor operations for graphics processors. The system distinguishes itself through a sparse inference framework that increases generation speed by skipping computations based on activation sparsity in model weights. It includes a GGUF model converter for transforming weights and metadata into a unified binary format, as well as an OpenAI API compatible server for inte

gpt-neox is a distributed training system and framework for building large-scale autoregressive language models. It implements the transformer architecture and provides a toolkit for training models with billions of parameters by distributing weights across compute clusters. The framework distinguishes itself through extensive support for distributed model parallelism, including pipeline and sequence parallelism, to overcome single-device memory limits. It further supports sparse model architectures using a mixture of experts system with Sinkhorn-based routing. The project covers a broad ran

Aerosolve es un framework de machine learning diseñado para entrenar y desplegar modelos interpretables. Funciona como una herramienta de ingeniería de características y un entrenador de modelos que utiliza modelado de características dispersas para simplificar la depuración de pesos y acelerar la iteración de datos. El sistema incluye un lenguaje de transformación específico del dominio para convertir familias de datos crudos en representaciones listas para el modelo. También proporciona capacidades para el análisis de contenido visual mediante el mapeo de imágenes en espacios vectoriales densos de alta dimensión para clasificar y organizar datos por estilo o contenido. El framework permite un entrenamiento centrado en el humano al inyectar creencias previas y pesos específicos en el proceso de aprendizaje del modelo. Para el despliegue, utiliza un runtime de inferencia mínimo para ejecutar predicciones ligeras y un mecanismo de puntuación de contexto compartido para procesar múltiples elementos en una sola operación.

Engram es un sistema dinámico de recuperación de conocimiento y framework de aumento de memoria para modelos de lenguaje grandes (LLM). Funciona como una capa de búsqueda de memoria escalable y un componente de arquitectura dispersa diseñado para fusionar el conocimiento estático del modelo con estados externos dinámicos para mejorar la veracidad y reducir las alucinaciones. El sistema utiliza recuperación de memoria condicional y direccionamiento de memoria diferenciable para mapear tokens de entrada a índices específicos dentro de un almacén de memoria asociativa a gran escala. Esto permite al modelo aumentar sus parámetros totales disponibles almacenando pesos en tablas de búsqueda externas y activando solo los segmentos de conocimiento relevantes para una entrada dada. El framework cubre la optimización de dispersión del modelo y el aumento escalable, utilizando recuperación clave-valor y fusión dinámica de parámetros para mejorar el rendimiento en tareas especializadas sin requerir un reentrenamiento completo de la red.

Amazon DSSTNE es un kit de herramientas de machine learning y librería de redes de tensores dispersos diseñada para modelos de deep learning con entradas y salidas dispersas. Proporciona un framework de entrenamiento paralelo al modelo y un motor disperso acelerado por GPU para soportar redes intensivas en memoria. El framework está diseñado específicamente para el entrenamiento de sistemas de recomendación y aprendizaje disperso a gran escala. Permite la distribución de grandes matrices de pesos y tablas de embedding a través de múltiples dispositivos GPU para manejar modelos que exceden la capacidad de memoria de un solo procesador. El proyecto cubre una amplia gama de capacidades, incluyendo computación distribuida en GPU, procesamiento de datasets dispersos y la construcción de redes de tensores dispersos escalables. Estas utilidades permiten la ejecución de operaciones de machine learning de alto rendimiento y el escalado de modelos a través de clústeres de GPU.

FastDeploy is a high-performance deployment framework for large language models, vision models, and multimodal models. It provides the infrastructure to launch model services that process combined image, video, and text inputs, exposing these capabilities through a standardized, OpenAI-compatible API for chat and text completions. The project distinguishes itself through advanced inference pipeline engineering and GPU optimization. It employs speculative decoding, tensor parallelism, and a disaggregated execution model that separates prefill and decode phases across different hardware resourc