Awesome GitHub RepositoriesPrefill Phase Optimizations

Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP

gpt-fast es un motor de inferencia de transformadores de PyTorch diseñado para la generación de texto utilizando una implementación de librería de tensores nativa. Proporciona un runtime para ejecutar modelos de lenguaje grandes sin necesidad de extensiones externas en C++. El proyecto implementa decodificación especulativa para acelerar la generación utilizando un modelo borrador pequeño para la predicción de tokens y un modelo más grande para la verificación. Optimiza aún más el rendimiento a través de una etapa de pre-llenado compilada y una librería de paralelismo de tensores multi-GPU que fragmenta capas lineales a través de múltiples unidades de procesamiento gráfico. La eficiencia de la memoria se gestiona a través de un runtime cuantizado que soporta pesos int8 e int4 y cuantización de tensores agrupados. El sistema también incluye herramientas para la parametrización de arquitectura, tokenización de texto y evaluación de precisión de modelos utilizando arneses estandarizados.

DeepSeek-VL2 es un modelo de lenguaje grande multimodal y sistema de visión-lenguaje diseñado para analizar escenas visuales y generar texto descriptivo. Funciona como un modelo de respuesta a preguntas visuales y fundamentación visual (visual grounding), capaz de extraer información de documentos y localizar objetos o regiones específicas dentro de imágenes basadas en descripciones textuales. El proyecto utiliza una arquitectura de mezcla de expertos (mixture-of-experts) para procesar entradas combinadas de imagen y texto. Está optimizado para la inferencia mediante prellenado incremental, lo que reduce los requisitos de memoria de GPU en el hardware. El modelo cubre el análisis de datos multimodal y la comprensión de documentos visuales, incluyendo la interpretación de gráficos y diseños. Realiza inferencia visual y fundamentación para hacer coincidir consultas textuales con el contenido visual correspondiente.

FlashInfer is a library of high-performance GPU kernels purpose-built for accelerating large language model inference. It provides optimized implementations for attention operations (including flash attention, page attention, multi-head latent attention, and cascade attention) using paged key-value caches, fused kernel composition, and just-in-time compilation. The library also includes specialized kernels for mixture-of-experts layers, block-scaled low-precision quantization (FP8, FP4), and distributed collective communication. What distinguishes FlashInfer is its fused all-reduce communicat

FastDeploy is a high-performance deployment framework for large language models, vision models, and multimodal models. It provides the infrastructure to launch model services that process combined image, video, and text inputs, exposing these capabilities through a standardized, OpenAI-compatible API for chat and text completions. The project distinguishes itself through advanced inference pipeline engineering and GPU optimization. It employs speculative decoding, tensor parallelism, and a disaggregated execution model that separates prefill and decode phases across different hardware resourc

mini-sglang is a collection of tools for large language model inference, serving as an OpenAI-compatible inference server, a memory-efficient prefill engine, and a tensor parallelism runtime. It also functions as a local batch processing engine for offline benchmarking and ablation studies. The project focuses on acceleration and memory management through a KV cache manager that reuses precomputed caches for shared request prefixes. It handles large model workloads by distributing tasks across multiple GPUs and manages peak memory consumption by splitting long input sequences into smaller chu