Awesome GitHub RepositoriesLLM KV Cache Stores

3FS is a distributed file system and RDMA storage cluster designed for high-performance AI training and inference workloads. It functions as a strongly consistent storage layer that utilizes a disaggregated architecture to pool SSDs and memory resources across multiple nodes. The system provides specialized storage implementations including an AI training checkpoint store for parallel state preservation and a distributed key-value cache store for decoder layer vectors to optimize inference processing. It ensures data integrity through chain replication and apportioned query distribution. The

LMCache is a distributed key-value cache manager and tiering system designed to accelerate large language model inference. It functions as a tiered storage layer that offloads tensors from GPU memory to CPU RAM, local disks, or remote object stores, enabling the reuse of cached prefixes across different inference sessions and serving engines. The system differentiates itself through a disaggregated prefill-decode model, which separates prompt processing from token generation by transferring caches between distributed compute nodes. It utilizes peer-to-peer orchestration to share and retrieve

Mooncake es una plataforma de servicio de modelos de lenguaje grandes (LLM) desagregados y un almacén distribuido de clave-valor diseñado para infraestructura de inferencia de alto rendimiento. Funciona como un orquestador de memoria GPU y un sistema de gestión de caché KV que agrupa y transfiere cachés de clave-valor a través de clústeres para acelerar la inferencia. El sistema se distingue por separar las fases de prellenado (prefill) y decodificación (decode) de la inferencia en clústeres de hardware distintos para optimizar la utilización de recursos. Utiliza una caché distribuida RDMA de alto rendimiento con transferencias de copia cero para mover datos entre nodos de cómputo, evitando la CPU para reducir la latencia y la sobrecarga. La plataforma cubre áreas de capacidad amplias, incluyendo agrupación de memoria distribuida, enrutamiento de memoria de aceleradores mediante CXL y descarga de almacenamiento multinivel a SSDs. Gestiona el estado del clúster a través de servicios de coordinación de metadatos e implementa gobernanza de recursos mediante protección de objetos basada en arrendamiento y desalojo de caché basado en marcas de agua. El software está empaquetado para despliegue en contenedores con soporte para redes de host y mapeo de dispositivos de hardware.

Aibrix es un orquestador de inferencia diseñado para escalar, enrutar y gestionar el despliegue de modelos de lenguaje grandes a través de clústeres vLLM distribuidos. Sirve como una puerta de enlace centralizada para el balanceo de carga y el enrutamiento de tráfico a réplicas y versiones específicas de modelos. El sistema gestiona la eficiencia de los recursos a través de un autoescalador de clúster de GPU que ajusta el conteo de instancias de cómputo según el volumen de solicitudes en tiempo real. Además, optimiza las operaciones mezclando diferentes tipos de aceleradores dentro de un solo clúster y utilizando un orquestador de adaptadores de modelos para desplegar adaptadores de parámetros ligeros en modelos base compartidos. Las capacidades generales incluyen el uso de un gestor de caché de clave-valor distribuido para compartir datos de tokens a través de motores de inferencia y la implementación de monitoreo de salud del hardware para detectar fallos en las unidades de procesamiento. El proyecto también proporciona un pipeline de métricas unificado para estandarizar la recopilación de datos de rendimiento en diversos entornos de ejecución.

llm-d is a distributed serving framework designed for large language model inference. It functions as an inference orchestrator and gateway, providing a control plane for deploying model replicas and managing hardware accelerators. The system includes a batch inference scheduler and a cache manager to coordinate request flow and memory utilization. The project is distinguished by a disaggregated serving architecture that separates prefill and decode execution phases across specialized workers to maximize throughput. It employs a hardware-agnostic control plane and tiered cache offloading, mov