Awesome GitHub RepositoriesData Object Replication

Mooncake est une plateforme de service de modèles de langage (LLM) désagrégée et un magasin clé-valeur distribué conçu pour une infrastructure d'inférence haute performance. Il fonctionne comme un orchestrateur de mémoire GPU et un système de gestion de cache KV qui mutualise et transfère les caches clé-valeur à travers les clusters pour accélérer l'inférence. Le système se distingue en séparant les phases de pré-remplissage (prefill) et de décodage de l'inférence dans des clusters matériels distincts pour optimiser l'utilisation des ressources. Il utilise un cache distribué RDMA haute performance avec des transferts zéro-copie pour déplacer les données entre les nœuds de calcul, contournant le CPU pour réduire la latence et la surcharge. La plateforme couvre de vastes domaines de capacités, notamment la mutualisation de mémoire distribuée, le routage de mémoire d'accélérateur via CXL et le déchargement de stockage multi-niveaux vers des SSD. Il gère l'état du cluster via des services de coordination de métadonnées et implémente la gouvernance des ressources via une protection d'objets basée sur des baux et une éviction de cache basée sur des seuils. Le logiciel est packagé pour un déploiement conteneurisé avec prise en charge du réseau hôte et du mappage de périphériques matériels.