Awesome GitHub RepositoriesAccelerator Memory Registration

Mooncake est une plateforme de service de modèles de langage (LLM) désagrégée et un magasin clé-valeur distribué conçu pour une infrastructure d'inférence haute performance. Il fonctionne comme un orchestrateur de mémoire GPU et un système de gestion de cache KV qui mutualise et transfère les caches clé-valeur à travers les clusters pour accélérer l'inférence. Le système se distingue en séparant les phases de pré-remplissage (prefill) et de décodage de l'inférence dans des clusters matériels distincts pour optimiser l'utilisation des ressources. Il utilise un cache distribué RDMA haute performance avec des transferts zéro-copie pour déplacer les données entre les nœuds de calcul, contournant le CPU pour réduire la latence et la surcharge. La plateforme couvre de vastes domaines de capacités, notamment la mutualisation de mémoire distribuée, le routage de mémoire d'accélérateur via CXL et le déchargement de stockage multi-niveaux vers des SSD. Il gère l'état du cluster via des services de coordination de métadonnées et implémente la gouvernance des ressources via une protection d'objets basée sur des baux et une éviction de cache basée sur des seuils. Le logiciel est packagé pour un déploiement conteneurisé avec prise en charge du réseau hôte et du mappage de périphériques matériels.

NCCL est une bibliothèque de communication haute performance et un framework de calcul GPU distribué conçu pour exécuter des échanges de données collectifs et point à point sur plusieurs GPU dans des systèmes à un ou plusieurs nœuds. Il sert de couche de transport GPU RDMA et d'orchestrateur de mémoire, facilitant la synchronisation à large bande passante des données et des gradients de modèle pour l'entraînement et l'inférence GPU distribués. La bibliothèque se distingue par sa capacité à exécuter des primitives de communication directement depuis les noyaux (kernels) GPU, supprimant le CPU hôte du chemin critique. Elle utilise une sélection de chemin consciente de la topologie pour optimiser le mouvement des données et emploie un transport réseau basé sur RDMA, incluant InfiniBand et NVLink, pour permettre un accès mémoire zéro-copie entre les appareils sur différents nœuds physiques. Le projet couvre un large éventail de modèles de communication collective, notamment les réductions, les diffusions (broadcasts), les rassemblements (gathers) et les échanges tous-à-tous, ainsi que l'accès mémoire distant point à point. Il fournit une gestion complète des communicateurs pour initialiser, partitionner et redimensionner les groupes GPU, ainsi qu'une gestion spécialisée de la mémoire pour enregistrer les tampons (buffers) et coordonner la mémoire partagée des appareils. Le système inclut une suite d'outils de surveillance et d'observabilité pour le suivi de la santé, la journalisation diagnostique et la surveillance des événements en temps réel, ainsi que des interfaces d'intégration pour les frameworks de machine learning, les graphes CUDA, MPI et Python.