Awesome GitHub RepositoriesServer Instance Swapping

Llama-swap est un orchestrateur d'inférence locale et une passerelle API pour les grands modèles de langage (LLM). Il fonctionne comme un proxy API OpenAI qui gère le cycle de vie de plusieurs serveurs de modèles locaux, les démarrant et les arrêtant automatiquement pour basculer entre les modèles en fonction des identifiants de requête entrants. Le projet se distingue par son basculement dynamique de modèles et son optimisation matérielle. Il utilise un contrôle de concurrence spécialisé basé sur des matrices pour définir quels modèles peuvent s'exécuter simultanément et emploie une éviction basée sur les coûts pour supprimer les serveurs inactifs de la mémoire en fonction des ressources consommées. Le système fournit une gestion complète des modèles, incluant l'aliasing d'identifiants, le filtrage de requêtes et l'exécution de commandes de cycle de vie pour les conteneurs ou machines virtuelles. Il inclut également des outils d'observabilité tels qu'un playground de test visuel, une surveillance des performances système en temps réel et des fonctionnalités de sécurité comme la vérification de clés API et le chiffrement TLS. Les mises à jour de configuration sont gérées via un rechargement dynamique qui surveille les changements sur le système de fichiers sans nécessiter de redémarrage manuel.