Awesome GitHub RepositoriesModel

RouteLLM est un framework de routage et un gestionnaire de trafic conçu pour diriger les prompts entre des modèles de langage étendus à haute capacité et à faible coût. Il fonctionne comme une passerelle API qui imite la spécification OpenAI pour router les requêtes à travers différents fournisseurs de modèles. Le système optimise les coûts opérationnels en répartissant le trafic entre les niveaux de modèles en fonction des taux de réussite prédits et de la complexité des prompts. Il inclut un outil de calibration pour analyser les requêtes d'échantillon et déterminer le compromis coût-qualité optimal pour la distribution du trafic. Le framework fournit un outil pour mesurer la précision et l'efficacité des coûts des stratégies de routage en utilisant des jeux de données de référence. Il prend en charge l'extensibilité via des plugins basés sur des interfaces et une logique de routage personnalisée.