Awesome GitHub RepositoriesRouting Extensions

RouteLLM est un framework de routage et un gestionnaire de trafic conçu pour diriger les prompts entre des modèles de langage étendus à haute capacité et à faible coût. Il fonctionne comme une passerelle API qui imite la spécification OpenAI pour router les requêtes à travers différents fournisseurs de modèles. Le système optimise les coûts opérationnels en répartissant le trafic entre les niveaux de modèles en fonction des taux de réussite prédits et de la complexité des prompts. Il inclut un outil de calibration pour analyser les requêtes d'échantillon et déterminer le compromis coût-qualité optimal pour la distribution du trafic. Le framework fournit un outil pour mesurer la précision et l'efficacité des coûts des stratégies de routage en utilisant des jeux de données de référence. Il prend en charge l'extensibilité via des plugins basés sur des interfaces et une logique de routage personnalisée.

pgdog is a PostgreSQL sharding proxy, distributed SQL router, and connection pooler. It is designed to enable horizontal data distribution by splitting tables and indices across multiple independent servers to scale storage and processing capacity. The project distinguishes itself through online resharding capabilities, using logical replication to move data between shards without application downtime. It supports multiple routing strategies, including hash, list, and range-based query routing, and manages distributed atomic transactions using a two-phase commit process to ensure consistency