Awesome GitHub RepositoriesRouting Extensions

RouteLLM este un framework de rutare și un manager de trafic conceput pentru a direcționa prompturile între modele de limbaj mari cu capacitate ridicată și cele cu cost redus. Funcționează ca un gateway API care imită specificația OpenAI pentru a ruta cererile către diferiți furnizori de modele. Sistemul optimizează costurile operaționale prin împărțirea traficului între nivelurile de modele pe baza ratelor de câștig prezise și a complexității promptului. Include un instrument de calibrare pentru a analiza interogările eșantion și a determina compromisul optim cost-calitate pentru distribuția traficului. Framework-ul oferă un instrument pentru măsurarea acurateței și eficienței costurilor strategiilor de rutare folosind seturi de date de benchmark. Suportă extensibilitatea prin plugin-uri bazate pe interfețe și logică de rutare personalizată.

pgdog is a PostgreSQL sharding proxy, distributed SQL router, and connection pooler. It is designed to enable horizontal data distribution by splitting tables and indices across multiple independent servers to scale storage and processing capacity. The project distinguishes itself through online resharding capabilities, using logical replication to move data between shards without application downtime. It supports multiple routing strategies, including hash, list, and range-based query routing, and manages distributed atomic transactions using a two-phase commit process to ensure consistency