Awesome GitHub RepositoriesModel

RouteLLM es un framework de enrutamiento y gestor de tráfico diseñado para dirigir prompts entre modelos de lenguaje grandes de alta capacidad y bajo costo. Funciona como una puerta de enlace de API que imita la especificación de OpenAI para enrutar solicitudes a través de diferentes proveedores de modelos. El sistema optimiza los costos operativos dividiendo el tráfico entre niveles de modelos basados en tasas de éxito predichas y complejidad del prompt. Incluye una herramienta de calibración para analizar consultas de muestra y determinar la compensación óptima entre costo y calidad para la distribución del tráfico. El framework proporciona una herramienta para medir la precisión y la eficiencia de costos de las estrategias de enrutamiento utilizando conjuntos de datos de referencia. Admite extensibilidad a través de plugins basados en interfaces y lógica de enrutamiento personalizada.