Awesome GitHub RepositoriesServer Instance Swapping

Llama-swap es un orquestador de inferencia local y puerta de enlace API para modelos de lenguaje de gran tamaño. Funciona como un proxy de la API de OpenAI que gestiona el ciclo de vida de múltiples servidores de modelos locales, iniciándolos y deteniéndolos automáticamente para intercambiar modelos según los identificadores de las solicitudes entrantes. El proyecto destaca por su intercambio dinámico de modelos y optimización de hardware. Utiliza un control de concurrencia basado en matrices para definir qué modelos pueden ejecutarse simultáneamente y emplea una política de desalojo basada en costes para eliminar servidores inactivos de la memoria según los costes relativos de los recursos. El sistema proporciona una gestión integral de modelos, incluyendo alias de identificadores, filtrado de solicitudes y la ejecución de comandos de ciclo de vida para contenedores o máquinas virtuales. También incluye herramientas de observabilidad como un entorno de pruebas visual para modelos, monitorización del rendimiento del sistema en tiempo real y funciones de seguridad como verificación de claves API y cifrado TLS. Las actualizaciones de configuración se gestionan mediante recarga dinámica, que monitoriza el sistema de archivos en busca de cambios sin necesidad de reiniciar manualmente.