Awesome GitHub RepositoriesInference Routing Protocols

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

Seldon Core es un servidor de modelos de machine learning basado en Kubernetes y un framework de inferencia MLOps. Funciona como un motor de servicio multimodelo y orquestador de pipelines, empaquetando modelos como microservicios escalables que se exponen a través de APIs REST y gRPC estandarizadas. El proyecto se distingue por sus pipelines de inferencia basados en grafos que encadenan modelos y transformadores de datos en flujos de trabajo secuenciales. Optimiza la utilización del hardware mediante el servicio compartido multimodelo y estrategias de sobreasignación dinámica de memoria, mientras admite la experimentación en producción mediante enrutamiento de tráfico ponderado, pruebas A/B y despliegues shadow. El framework cubre una amplia gama de capacidades MLOps, incluyendo escalado automático basado en la demanda, procesamiento asíncrono de solicitudes mediante buses de mensajes y monitoreo integral para la deriva de datos, valores atípicos y explicabilidad de predicciones. También proporciona gestión de infraestructura para la configuración del tiempo de ejecución del modelo y comunicación segura mediante cifrado TLS en los planos de control y datos.