Awesome GitHub RepositoriesInference Routing Protocols

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

Seldon Core 是一个基于 Kubernetes 的机器学习模型服务器和 MLOps 推理框架。它作为多模型服务引擎和流水线编排器，将模型打包为可通过标准化 REST 和 gRPC API 暴露的可扩展微服务。 该项目的独特之处在于基于图的推理流水线，可将模型和数据转换器链接成顺序工作流。它通过多模型共享服务和动态内存超额分配策略优化硬件利用率，同时通过加权流量路由、A/B 测试和影子部署支持生产环境实验。 该框架涵盖了广泛的 MLOps 功能，包括基于需求的自动扩缩容、通过消息总线进行的异步请求处理，以及针对数据漂移、异常值和预测可解释性的全面监控。它还提供用于模型运行时配置的基础设施管理，以及跨控制平面和数据平面的 TLS 加密安全通信。