Awesome GitHub RepositoriesInference Routing Protocols

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

Seldon Core est un serveur de modèles de machine learning basé sur Kubernetes et un framework d'inférence MLOps. Il fonctionne comme un moteur de service multi-modèles et un orchestrateur de pipelines, empaquetant les modèles sous forme de microservices scalables exposés via des API REST et gRPC standardisées. Le projet se distingue par des pipelines d'inférence basés sur des graphes qui enchaînent les modèles et les transformateurs de données dans des flux de travail séquentiels. Il optimise l'utilisation du matériel via le service partagé multi-modèles et des stratégies de sur-allocation dynamique de mémoire, tout en prenant en charge l'expérimentation en production via le routage de trafic pondéré, les tests A/B et les déploiements fantômes. Le framework couvre un large éventail de capacités MLOps, notamment l'autoscaling basé sur la demande, le traitement asynchrone des requêtes via des bus de messages, et une surveillance complète pour la dérive des données, les valeurs aberrantes et l'explicabilité des prédictions. Il fournit également une gestion de l'infrastructure pour la configuration du runtime des modèles et une communication sécurisée utilisant le chiffrement TLS sur les plans de contrôle et de données.