Awesome GitHub RepositoriesInference Routing Protocols

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

Seldon Core هو خادم نماذج تعلم آلي وإطار عمل للاستدلال (Inference) يعتمد على Kubernetes. يعمل كمحرك لخدمة النماذج المتعددة ومنسق لخطوط الأنابيب، حيث يقوم بتغليف النماذج كخدمات مصغرة قابلة للتوسع يتم عرضها عبر واجهات REST وgRPC قياسية. يتميز المشروع بخطوط أنابيب استدلال قائمة على الرسوم البيانية (Graph-based) تقوم بربط النماذج ومحولات البيانات في سير عمل متسلسل. يعمل على تحسين استخدام الأجهزة من خلال الخدمة المشتركة للنماذج المتعددة واستراتيجيات تجاوز سعة الذاكرة الديناميكية، مع دعم تجارب الإنتاج من خلال توجيه حركة المرور الموزون، واختبار A/B، والنشر الظلي (Shadow deployments). يغطي إطار العمل نطاقاً واسعاً من قدرات MLOps، بما في ذلك القياس التلقائي القائم على الطلب، ومعالجة الطلبات غير المتزامنة عبر ناقلات الرسائل، والمراقبة الشاملة لانحراف البيانات، والقيم المتطرفة، وقابلية تفسير التنبؤات. كما يوفر إدارة البنية التحتية لتكوين وقت تشغيل النموذج والاتصال الآمن باستخدام تشفير TLS عبر مستويات التحكم والبيانات.