Awesome GitHub RepositoriesModel Serving Transformations

Flyte is a Kubernetes-based machine learning orchestrator and containerized pipeline manager designed for coordinating AI workflows and data pipelines. It functions as an engine for defining and executing resilient pipelines, utilizing a data lineage tracker to maintain immutable execution states and ensure reproducible outputs. The platform distinguishes itself by packaging individual tasks into separate containers to ensure dependency isolation and environment consistency. It provides specialized capabilities for machine learning, including the transformation of trained models into scalable

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

Seldon Core est un serveur de modèles de machine learning basé sur Kubernetes et un framework d'inférence MLOps. Il fonctionne comme un moteur de service multi-modèles et un orchestrateur de pipelines, empaquetant les modèles sous forme de microservices scalables exposés via des API REST et gRPC standardisées. Le projet se distingue par des pipelines d'inférence basés sur des graphes qui enchaînent les modèles et les transformateurs de données dans des flux de travail séquentiels. Il optimise l'utilisation du matériel via le service partagé multi-modèles et des stratégies de sur-allocation dynamique de mémoire, tout en prenant en charge l'expérimentation en production via le routage de trafic pondéré, les tests A/B et les déploiements fantômes. Le framework couvre un large éventail de capacités MLOps, notamment l'autoscaling basé sur la demande, le traitement asynchrone des requêtes via des bus de messages, et une surveillance complète pour la dérive des données, les valeurs aberrantes et l'explicabilité des prédictions. Il fournit également une gestion de l'infrastructure pour la configuration du runtime des modèles et une communication sécurisée utilisant le chiffrement TLS sur les plans de contrôle et de données.

This project is a deep learning implementation of the RetinaNet architecture for detecting and classifying objects within images. Built as a Keras object detection framework and a TensorFlow computer vision tool, it provides a complete neural network implementation based on the RetinaNet paper. The framework includes specialized components such as a Feature Pyramid Network and a focal loss function to handle object detection. It features a configurable backbone architecture and anchor-based bounding boxes to predict object locations across varying scales and aspect ratios. The toolset covers