Awesome GitHub RepositoriesModel Serving Transformations

Flyte is a Kubernetes-based machine learning orchestrator and containerized pipeline manager designed for coordinating AI workflows and data pipelines. It functions as an engine for defining and executing resilient pipelines, utilizing a data lineage tracker to maintain immutable execution states and ensure reproducible outputs. The platform distinguishes itself by packaging individual tasks into separate containers to ensure dependency isolation and environment consistency. It provides specialized capabilities for machine learning, including the transformation of trained models into scalable

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

Seldon Core este un server de modele de machine learning bazat pe Kubernetes și un framework de inferență MLOps. Funcționează ca un motor de servire multi-model și orchestrator de pipeline-uri, împachetând modelele ca microservicii scalabile care sunt expuse prin API-uri standardizate REST și gRPC. Proiectul se distinge prin pipeline-uri de inferență bazate pe grafuri care înlănțuie modele și transformatoare de date în fluxuri de lucru secvențiale. Optimizează utilizarea hardware-ului prin servire partajată multi-model și strategii de overcommit dinamic al memoriei, susținând în același timp experimentarea în producție prin rutarea ponderată a traficului, testarea A/B și deployment-uri de tip shadow. Framework-ul acoperă o gamă largă de capabilități MLOps, inclusiv autoscaling bazat pe cerere, procesarea asincronă a cererilor prin message bus-uri și monitorizarea completă pentru data drift, valori aberante (outliers) și explicabilitatea predicțiilor. Oferă, de asemenea, gestionarea infrastructurii pentru configurarea runtime-ului modelelor și comunicare securizată folosind criptare TLS pe planurile de control și de date.

Acest proiect este o implementare de deep learning a arhitecturii RetinaNet pentru detectarea și clasificarea obiectelor în imagini. Construit ca un framework de detecție a obiectelor Keras și un instrument de computer vision TensorFlow, oferă o implementare completă de rețea neuronală bazată pe lucrarea RetinaNet. Framework-ul include componente specializate precum un Feature Pyramid Network și o funcție de pierdere focală (focal loss) pentru a gestiona detecția obiectelor. Dispune de o arhitectură backbone configurabilă și bounding boxes bazate pe ancore pentru a prezice locațiile obiectelor pe diferite scări și rapoarte de aspect. Toolset-ul acoperă fluxul de lucru end-to-end pentru computer vision, inclusiv rutine de antrenare, evaluarea performanței și deployment-ul inferenței modelului. Oferă utilitare de gestionare a datelor pentru importarea și depanarea adnotărilor de imagini din formatele CSV și Pascal VOC, precum și instrumente pentru conversia modelelor antrenate în diferite formate pentru deployment.