Awesome GitHub RepositoriesComputation Serving

SynapseML est une bibliothèque de machine learning Apache Spark conçue pour construire et mettre à l'échelle des workflows de machine learning et des pipelines de données à travers des clusters distribués. Elle sert de framework de pipeline de machine learning distribué et de moteur d'inférence distribué pour exécuter des prédictions accélérées par le matériel et des tâches de deep learning sur des jeux de données à grande échelle. Le projet fonctionne comme une couche d'intégration d'IA cloud, permettant aux utilisateurs d'appliquer des services d'intelligence artificielle pré-entraînés pour le texte, la vision et la parole au sein de pipelines distribués. Il inclut également une suite dédiée d'outils pour la détection distribuée d'anomalies afin d'identifier les valeurs aberrantes multivariées et de séries temporelles à travers des données de haute dimension. La bibliothèque couvre un large éventail de capacités, incluant la vision par ordinateur distribuée pour l'analyse de visages et d'images, le traitement du langage naturel évolutif pour l'analyse et la traduction de texte, et l'entraînement d'arbres de décision à gradient boosté. Elle fournit des outils pour la recherche de similarité via la modélisation k-plus proches voisins, l'explicabilité des modèles via l'attribution de caractéristiques, et l'orchestration de workflows d'apprentissage par renforcement. Le système utilise une architecture de pipeline composable et prend en charge l'inférence de modèle basée sur ONNX pour une compatibilité multiplateforme.