Awesome GitHub RepositoriesDistributed ML Pipeline Managers

Flyte is a distributed machine learning pipeline manager and MLOps workflow engine. It functions as a Kubernetes-native orchestrator used to coordinate data, models, and compute resources for executing machine learning pipelines and autonomous agents at scale. The platform provides specialized infrastructure for the full machine learning lifecycle, including a dedicated model serving platform to deploy trained models as scalable production-ready inference services. It also enables the coordination and state management of autonomous AI agents. The system manages scalable pipeline execution th

SynapseML est une bibliothèque de machine learning Apache Spark conçue pour construire et mettre à l'échelle des workflows de machine learning et des pipelines de données à travers des clusters distribués. Elle sert de framework de pipeline de machine learning distribué et de moteur d'inférence distribué pour exécuter des prédictions accélérées par le matériel et des tâches de deep learning sur des jeux de données à grande échelle. Le projet fonctionne comme une couche d'intégration d'IA cloud, permettant aux utilisateurs d'appliquer des services d'intelligence artificielle pré-entraînés pour le texte, la vision et la parole au sein de pipelines distribués. Il inclut également une suite dédiée d'outils pour la détection distribuée d'anomalies afin d'identifier les valeurs aberrantes multivariées et de séries temporelles à travers des données de haute dimension. La bibliothèque couvre un large éventail de capacités, incluant la vision par ordinateur distribuée pour l'analyse de visages et d'images, le traitement du langage naturel évolutif pour l'analyse et la traduction de texte, et l'entraînement d'arbres de décision à gradient boosté. Elle fournit des outils pour la recherche de similarité via la modélisation k-plus proches voisins, l'explicabilité des modèles via l'attribution de caractéristiques, et l'orchestration de workflows d'apprentissage par renforcement. Le système utilise une architecture de pipeline composable et prend en charge l'inférence de modèle basée sur ONNX pour une compatibilité multiplateforme.

Mmlspark est un framework distribué pour exécuter des modèles de machine learning, des transformations de données et des intégrations de services d'IA à travers des clusters Apache Spark. Il fonctionne comme une bibliothèque de machine learning distribuée et un orchestrateur de pipeline, permettant aux utilisateurs d'intégrer des services cognitifs pré-entraînés et des modèles personnalisés dans des workflows de traitement par lots et de streaming à grande échelle. Le projet se distingue par sa capacité à incorporer des services d'IA externes et des API web directement dans des pipelines de big data pour l'analyse de texte et de vision. Il fournit un framework d'entraînement de modèle évolutif qui coordonne les tâches de gradient boosting et de classification à travers des clusters de calcul redimensionnables élastiquement, utilisant l'accélération matérielle pour l'inférence de modèle distribuée. L'ensemble d'outils couvre un large éventail de capacités, incluant l'analyse de contenu multimodal pour l'image, la parole et le texte, ainsi qu'une détection avancée d'anomalies pour les données de séries temporelles et multivariées. Il inclut des utilitaires pour la caractérisation des données, l'exécution de modèles ONNX et des outils d'IA responsable pour l'audit d'équité des modèles et l'interprétation des prédictions utilisant des valeurs de contribution additives. Le framework fournit également une interface d'accès aux données unifiée pour lire et écrire à travers diverses bases de données et systèmes de stockage cloud.

Deep Java Library est un framework d'apprentissage profond Java et un moteur d'inférence de modèle JVM. Il fournit une API de haut niveau pour construire et déployer des modèles d'apprentissage profond au sein de l'écosystème Java, agissant comme un runtime multiplateforme pour exécuter des modèles sur des CPU, GPU et appareils mobiles. La bibliothèque est agnostique au moteur, permettant aux utilisateurs de basculer entre différents moteurs d'apprentissage profond tels que PyTorch, TensorFlow et MXNet tout en conservant une API unifiée unique. Cela permet le déploiement du même modèle sur différents backends sans changer le code de l'application. Le framework prend en charge l'intégralité du cycle de vie de l'apprentissage automatique, y compris la construction et l'entraînement d'architectures de réseaux de neurones et l'exécution d'inférences en temps réel. Il inclut des capacités pour l'inférence d'apprentissage automatique distribué afin de mettre à l'échelle les prédictions à travers des pipelines de big data et la possibilité de déployer des modèles en tant que microservices ou au sein d'applications clientes. Le système couvre un large éventail de domaines, notamment la vision par ordinateur pour la détection de visages et la classification d'images, et le traitement du langage naturel pour l'analyse de sentiment et les embeddings de phrases.

Stable-audio-tools is a toolkit for training and deploying latent diffusion models for high-fidelity audio synthesis. It provides a framework for generating audio by iteratively refining noise within a compressed latent space, using specialized encoders to preserve temporal and spectral features of the audio signal. The project features a system for adapting pre-trained audio checkpoints to new datasets through modular initialization and configuration files. It includes utilities for weight extraction and inference model export, which remove training metadata and optimizer states to create li