Awesome GitHub RepositoriesAI Workflow Serving

JARVIS is a system for large language model task orchestration, deployment management, and automation benchmarking. It utilizes a task orchestrator to decompose complex requests into actionable steps and coordinates various expert models to synthesize final responses. The project includes an AI model deployment manager to handle the local deployment of expert models across different hardware scales. It further provides an AI workflow API consisting of web endpoints used to trigger automated task workflows and retrieve results from model selection stages. The framework incorporates an automat

Mmlspark est un framework distribué pour exécuter des modèles de machine learning, des transformations de données et des intégrations de services d'IA à travers des clusters Apache Spark. Il fonctionne comme une bibliothèque de machine learning distribuée et un orchestrateur de pipeline, permettant aux utilisateurs d'intégrer des services cognitifs pré-entraînés et des modèles personnalisés dans des workflows de traitement par lots et de streaming à grande échelle. Le projet se distingue par sa capacité à incorporer des services d'IA externes et des API web directement dans des pipelines de big data pour l'analyse de texte et de vision. Il fournit un framework d'entraînement de modèle évolutif qui coordonne les tâches de gradient boosting et de classification à travers des clusters de calcul redimensionnables élastiquement, utilisant l'accélération matérielle pour l'inférence de modèle distribuée. L'ensemble d'outils couvre un large éventail de capacités, incluant l'analyse de contenu multimodal pour l'image, la parole et le texte, ainsi qu'une détection avancée d'anomalies pour les données de séries temporelles et multivariées. Il inclut des utilitaires pour la caractérisation des données, l'exécution de modèles ONNX et des outils d'IA responsable pour l'audit d'équité des modèles et l'interprétation des prédictions utilisant des valeurs de contribution additives. Le framework fournit également une interface d'accès aux données unifiée pour lire et écrire à travers diverses bases de données et systèmes de stockage cloud.

Olares is a comprehensive suite of self-hosted identity, storage, AI, and orchestration services designed for private infrastructure management. It functions as a Kubernetes home server orchestrator, enabling the deployment of containerized applications, AI models, and GPU resources on local hardware to replace third-party cloud services. The platform distinguishes itself through a combination of self-hosted AI infrastructure for running large language models and image generators, alongside a decentralized identity manager that uses cryptographic keys and OIDC for trustless authentication. It