Awesome GitHub RepositoriesCloud Workflow Runners

Prefect is a workflow orchestration platform designed to define, schedule, and monitor complex data pipelines as Python code. It functions as a container-native engine that wraps individual tasks in isolated environments, ensuring consistent dependencies and resource allocation across diverse infrastructure. By utilizing a state-machine-based orchestration model, the system tracks execution progress through discrete transitions and persistent event logs to maintain reliable and observable task processing. The platform distinguishes itself through a decoupled worker-API architecture, which sep

Osmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp

CML est un outil d'automatisation de pipeline pour l'entraînement et l'évaluation de modèles d'apprentissage automatique, fonctionnant comme un système CI/CD pour l'apprentissage automatique. Il sert d'orchestrateur de calcul cloud et de gestionnaire de flux de travail basé sur Git qui automatise les cycles d'entraînement de modèles via la gestion de branches, les commits automatisés et le reporting intégré. Le projet se distingue par le provisionnement d'instances cloud éphémères ou de nœuds Kubernetes pour fournir du matériel spécialisé pour les tâches gourmandes en calcul. Il gère également des exécuteurs de calcul distants, permettant la connexion de clusters GPU auto-hébergés ou de machines sur site pour exécuter des flux de travail d'apprentissage automatique conteneurisés. Le système couvre un large éventail de capacités, incluant le suivi des expériences ML, où les métriques de performance et les visualisations sont publiées directement dans les pull requests de contrôle de version. Il gère l'automatisation du pipeline ML depuis l'importation initiale des données et le versionnage jusqu'à la génération de rapports de flux de travail formatés et de liens de visualisation externes. L'outil fournit une utilité supplémentaire pour la gestion de l'infrastructure via le débogage distant basé sur SSH et la capacité de reprendre les tâches interrompues.