Awesome GitHub RepositoriesCloud Workflow Runners

Prefect is a workflow orchestration platform designed to define, schedule, and monitor complex data pipelines as Python code. It functions as a container-native engine that wraps individual tasks in isolated environments, ensuring consistent dependencies and resource allocation across diverse infrastructure. By utilizing a state-machine-based orchestration model, the system tracks execution progress through discrete transitions and persistent event logs to maintain reliable and observable task processing. The platform distinguishes itself through a decoupled worker-API architecture, which sep

Osmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp

CML este un instrument de automatizare a pipeline-urilor pentru antrenarea și evaluarea modelelor de machine learning, funcționând ca un sistem CI/CD pentru machine learning. Servește drept orchestrator de calcul în cloud și manager de flux de lucru bazat pe Git, care automatizează ciclurile de antrenare a modelelor prin gestionarea branch-urilor, commit-uri automate și raportare integrată. Proiectul se distinge prin provizionarea de instanțe cloud efemere sau noduri Kubernetes pentru a oferi hardware specializat pentru sarcini intensive de calcul. De asemenea, gestionează runneri de calcul la distanță, permițând conectarea clusterelor GPU self-hosted sau a mașinilor on-premise pentru a executa fluxuri de lucru de machine learning containerizate. Sistemul acoperă o gamă largă de capabilități, inclusiv monitorizarea experimentelor ML, unde metricile de performanță și vizualizările sunt postate direct în pull request-urile de control al versiunilor. Gestionează automatizarea pipeline-ului ML de la importul inițial al datelor și versionare până la generarea de rapoarte de flux de lucru formatate și link-uri de vizualizare externă. Instrumentul oferă utilitate suplimentară pentru gestionarea infrastructurii prin depanare la distanță bazată pe SSH și capacitatea de a relua joburile întrerupte.