Awesome GitHub RepositoriesCloud Workflow Runners

Prefect is a workflow orchestration platform designed to define, schedule, and monitor complex data pipelines as Python code. It functions as a container-native engine that wraps individual tasks in isolated environments, ensuring consistent dependencies and resource allocation across diverse infrastructure. By utilizing a state-machine-based orchestration model, the system tracks execution progress through discrete transitions and persistent event logs to maintain reliable and observable task processing. The platform distinguishes itself through a decoupled worker-API architecture, which sep

Osmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp

CML es una herramienta de automatización de pipelines para entrenar y evaluar modelos de machine learning, funcionando como un sistema CI/CD para machine learning. Sirve como orquestador de computación en la nube y gestor de flujos de trabajo basado en Git que automatiza los ciclos de entrenamiento de modelos mediante la gestión de ramas, commits automatizados e informes integrados. El proyecto se distingue por aprovisionar instancias de nube efímeras o nodos de Kubernetes para proporcionar hardware especializado para tareas de computación intensiva. También gestiona runners de computación remota, permitiendo la conexión de clusters de GPU autohospedados o máquinas on-premise para ejecutar flujos de trabajo de machine learning contenerizados. El sistema cubre una amplia gama de capacidades, incluyendo el seguimiento de experimentos de ML, donde las métricas de rendimiento y visualizaciones se publican directamente en los pull requests de control de versiones. Maneja la automatización de pipelines de ML desde la importación y versionado inicial de datos hasta la generación de informes de flujo de trabajo formateados y enlaces de visualización externos. La herramienta proporciona utilidad adicional para la gestión de infraestructura a través de depuración remota basada en SSH y la capacidad de reanudar trabajos interrumpidos.