Awesome GitHub RepositoriesWorkflow Orchestration

DVC is a data versioning tool and pipeline orchestrator designed to track large datasets and machine learning models. It functions as a system for managing large data artifacts by storing lightweight metadata in version control while keeping the actual binaries in a separate cache. The project serves as an experiment tracker and remote storage synchronizer, enabling the execution and comparison of machine learning iterations based on hyperparameters and performance metrics. It provides a bridge for pushing and pulling these large data artifacts between local environments and cloud or on-premi

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Enterprise job scheduling middleware with distributed computing ability.

Hatchet is an open-source durable workflow engine and task orchestration platform. It provides a framework for building and executing fault-tolerant, multi-step pipelines as directed acyclic graphs (DAGs), with automatic retries, scheduling, and real-time observability. The system is built around durable task checkpointing, which persists execution state after each step so work can resume from the last checkpoint after a worker crash or restart, and it supports event-driven task resumption that pauses a task until a matching external event arrives. The platform distinguishes itself through it

Open Multi-Agent is a TypeScript framework for multi-agent orchestration that decomposes natural language goals into a runtime-generated directed acyclic graph of tasks. It functions as a task orchestrator and workflow state manager, coordinating multiple AI models to execute parallel and sequential operations. The framework is distinguished by a proposer-judge consensus protocol used to validate agent outputs through a quorum of agreement. It employs provider-agnostic model routing to assign specific models to tasks based on roles or execution phases and utilizes state-based workflow checkpo

Osmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp

Volcano is a Kubernetes-native batch scheduler specialized for AI, machine learning, and high-performance computing workloads. It provides gang scheduling to atomically allocate resources for all tasks of a distributed job, preventing deadlocks from partial allocation, and supports hierarchical queue management for multi-tenant resource isolation with configurable quotas, borrowing, and preemption. Topology-aware placement optimizes communication-intensive workloads by modeling network hierarchy to minimize cross-switch latency. Volcano differentiates itself with automated orchestration of di

Azkaban es un gestor de flujos de trabajo distribuido y orquestador de trabajos basado en DAG, diseñado como un procesador de lotes empresarial. Sirve como un motor de flujo de trabajo basado en Java que programa y ejecuta secuencias complejas de trabajos a través de un cluster de servidores ejecutores, con funcionalidad específica para gestionar cargas de trabajo de big data en clusters Hadoop. El sistema se distingue por un modelo de ejecutor distribuido que coordina el estado a través de una base de datos compartida para asegurar la alta disponibilidad. Emplea una arquitectura basada en plugins que permite tipos de trabajo personalizados y extensiones de funcionalidad del sistema, incluyendo la capacidad de recargar plugins en caliente sin reiniciar los servidores ejecutores. La plataforma cubre una amplia gama de capacidades, incluyendo la orquestación de pipelines de datos con lógica condicional, programación periódica y basada en eventos, y monitoreo empresarial con seguimiento de SLA. Proporciona control de acceso granular y suplantación de identidad de usuario para una ejecución segura, junto con herramientas de gestión de tráfico para el balanceo de carga de ejecutores y cuotas de recursos. Los usuarios pueden gestionar los flujos de trabajo a través de una interfaz basada en web o programáticamente mediante una API de ejecución de flujos de trabajo.

ms-agent is an LLM agent framework and multi-agent orchestration system designed to build autonomous entities that combine large language models with tool calling and structured workflows. It serves as a tool integration platform and workflow engine for executing complex tasks through the coordination of specialized agents. The project distinguishes itself through a multimodal agent workflow engine capable of automating the production of text, images, and video. It features a sandboxed code execution environment for running generated code and quantitative data analysis in isolated containers,

OpenSquilla es un framework de orquestación de agentes LLM diseñado para coordinar flujos de trabajo de IA de varios pasos y la ejecución de herramientas mediante grafos acíclicos dirigidos. Funciona como un sistema centralizado para gestionar paquetes de habilidades especializadas y ejecutar secuencias de razonamiento complejas. El proyecto se distingue por una pasarela de enrutamiento que dirige las tareas a diferentes proveedores de IA según la complejidad, el coste y el rendimiento. Utiliza un sistema de memoria de IA de varios niveles que organiza el conocimiento de trabajo, episódico y semántico mediante embeddings locales y SQLite, junto con un sandbox de ejecución seguro que aísla el código generado por el agente mediante perfiles de permisos basados en riesgos. La plataforma cubre una amplia gama de capacidades, incluyendo despliegue multicanal en web y plataformas de mensajería, programación automatizada de tareas mediante cron y un puente de Model Context Protocol para conectar con herramientas externas. También proporciona herramientas integrales de monitoreo y observabilidad para rastrear costes de tokens, auditar decisiones en tiempo de ejecución y gestionar un catálogo de habilidades reutilizables. El sistema incluye utilidades de línea de comandos para la inicialización del espacio de trabajo y la gestión del ciclo de vida de las habilidades.

Este proyecto es un framework de automatización de navegador para LLM y una interfaz de navegador para agentes de IA. Sirve como una capa de control que traduce instrucciones en lenguaje natural en interacciones de navegador utilizando modelos de lenguaje grandes, permitiendo a los agentes de IA navegar e interactuar con páginas web a través de funciones de control de navegador estandarizadas. El sistema funciona como un orquestador de flujos de trabajo RPA y una herramienta de gestión de navegador headless, capaz de grabar y reproducir secuencias de navegador deterministas para automatizar tareas repetitivas. Se distingue por configuraciones de sigilo, incluyendo proxies residenciales y motores de navegador modificados, para evitar la detección de bots y resolver CAPTCHAs. La plataforma cubre una amplia gama de capacidades, incluyendo la extracción estructurada de datos web, la gestión de sesiones persistentes para mantener la autenticación y la intervención humana (human-in-the-loop) para pasos complejos como la autenticación de múltiples factores. Admite tanto la conectividad local como despliegues en sandbox en la nube gestionados, ofreciendo gestión visual de flujos de trabajo y monitoreo de actividad en tiempo real a través de gráficos interactivos. La integración se proporciona a través de una interfaz de línea de comandos y conectividad API para proveedores de LLM externos y plataformas de orquestación de terceros.

Polyaxon is a Kubernetes-native machine learning orchestration platform and MLOps pipeline orchestrator. It serves as a control plane for managing distributed deep learning workloads, automated machine learning pipelines, and experiment tracking. The platform distinguishes itself through specialized services for distributed training management, including MPI-based coordination for PyTorch and TensorFlow. It provides an automated hyperparameter optimization service utilizing Bayesian, random, and grid search algorithms, alongside managed interactive AI workspaces for launching Jupyter notebook

Dag-factory es un framework para construir y gestionar pipelines de datos de Apache Airflow a través de archivos de configuración declarativos. Al reemplazar el código procedimental manual con definiciones YAML estructuradas, permite la generación programática de estructuras de flujo de trabajo complejas, dependencias de tareas y cronogramas de ejecución. El proyecto destaca por mapear claves de configuración directamente a constructores de clases y operadores de Python, permitiendo la instanciación dinámica de objetos y lógica personalizada. Admite la herencia de configuración jerárquica para estandarizar la configuración en todos los entornos y proporciona mecanismos para inyectar especificaciones de pods de Kubernetes directamente en las definiciones de tareas para asegurar una ejecución aislada y escalable. El framework cubre el ciclo de vida completo del pipeline, incluyendo el descubrimiento automatizado de archivos, el mapeo dinámico a nivel de tarea para el procesamiento paralelo y la adjunción de metadatos para la integración con sistemas externos. También incluye utilidades de línea de comandos para validar configuraciones, activar ejecuciones y gestionar migraciones de entorno.