12 repositorios
Frameworks for defining, executing, and managing multi-step processes with state tracking and fault recovery.
Distinguishing note: Focuses on multi-step stateful execution and resume-on-failure capabilities, distinct from simple task queues.
Explore 12 awesome GitHub repositories matching devops & infrastructure · Workflow Orchestrators. Refine with filters or upvote what's useful.
Payload is a headless content management system and application framework that uses a code-first approach to define data schemas and administrative interfaces. By utilizing a centralized, type-safe configuration object, it automatically generates database schemas, API endpoints, and a fully customizable admin panel. The system is built on a database-agnostic architecture, allowing it to interface with various storage engines while providing a unified, type-safe API for server-side operations, REST, and GraphQL. What distinguishes Payload is its deep extensibility and developer-centric design.
Payload creates multi-step workflows that track task outputs and resume from the point of failure, ensuring that completed steps are not re-executed during retries.
Encore is a distributed systems framework designed to unify backend development, infrastructure provisioning, and observability. It functions as an infrastructure-as-code platform that allows developers to define cloud resources, databases, and messaging topics directly within their application code. By analyzing these declarations at compile-time, the system automatically manages the deployment of cloud resources and security policies, ensuring parity between local development and production environments. The platform distinguishes itself through its integrated development experience, which
Executes long-running, fault-tolerant workflows by integrating with external task orchestration engines.
Hatchet is an open-source durable workflow engine and task orchestration platform. It provides a framework for building and executing fault-tolerant, multi-step pipelines as directed acyclic graphs (DAGs), with automatic retries, scheduling, and real-time observability. The system is built around durable task checkpointing, which persists execution state after each step so work can resume from the last checkpoint after a worker crash or restart, and it supports event-driven task resumption that pauses a task until a matching external event arrives. The platform distinguishes itself through it
Declares named workflows with configurable triggers, concurrency, priority, and default task settings.
Osmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp
Defines multi-step security pipelines in YAML with hooks, conditional branching, and module exclusion.
SuperduperDB es un orquestador de agentes de IA y plataforma de machine learning integrada en bases de datos. Sirve como framework para construir agentes de IA con estado y aplicaciones de generación aumentada por recuperación (RAG) integrando modelos de lenguaje grandes directamente con backends de bases de datos. El proyecto permite el despliegue de infraestructura de IA autohospedada y la gestión de modelos de lenguaje en hardware privado utilizando puntos de control locales. Se distingue por permitir a los usuarios adjuntar componentes de IA directamente a campos de datos, activando la ejecución del modelo y transformaciones automatizadas basadas en inserciones y actualizaciones de la base de datos. La plataforma cubre una amplia gama de capacidades, incluyendo orquestación de machine learning para entrenamiento y ajuste fino, integración de búsqueda vectorial para recuperación multimodal y una capa de datos agnóstica al backend que admite varios motores de almacenamiento SQL y NoSQL. También proporciona herramientas para la orquestación declarativa de flujos de trabajo y el empaquetado de aplicaciones de IA reutilizables. El sistema está implementado en Python y proporciona una API uniforme para interactuar con múltiples backends de bases de datos.
Defines declarative system states to automate the transition from input to result for model deployments.
JASONETTE-iOS es un framework de aplicaciones móviles basado en JSON utilizado para construir aplicaciones iOS mediante marcado JSON declarativo. Mapea datos estructurados a componentes nativos de iOS y métodos del sistema, permitiendo la definición de interfaces de usuario y respuestas a eventos sin escribir código imperativo tradicional. El framework incluye un motor de entrega de lógica remota que carga la estructura y el comportamiento de la aplicación mediante HTTP. Esto permite actualizaciones de interfaces y lógica de aplicación de forma inalámbrica (over the air) sin requerir la redistribución del binario de la aplicación. El sistema gestiona el flujo de la aplicación mediante la gestión de estado declarativa y una interfaz de puente nativo que ejecuta hardware del dispositivo y API del sistema. Puede utilizarse como una herramienta de desarrollo independiente o como una extensión híbrida para añadir conjuntos de características dinámicas a proyectos nativos de iOS existentes.
Defines user interaction flows and system event responses using a markup language instead of imperative programming.
IntelOwl es una plataforma de inteligencia de amenazas y motor de orquestación de seguridad diseñado para agregar, analizar y enriquecer observables de seguridad. Funciona como una herramienta de investigación de incidentes de seguridad y un agregador de inteligencia de amenazas, recopilando datos sobre archivos, dominios y direcciones IP de diversas fuentes internas y externas. El sistema se diferencia por su automatización de flujos de trabajo basada en playbooks, permitiendo a los usuarios definir secuencias reutilizables de tareas de análisis que activan trabajos posteriores basados en resultados previos. Unifica datos de seguridad dispares en un esquema común y utiliza controles de acceso a nivel de protocolo para restringir la ejecución de analizadores según la sensibilidad de los datos. La plataforma cubre una amplia gama de capacidades, incluyendo la ingesta de indicadores basada en eventos, flujos de trabajo automatizados para centros de operaciones de seguridad (SOC) y enriquecimiento de inteligencia. Proporciona herramientas para la organización de investigaciones y la visualización de resultados de análisis a través de paneles para correlacionar hallazgos. El proyecto está implementado en Python.
Replaces manual security analyst tasks with repeatable playbooks and automated workflows to process threat observables.
ThreatHunter-Playbook es una colección de playbooks estandarizados, bibliotecas de detección y guías de tácticas diseñadas para informar la planificación de la búsqueda de amenazas (threat hunting). Proporciona un repositorio de detección de seguridad con consultas e hipótesis validadas, junto con una guía de tácticas de adversarios que detalla los comportamientos del sistema y las fuentes de datos asociadas con las técnicas de los atacantes. El proyecto se centra en el desarrollo de planos de búsqueda y la estandarización de la lógica de detección. Integra el framework MITRE ATT&CK para mapear detecciones e hipótesis a tácticas y técnicas de adversarios, asegurando que el análisis de cobertura esté estructurado. El repositorio cubre la ejecución de flujos de trabajo de búsqueda de amenazas a través de notebooks interactivos y análisis. Incluye procesos para el análisis de tácticas de adversarios, el desarrollo de reglas de detección repetibles y el uso de lógica de agrupación táctica para organizar comportamientos post-compromiso.
Automates the transformation of hunt inputs into testable artifacts using structured agent capabilities.
This project is a library of version-controlled workflow definitions and a collection of Groovy scripts and configuration snippets for implementing continuous integration and delivery automation in Jenkins. It serves as a reference for building automated pipelines using both declarative syntax and scripted logic. The repository provides template collections and implementation patterns for creating software build and deployment workflows. It includes reusable functions and logic patterns designed to standardize pipeline behavior and eliminate code duplication across multiple projects through t
Offers structured definitions for automated workflows including configurable triggers and task settings.
This project is a Ruby library for defining and managing object lifecycles through states, events, and transition rules. It functions as a declarative workflow engine that enforces business logic by restricting attribute changes to predefined, valid paths within Ruby classes. The library distinguishes itself through deep integration with database persistence layers, allowing it to automatically synchronize state changes with data models, validation frameworks, and transaction management. It supports dynamic configuration, enabling the construction of lifecycle rules at runtime from external d
Enforces business logic by restricting attribute changes to predefined, valid state transition paths.
Este proyecto es un generador de datos sintéticos diseñado para crear conjuntos de datos tabulares y de series temporales realistas para flujos de trabajo de machine learning y pruebas. Funciona como una plataforma de preservación de la privacidad que modela las distribuciones estadísticas subyacentes de los datos fuente para producir nuevos registros que mantengan las propiedades estadísticas originales y la integridad estructural. La herramienta se distingue por utilizar muestreo estadístico optimizado para CPU, lo que permite una generación de datos de alto rendimiento en hardware estándar sin la necesidad de unidades de procesamiento gráfico especializadas. Emplea un motor de flujo de trabajo declarativo basado en configuración que permite a los usuarios gestionar y ejecutar pipelines de generación a través de una interfaz de línea de comandos, eliminando el requisito de codificación manual. El sistema incorpora ruido diferencial de preservación de la privacidad para asegurar que los puntos de datos individuales no puedan ser reidentificados a partir de los conjuntos generados. También cuenta con validación consciente del esquema para asegurar que toda la salida permanezca compatible con las restricciones existentes de bases de datos y machine learning, mientras que su modelado de dependencia temporal captura patrones secuenciales para mantener un flujo cronológico realista en los datos de series temporales.
Executes data generation pipelines through a configuration-driven engine that maps user-defined parameters to specific statistical modeling tasks.
Dag-factory es un framework para construir y gestionar pipelines de datos de Apache Airflow a través de archivos de configuración declarativos. Al reemplazar el código procedimental manual con definiciones YAML estructuradas, permite la generación programática de estructuras de flujo de trabajo complejas, dependencias de tareas y cronogramas de ejecución. El proyecto destaca por mapear claves de configuración directamente a constructores de clases y operadores de Python, permitiendo la instanciación dinámica de objetos y lógica personalizada. Admite la herencia de configuración jerárquica para estandarizar la configuración en todos los entornos y proporciona mecanismos para inyectar especificaciones de pods de Kubernetes directamente en las definiciones de tareas para asegurar una ejecución aislada y escalable. El framework cubre el ciclo de vida completo del pipeline, incluyendo el descubrimiento automatizado de archivos, el mapeo dinámico a nivel de tarea para el procesamiento paralelo y la adjunción de metadatos para la integración con sistemas externos. También incluye utilidades de línea de comandos para validar configuraciones, activar ejecuciones y gestionar migraciones de entorno.
Defines complex task dependencies and execution schedules through structured configuration files rather than imperative scripts.