Awesome GitHub RepositoriesDAG-Based Dependency Resolution

Airflow is a workflow orchestration platform for authoring, scheduling, and monitoring complex data pipelines as code using Python. It employs a DAG-based task scheduler to manage execution timing and dependencies via directed acyclic graphs, utilizing a distributed task execution engine to run workloads across a cluster of worker nodes. The platform provides a data pipeline monitor for tracking the health and execution history of programmatic workflows. This includes a web interface for workflow progress visualization and health monitoring to identify and troubleshoot pipeline failures. The

This project is a Python workflow orchestration platform and programmatic data pipeline engine used to author, schedule, and monitor complex data pipelines. It functions as a directed acyclic graph manager and scheduler, allowing users to define data movement and transformation tasks as code to ensure precise execution order and maintainability. The platform distinguishes itself by treating workflows as code, enabling pipelines to be versioned and tested through a standard programming language. It utilizes a system of extensible operators to encapsulate integration logic and employs a templat

DVC is a data versioning tool and pipeline orchestrator designed to track large datasets and machine learning models. It functions as a system for managing large data artifacts by storing lightweight metadata in version control while keeping the actual binaries in a separate cache. The project serves as an experiment tracker and remote storage synchronizer, enabling the execution and comparison of machine learning iterations based on hyperparameters and performance metrics. It provides a bridge for pushing and pulling these large data artifacts between local environments and cloud or on-premi

Kedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Enterprise job scheduling middleware with distributed computing ability.

Hatchet is an open-source durable workflow engine and task orchestration platform. It provides a framework for building and executing fault-tolerant, multi-step pipelines as directed acyclic graphs (DAGs), with automatic retries, scheduling, and real-time observability. The system is built around durable task checkpointing, which persists execution state after each step so work can resume from the last checkpoint after a worker crash or restart, and it supports event-driven task resumption that pauses a task until a matching external event arrives. The platform distinguishes itself through it

Open Multi-Agent is a TypeScript framework for multi-agent orchestration that decomposes natural language goals into a runtime-generated directed acyclic graph of tasks. It functions as a task orchestrator and workflow state manager, coordinating multiple AI models to execute parallel and sequential operations. The framework is distinguished by a proposer-judge consensus protocol used to validate agent outputs through a quorum of agreement. It employs provider-agnostic model routing to assign specific models to tasks based on roles or execution phases and utilizes state-based workflow checkpo

Osmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp

Volcano is a Kubernetes-native batch scheduler specialized for AI, machine learning, and high-performance computing workloads. It provides gang scheduling to atomically allocate resources for all tasks of a distributed job, preventing deadlocks from partial allocation, and supports hierarchical queue management for multi-tenant resource isolation with configurable quotas, borrowing, and preemption. Topology-aware placement optimizes communication-intensive workloads by modeling network hierarchy to minimize cross-switch latency. Volcano differentiates itself with automated orchestration of di

Azkaban ist ein verteilter Workflow-Manager und ein DAG-basierter Job-Orchestrator, der als Enterprise-Batch-Prozessor konzipiert ist. Er dient als Java-basierte Workflow-Engine, die komplexe Job-Sequenzen über einen Cluster von Executor-Servern plant und ausführt, mit spezifischer Funktionalität zur Verwaltung von Big-Data-Workloads auf Hadoop-Clustern. Das System zeichnet sich durch ein verteiltes Executor-Modell aus, das den Status über eine gemeinsame Datenbank koordiniert, um eine hohe Verfügbarkeit sicherzustellen. Es verwendet eine plugin-basierte Architektur, die benutzerdefinierte Job-Typen und Systemfunktionserweiterungen ermöglicht, einschließlich der Fähigkeit, Plugins ohne Neustart der Executor-Server neu zu laden. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich Daten-Pipeline-Orchestrierung mit bedingter Logik, periodischer und ereignisgesteuerter Planung sowie Enterprise-Monitoring mit SLA-Tracking. Sie bietet granulare Zugriffskontrolle und Benutzer-Impersonation für sichere Ausführung, neben Traffic-Management-Tools für Executor-Load-Balancing und Ressourcenquoten. Benutzer können Workflows über eine webbasierte Schnittstelle oder programmatisch über eine Workflow-Execution-API verwalten.

ms-agent is an LLM agent framework and multi-agent orchestration system designed to build autonomous entities that combine large language models with tool calling and structured workflows. It serves as a tool integration platform and workflow engine for executing complex tasks through the coordination of specialized agents. The project distinguishes itself through a multimodal agent workflow engine capable of automating the production of text, images, and video. It features a sandboxed code execution environment for running generated code and quantitative data analysis in isolated containers,

OpenSquilla ist ein LLM-Agent-Orchestration-Framework zur Koordination mehrstufiger KI-Workflows und Tool-Ausführungen mittels gerichteter azyklischer Graphen. Es fungiert als zentrales System zur Verwaltung spezialisierter Skill-Pakete und zur Ausführung komplexer Reasoning-Sequenzen. Das Projekt zeichnet sich durch ein Routing-Gateway aus, das Aufgaben basierend auf Komplexität, Kosten und Performance an verschiedene KI-Anbieter weiterleitet. Es nutzt ein mehrstufiges KI-Gedächtnissystem, das Arbeits-, episodisches und semantisches Wissen mittels lokaler Embeddings und SQLite organisiert, sowie eine sichere Ausführungsumgebung (Sandbox), die Agent-generierten Code über risikobasierte Berechtigungsprofile isoliert. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich Multi-Channel-Deployment für Web- und Messaging-Plattformen, automatisierter Aufgabenplanung via Cron und einer Model Context Protocol-Bridge zur Anbindung externer Tools. Zudem bietet sie umfassende Monitoring- und Observability-Tools zur Verfolgung von Token-Kosten, zum Auditing von Laufzeitentscheidungen und zur Verwaltung eines Katalogs wiederverwendbarer Skills. Das System enthält CLI-Utilities für die Workspace-Initialisierung und das Skill-Lifecycle-Management.

Dieses Projekt ist ein LLM-Browser-Automatisierungs-Framework und ein KI-Agent-Browser-Interface. Es dient als Steuerungsebene, die Anweisungen in natürlicher Sprache mithilfe von Large Language Models in Browser-Interaktionen übersetzt, wodurch KI-Agenten Webseiten über standardisierte Browser-Steuerungsfunktionen navigieren und mit ihnen interagieren können. Das System fungiert als RPA-Workflow-Orchestrator und Headless-Browser-Management-Tool, das in der Lage ist, deterministische Browser-Sequenzen aufzuzeichnen und wiederzugeben, um repetitive Aufgaben zu automatisieren. Es zeichnet sich durch Stealth-Konfigurationen aus, einschließlich Residential Proxies und modifizierter Browser-Engines, um Bot-Erkennung zu umgehen und CAPTCHAs zu lösen. Die Plattform deckt ein breites Spektrum an Fähigkeiten ab, einschließlich strukturierter Web-Datenextraktion, persistenter Sitzungsverwaltung zur Aufrechterhaltung der Authentifizierung und Human-in-the-Loop-Intervention für komplexe Schritte wie Multi-Faktor-Authentifizierung. Es unterstützt sowohl lokale Konnektivität als auch verwaltete Cloud-Sandbox-Deployments und bietet visuelles Workflow-Management sowie Echtzeit-Aktivitätsüberwachung über interaktive Graphen. Die Integration erfolgt über ein Command-Line-Interface und API-Konnektivität für externe LLM-Provider und Orchestrierungsplattformen von Drittanbietern.

EFCore.BulkExtensions ist eine Bibliothek zur Ausführung hochperformanter Batch-Insert-, Update- und Delete-Operationen innerhalb des Entity-Framework-Core-Ökosystems. Sie fungiert als Toolkit für die Batch-Verarbeitung von Datenbanken und als Wrapper für natives SQL Bulk Copy, um eine schnellere Datenaufnahme und Synchronisierung über mehrere Datenbankanbieter hinweg zu ermöglichen. Die Bibliothek bietet spezialisierte Funktionen für die Synchronisierung relationaler Daten, die es Benutzern ermöglichen, Datenbanktabellen mit lokalen Entitätslisten durch Bulk-Upserts und bedingte Synchronisierung abzugleichen. Sie unterstützt zudem das Einfügen relationaler Datengraphen, was das Hinzufügen großer Mengen von Eltern- und Kinddatensätzen über mehrere Tabellen hinweg unter Wahrung von Fremdschlüsselbeziehungen ermöglicht. Das Tool deckt ein breites Spektrum an Bulk-Datenoperationen ab, einschließlich allgemeiner CRUD-Verarbeitung, Tabellen-Truncation und direktem Kopieren von Daten von Tabelle zu Tabelle. Es enthält zudem Dienstprogramme für serverseitige Batch-Updates und hochperformante Datenbankmigrationen, um große Datenmengen zu verschieben, ohne Entitäten in den Anwendungsspeicher zu laden.

Polyaxon is a Kubernetes-native machine learning orchestration platform and MLOps pipeline orchestrator. It serves as a control plane for managing distributed deep learning workloads, automated machine learning pipelines, and experiment tracking. The platform distinguishes itself through specialized services for distributed training management, including MPI-based coordination for PyTorch and TensorFlow. It provides an automated hyperparameter optimization service utilizing Bayesian, random, and grid search algorithms, alongside managed interactive AI workspaces for launching Jupyter notebook

Nuke is a build automation system for defining software compilation and deployment pipelines using a strongly typed C# console application. It functions as a cross-platform build engine and pipeline orchestrator that treats build configurations as standard executable programs rather than static files. By leveraging a compiled language, the system provides type safety and IDE support for build script logic. This approach allows for the definition of automation and CI/CD pipelines using a professional programming language instead of YAML or shell scripts. The engine manages .NET project orches

Dag-factory ist ein Framework zur Erstellung und Verwaltung von Apache Airflow-Datenpipelines durch deklarative Konfigurationsdateien. Durch den Ersatz von manuellem prozeduralem Code durch strukturierte YAML-Definitionen ermöglicht es die programmatische Generierung komplexer Workflow-Strukturen, Task-Abhängigkeiten und Ausführungspläne. Das Projekt zeichnet sich dadurch aus, dass Konfigurationsschlüssel direkt auf Python-Klassenkonstruktoren und Operatoren abgebildet werden, was die dynamische Instanziierung von Objekten und benutzerdefinierter Logik ermöglicht. Es unterstützt hierarchische Konfigurationsvererbung zur Standardisierung von Einstellungen über Umgebungen hinweg und bietet Mechanismen zur direkten Injektion von Kubernetes-Pod-Spezifikationen in Task-Definitionen, um eine isolierte, skalierbare Ausführung zu gewährleisten. Das Framework deckt den gesamten Pipeline-Lebenszyklus ab, einschließlich automatisierter Dateierkennung, dynamischem Mapping auf Task-Ebene für parallele Verarbeitung und das Anhängen von Metadaten für die Integration externer Systeme. Es enthält zudem CLI-Tools zur Validierung von Konfigurationen, zum Auslösen von Ausführungen und zur Verwaltung von Umgebungsmigrationen.