Awesome GitHub RepositoriesDAG-Based Dependency Resolution

Airflow is a workflow orchestration platform for authoring, scheduling, and monitoring complex data pipelines as code using Python. It employs a DAG-based task scheduler to manage execution timing and dependencies via directed acyclic graphs, utilizing a distributed task execution engine to run workloads across a cluster of worker nodes. The platform provides a data pipeline monitor for tracking the health and execution history of programmatic workflows. This includes a web interface for workflow progress visualization and health monitoring to identify and troubleshoot pipeline failures. The

This project is a Python workflow orchestration platform and programmatic data pipeline engine used to author, schedule, and monitor complex data pipelines. It functions as a directed acyclic graph manager and scheduler, allowing users to define data movement and transformation tasks as code to ensure precise execution order and maintainability. The platform distinguishes itself by treating workflows as code, enabling pipelines to be versioned and tested through a standard programming language. It utilizes a system of extensible operators to encapsulate integration logic and employs a templat

DVC is a data versioning tool and pipeline orchestrator designed to track large datasets and machine learning models. It functions as a system for managing large data artifacts by storing lightweight metadata in version control while keeping the actual binaries in a separate cache. The project serves as an experiment tracker and remote storage synchronizer, enabling the execution and comparison of machine learning iterations based on hyperparameters and performance metrics. It provides a bridge for pushing and pulling these large data artifacts between local environments and cloud or on-premi

Kedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Enterprise job scheduling middleware with distributed computing ability.

Hatchet is an open-source durable workflow engine and task orchestration platform. It provides a framework for building and executing fault-tolerant, multi-step pipelines as directed acyclic graphs (DAGs), with automatic retries, scheduling, and real-time observability. The system is built around durable task checkpointing, which persists execution state after each step so work can resume from the last checkpoint after a worker crash or restart, and it supports event-driven task resumption that pauses a task until a matching external event arrives. The platform distinguishes itself through it

Open Multi-Agent is a TypeScript framework for multi-agent orchestration that decomposes natural language goals into a runtime-generated directed acyclic graph of tasks. It functions as a task orchestrator and workflow state manager, coordinating multiple AI models to execute parallel and sequential operations. The framework is distinguished by a proposer-judge consensus protocol used to validate agent outputs through a quorum of agreement. It employs provider-agnostic model routing to assign specific models to tasks based on roles or execution phases and utilizes state-based workflow checkpo

Osmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp

Volcano is a Kubernetes-native batch scheduler specialized for AI, machine learning, and high-performance computing workloads. It provides gang scheduling to atomically allocate resources for all tasks of a distributed job, preventing deadlocks from partial allocation, and supports hierarchical queue management for multi-tenant resource isolation with configurable quotas, borrowing, and preemption. Topology-aware placement optimizes communication-intensive workloads by modeling network hierarchy to minimize cross-switch latency. Volcano differentiates itself with automated orchestration of di

Azkaban هو مدير سير عمل موزع ومنسق وظائف قائم على DAG مصمم كمعالج دفعات للمؤسسات. يعمل كمحرك سير عمل قائم على Java يقوم بجدولة وتنفيذ تسلسلات وظائف معقدة عبر مجموعة من خوادم التنفيذ، مع وظائف محددة لإدارة أحمال عمل البيانات الضخمة على عناقيد Hadoop. يتميز النظام بنموذج تنفيذ موزع ينسق الحالة عبر قاعدة بيانات مشتركة لضمان التوفر العالي. يستخدم بنية قائمة على الإضافات تسمح بأنواع وظائف مخصصة وامتدادات وظائف النظام، بما في ذلك القدرة على إعادة تحميل الإضافات دون إعادة تشغيل خوادم التنفيذ. تغطي المنصة مجموعة واسعة من القدرات بما في ذلك تنسيق خط أنابيب البيانات مع المنطق الشرطي، والجدولة الدورية والقائمة على الأحداث، ومراقبة المؤسسة مع تتبع SLA. يوفر تحكماً دقيقاً في الوصول وانتحال هوية المستخدم للتنفيذ الآمن، إلى جانب أدوات إدارة حركة المرور لموازنة تحميل التنفيذ وحصص الموارد. يمكن للمستخدمين إدارة سير العمل من خلال واجهة قائمة على الويب أو برمجياً عبر API تنفيذ سير العمل.

ms-agent is an LLM agent framework and multi-agent orchestration system designed to build autonomous entities that combine large language models with tool calling and structured workflows. It serves as a tool integration platform and workflow engine for executing complex tasks through the coordination of specialized agents. The project distinguishes itself through a multimodal agent workflow engine capable of automating the production of text, images, and video. It features a sandboxed code execution environment for running generated code and quantitative data analysis in isolated containers,

OpenSquilla هو إطار عمل لتنسيق وكلاء LLM مصمم لتنسيق سير عمل الذكاء الاصطناعي متعدد الخطوات وتنفيذ الأدوات باستخدام الرسوم البيانية الموجهة غير الدورية (DAGs). يعمل كنظام مركزي لإدارة حزم المهارات المتخصصة وتنفيذ تسلسلات التفكير المعقدة. يتميز المشروع ببوابة توجيه توجه المهام إلى مزودي ذكاء اصطناعي مختلفين بناءً على التعقيد والتكلفة والأداء. يستخدم نظام ذاكرة ذكاء اصطناعي متعدد المستويات ينظم المعرفة العاملة والعرضية والدلالية باستخدام التضمينات المحلية و SQLite، إلى جانب بيئة تنفيذ آمنة تعزل الكود الذي تم إنشاؤه بواسطة الوكيل عبر ملفات تعريف أذونات قائمة على المخاطر. تغطي المنصة مجموعة واسعة من الإمكانيات، بما في ذلك النشر متعدد القنوات على الويب ومنصات المراسلة، وجدولة المهام الآلية عبر cron، وجسر بروتوكول سياق النموذج (Model Context Protocol) للاتصال بالأدوات الخارجية. كما يوفر أدوات مراقبة شاملة لتتبع تكاليف الرموز (Tokens)، وتدقيق قرارات وقت التشغيل، وإدارة كتالوج للمهارات القابلة لإعادة الاستخدام. يتضمن النظام أدوات سطر أوامر لتهيئة مساحة العمل وإدارة دورة حياة المهارات.

This project is an LLM browser automation framework and AI agent browser interface. It serves as a control layer that translates natural language instructions into browser interactions using large language models, enabling AI agents to navigate and interact with web pages through standardized browser-control functions. The system functions as an RPA workflow orchestrator and headless browser management tool, capable of recording and replaying deterministic browser sequences to automate repetitive tasks. It distinguishes itself through stealth configurations, including residential proxies and

EFCore.BulkExtensions هي مكتبة لتنفيذ عمليات الإدراج، والتحديث، والحذف المجمعة عالية الأداء داخل نظام Entity Framework Core البيئي. تعمل كمجموعة أدوات لمعالجة دفعات قاعدة البيانات وغلاف لـ SQL Bulk Copy الأصلي لتمكين استيعاب البيانات ومزامنتها بشكل أسرع عبر مزودي قواعد بيانات متعددين. توفر المكتبة قدرات متخصصة لمزامنة البيانات العلائقية، مما يسمح للمستخدمين بمواءمة جداول قاعدة البيانات مع قوائم الكيانات المحلية من خلال عمليات upsert مجمعة والمزامنة الشرطية. كما تدعم عمليات إدراج الرسوم البيانية للبيانات العلائقية، والتي تمكن من إضافة مجموعات كبيرة من سجلات الأصل والفرع عبر جداول متعددة مع الحفاظ على علاقات المفاتيح الخارجية. تغطي الأداة مجموعة واسعة من عمليات البيانات المجمعة، بما في ذلك معالجة CRUD العامة، واقتطاع الجداول، ونسخ البيانات المباشر من جدول إلى جدول. كما تتضمن أدوات لتحديثات الدفعات من جانب الخادم وترحيل قاعدة البيانات عالي الأداء لنقل كميات كبيرة من البيانات دون تحميل الكيانات في ذاكرة التطبيق.

Polyaxon is a Kubernetes-native machine learning orchestration platform and MLOps pipeline orchestrator. It serves as a control plane for managing distributed deep learning workloads, automated machine learning pipelines, and experiment tracking. The platform distinguishes itself through specialized services for distributed training management, including MPI-based coordination for PyTorch and TensorFlow. It provides an automated hyperparameter optimization service utilizing Bayesian, random, and grid search algorithms, alongside managed interactive AI workspaces for launching Jupyter notebook

Nuke is a build automation system for defining software compilation and deployment pipelines using a strongly typed C# console application. It functions as a cross-platform build engine and pipeline orchestrator that treats build configurations as standard executable programs rather than static files. By leveraging a compiled language, the system provides type safety and IDE support for build script logic. This approach allows for the definition of automation and CI/CD pipelines using a professional programming language instead of YAML or shell scripts. The engine manages .NET project orches

Dag-factory هو إطار عمل لبناء وإدارة خطوط أنابيب بيانات Apache Airflow من خلال ملفات تكوين تعريفية. من خلال استبدال الكود الإجرائي اليدوي بتعريفات YAML منظمة، فإنه يتيح الإنشاء البرمجي لهياكل سير العمل المعقدة، وتبعيات المهام، وجداول التنفيذ. يتميز المشروع بربط مفاتيح التكوين مباشرة بمنشئات فئات Python والمشغلين، مما يسمح بالإنشاء الديناميكي للكائنات والمنطق المخصص. كما يدعم توريث التكوين الهرمي لتوحيد الإعدادات عبر البيئات ويوفر آليات لحقن مواصفات حاويات Kubernetes مباشرة في تعريفات المهام لضمان تنفيذ معزول وقابل للتوسع. يغطي إطار العمل دورة حياة خط الأنابيب بالكامل، بما في ذلك اكتشاف الملفات الآلي، والتعيين الديناميكي على مستوى المهمة للمعالجة المتوازية، وإرفاق البيانات الوصفية لتكامل النظام الخارجي. كما يتضمن أدوات سطر أوامر للتحقق من التكوينات، وتشغيل التنفيذ، وإدارة ترحيلات البيئة.