Awesome GitHub RepositoriesDistributed Workflow Orchestrators

dtm este un framework de tranzacții distribuite și un orchestrator de fluxuri de lucru conceput pentru a gestiona consistența datelor în microservicii. Acesta funcționează ca un coordonator centralizat care sincronizează tranzacțiile distribuite și gestionează starea și fluxul de execuție al secvențelor complexe de sarcini distribuite. Framework-ul implementează mai multe tipare de coordonare, inclusiv Saga, TCC și XA, pentru a preveni erorile de sincronizare. Acesta oferă în mod specific un coordonator de tranzacții multi-limbaj pentru a sincroniza operațiunile între servicii scrise în limbaje de programare diferite și utilizează un outbox de mesagerie fiabil pentru a cupla actualizările bazei de date cu expedierea mesajelor. Suprafața sa de capabilități acoperă recuperarea sistemelor distribuite prin rollback-uri de tranzacții compensatorii, coordonarea two-phase commit și livrarea mesajelor de tip exactly-once. Infrastructura suportă expansiunea orizontală a capacității și configurații de înaltă disponibilitate pentru a menține stabilitatea pe măsură ce volumele de cereri cresc.

Rivet este o infrastructură distribuită pentru gestionarea ciclului de viață, adresarea și persistența actorilor stateful și a motoarelor de execuție durabile. Oferă un sandbox de proces distribuit care execută logica aplicației în izolate ușoare, asigurând izolarea resurselor și porniri rapide (fast cold starts). Sistemul este conceput pentru a coordona operațiuni în mai mulți pași folosind cozi persistente și temporizatoare pentru a garanta finalizarea fiabilă a sarcinilor în medii distribuite. Platforma permite în mod specific orchestrarea agenților AI stateful care mențin memorie și stare persistentă pe parcursul interacțiunilor de lungă durată și al fluxurilor de lucru complexe. Se distinge printr-un framework de sincronizare a stării prin WebSocket care leagă componentele interfeței utilizator frontend de procese stateful la distanță prin comunicare bidirecțională în timp real. Sistemul acoperă o gamă largă de capabilități, inclusiv adresarea ierarhică a actorilor, un runtime de tip hibernate-on-idle pentru optimizarea resurselor și un strat de persistență pluggable pentru backend-uri de stocare modulare. Include, de asemenea, instrumente pentru depanarea sesiunilor active, monitorizarea stării de execuție în timp real și opțiuni de deployment automatizat pentru infrastructură edge, cloud sau privată. Proiectul este implementat în Rust și suportă dezvoltarea de actori în mai multe limbaje.

Acest proiect este o bibliotecă de referință și o colecție de tipare de cod exemplificative pentru implementarea infrastructurii cloud folosind AWS CDK. Oferă un set de proiecte eșantion care demonstrează cum să definești resurse de calcul, stocare și rețea folosind limbaje de programare de uz general. Biblioteca include implementări de referință pentru diverse tipare arhitecturale, inclusiv backend-uri serverless cu API-uri GraphQL și WebSocket, orchestrarea containerelor cu load balancers și auto-scaling, și găzduirea globală de site-uri web statice prin rețele de livrare a conținutului (CDN). De asemenea, oferă design-uri pentru topologii de rețea izolate și automatizarea fluxurilor de lucru bazate pe evenimente folosind mașini de stare. Capabilitățile acoperite se extind la gestionarea bazelor de date relaționale, configurarea serverelor de transfer securizat de fișiere și implementarea autorizării granulare. În plus, exemplele demonstrează tehnici de personalizare a infrastructurii, cum ar fi suprascrierea proprietăților resurselor și integrarea resurselor personalizate.

Dkron is a distributed, fault-tolerant system designed for scheduling and executing recurring tasks across a cluster of nodes. It functions as a cron-based orchestrator that manages job lifecycles, including automatic retries, timeouts, and complex dependencies, while ensuring state consistency through a consensus protocol. By coordinating remote task execution across infrastructure, it enables the automation of background operations and the management of distributed workflows. The system distinguishes itself through a modular architecture that supports pluggable storage backends and a plugin

Oban este un procesor de sarcini distribuit, bazat pe baze de date, pentru aplicații Elixir. Funcționează ca o coadă de job-uri fiabilă care utilizează bazele de date relaționale ca sursă principală de adevăr pentru programare, persistență și gestionarea stării. Prin utilizarea bazei de date pentru coordonare, asigură faptul că sarcinile de fundal rămân durabile în cazul repornirilor sistemului și consistente în clusterele distribuite. Sistemul se distinge prin utilizarea primitivelor la nivel de bază de date pentru a gestiona operațiunile la nivel de cluster. Utilizează mesageria de tip listen-notify pentru a declanșa trezirea imediată a worker-ilor, ocolind nevoia de polling ineficient, și folosește lock-uri partajate în baza de date pentru a alege lideri pentru coordonarea sarcinilor la nivel de cluster. Această arhitectură permite un control granular asupra execuției, inclusiv capacitatea de a izola sarcinile de lucru în cozi numite cu limite de concurență independente și de a impune unicitatea job-urilor în momentul inserării. Dincolo de procesarea de bază, proiectul oferă o suită cuprinzătoare pentru orchestrarea fluxurilor de lucru, inclusiv suport pentru batch-uri de job-uri, programare recursivă și secvențe complexe de sarcini dependente. Include observabilitate integrată prin telemetrie structurată, urmărirea ciclului de viață și instrumente administrative pentru gestionarea stărilor job-urilor, cum ar fi anularea, amânarea și reîncercările manuale. Sistemul este conceput pentru extensibilitate, permițând plugin-uri personalizate și configurare prin fișiere externe. Biblioteca suportă mai multe backend-uri de baze de date relaționale și include rutine de întreținere robuste pentru partiționarea și curățarea datelor pentru a păstra performanța. Se integrează direct în arborii de supervizare ai aplicației și oferă o suită de testare dedicată care permite execuția sincronă și simularea sarcinilor de fundal în medii de testare.

Maestro is a distributed job scheduler and containerized data pipeline tool designed to coordinate complex sequences of tasks. It functions as a Kubernetes workflow orchestrator and MLOps automation platform, utilizing directed acyclic graphs to manage task dependencies and execution order across computing clusters. The system distinguishes itself through the use of isolated container environments for each workflow step, ensuring consistent runtime dependencies. It incorporates an asynchronous event bus to coordinate state transitions and provides lifecycle hook integration that dispatches sy

This project is a high-performance PHP framework designed for building scalable services using a resident memory execution model. By maintaining application state in memory across requests, it eliminates bootstrap overhead and provides a persistent environment for long-running processes. The framework distinguishes itself through its integrated support for durable workflow orchestration and asynchronous task management. It enables the execution of complex, long-running business processes that automatically handle failures and state recovery, alongside a background processing system that dispa