Awesome GitHub RepositoriesTask Worker Configurations

Conductor is a durable workflow engine designed to orchestrate complex, long-running business processes and autonomous agent loops. It functions as a stateful execution platform that persists the entire history of a process, ensuring that workflows remain reliable and recoverable across infrastructure failures, system restarts, and transient network errors. By managing task lifecycles, worker polling, and state transitions, it provides a centralized coordination layer for distributed systems. The platform distinguishes itself through its specialized support for AI agent orchestration, allowin

grpc-go is a Go language implementation of the gRPC framework, providing a remote procedure call library for high-performance service communication. It uses the HTTP/2 protocol to execute functions on remote servers as if they were local methods and utilizes protobuf service bindings to generate type-safe client and server code. The project features a bidirectional streaming transport that supports asynchronous, full-duplex message streams between clients and servers. This networking layer allows for various communication patterns, including client-to-server and server-to-client streaming, to

Temporal is a distributed workflow orchestration engine designed to manage fault-tolerant, stateful, and long-running background processes. It functions as a platform for coordinating complex cross-service operations, ensuring consistency and reliability in distributed environments by decoupling workflow orchestration from task execution. The platform distinguishes itself through a deterministic, event-sourced execution model that reconstructs workflow state by re-executing code from an immutable event log. This approach isolates non-deterministic side effects into managed activities, allowin

The Operator SDK is a framework for building, packaging, and managing custom controllers that extend the Kubernetes API. It serves as a toolset for defining new API types and implementing reconcile loops to automate the lifecycles of complex applications. The project provides specialized support for creating operators based on Helm charts or Ansible playbooks, allowing users to maintain a desired cluster state using existing automation tools. It includes a dedicated system for packaging controllers into standardized container image bundles for distribution via the Operator Lifecycle Manager.

Hatchet is an open-source durable workflow engine and task orchestration platform. It provides a framework for building and executing fault-tolerant, multi-step pipelines as directed acyclic graphs (DAGs), with automatic retries, scheduling, and real-time observability. The system is built around durable task checkpointing, which persists execution state after each step so work can resume from the last checkpoint after a worker crash or restart, and it supports event-driven task resumption that pauses a task until a matching external event arrives. The platform distinguishes itself through it

Osmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp

rllm is an asynchronous reinforcement learning framework for training language agents. It provides a unified pipeline that runs the same agent code for both evaluation and training, automatically capturing traces for gradient computation. The framework supports distributed reinforcement learning across multiple GPUs and nodes using pluggable backends, and executes agents in isolated sandboxes—either locally or in the cloud—for safe and scalable rollout collection. It trains agents built with LangGraph, SmolAgents, OpenAI Agents SDK, or custom frameworks without requiring core logic changes. T

Buildbot este un framework de integrare continuă (CI) bazat pe Python și un orchestrator distribuit de build-uri. Acesta funcționează ca un motor de automatizare a build-urilor care coordonează preluarea codului sursă, execuția etapelor de build și raportarea rezultatelor printr-un controller central și o rețea de agenți worker la distanță. Sistemul se distinge printr-o arhitectură de extensibilitate bazată pe plugin-uri și un model de distribuție master-worker. Permite modificarea dinamică a build-urilor la runtime și suportă un backend de bază de date pluggable pentru persistența stării sistemului și a datelor istorice de build. Proiectul acoperă o gamă largă de capabilități, inclusiv programarea automatizată a build-urilor și orchestrarea pipeline-urilor, integrarea cu controlul versiunilor prin polling și webhooks, și provizionarea de workeri pe servere fizice, containere Docker și clustere Kubernetes. Oferă, de asemenea, monitorizare și observabilitate cuprinzătoare prin analiza log-urilor de build și urmărirea performanței, alături de gestionarea securizată a secretelor și autentificare multi-provider. Controlul administrativ este disponibil printr-o interfață web dedicată și instrumente CLI pentru validarea configurației și gestionarea proceselor.

Piscina is a Node.js worker thread pool that runs CPU-intensive JavaScript functions across multiple threads for parallel execution. It manages a dynamic pool of worker threads with configurable size, handling task submission, cancellation, and lifecycle management through a promise-based interface. The pool supports AbortController-based task cancellation, enabling clean termination of submitted or running tasks without disrupting other work. It enforces per-worker memory limits through V8 resource caps and applies backpressure with a configurable maximum queue size that emits a drain event

Digger este un sistem de automatizare a infrastructurii GitOps și un orchestrator Terraform. Acesta permite executarea planurilor de infrastructură și aplicarea directă din pull request-urile de control al versiunilor și pipeline-urile CI. Proiectul oferă un framework pentru guvernanță bazată pe politici și gestionarea stării. Acesta impune controale de acces bazate pe roluri și politici de securitate personalizate asupra modificărilor de infrastructură, stocând în același timp central fișierele de stare cu istoric de versiuni și controale de acces. Sistemul gestionează fluxurile de lucru de infrastructură prin declanșatoare de comentarii pull request și execuție la distanță. Include capabilități pentru detectarea drift-ului pentru a identifica discrepanțele dintre stările cloud reale și cele dorite, blocarea execuției concurente pentru a preveni condițiile de cursă și persistența planului pentru a asigura că versiunile aprobate sunt aplicate în producție.

Tart is an Apple Silicon virtualization manager used to build and run macOS and Linux virtual machines using native hardware virtualization frameworks. It functions as a virtual machine cluster orchestrator and an ephemeral runner for executing continuous integration pipeline steps within isolated, short-lived environments. The system utilizes an OCI-compatible virtual machine registry to push and pull images via standardized container registries. It features a controller-worker architecture that schedules virtual machine lifecycles across remote worker nodes, incorporating a secure SSH jump

Visual Insights este o platformă automatizată de analiză exploratorie a datelor și un instrument de inferență cauzală conceput pentru a descoperi tipare și relații cauză-efect în seturi de date. Funcționează ca o bibliotecă interactivă de vizualizare a datelor folosind o abordare de tip grammar-of-graphics pentru a genera grafice și dashboard-uri multidimensionale. Proiectul se distinge printr-o interfață în limbaj natural care traduce întrebările în text simplu în răspunsuri și vizualizări de date prin intermediul unui model de limbaj. Oferă un framework specializat pentru descoperirea și inferența cauzală, permițând utilizatorilor să identifice legăturile dintre variabile prin grafuri cauzale interactive și să efectueze analize de tip what-if pentru a valida ipotezele. Platforma acoperă o gamă largă de capabilități, inclusiv curățarea vizuală a datelor, profilarea statistică și transformarea automatizată a seturilor de date. Suportă integrarea diverselor date din fișiere locale și baze de date la distanță și dispune de un motor de procesare de înaltă performanță pentru gestionarea locală a seturilor mari de date. În plus, sistemul permite încorporarea componentelor de analiză interactivă în aplicații web și notebook-uri.

Horizon is a background job orchestrator and worker manager for Redis queues. It provides a monitoring dashboard to track job throughput, wait times, and failure rates, alongside a system for managing job retries, execution timeouts, and worker distribution. The project distinguishes itself through a Redis-backed monitoring interface that identifies system bottlenecks and a queue alerting system that sends notifications when background job wait times exceed defined thresholds. Worker processes are managed via version-controlled configuration files to ensure consistent balancing and scaling ac

This is a Model Context Protocol (MCP) server that exposes Cloudflare’s edge platform as a set of tools for AI assistants. It provides a unified interface for managing Cloudflare Workers, including deployment, versioning, and configuration, alongside access to Workers AI for running inference tasks using pre-trained models. The server also covers Cloudflare’s data storage services, including D1 serverless SQLite databases, KV globally distributed key-value stores, and R2 S3-compatible object storage. Beyond core resource management, the server enables automation and scheduling through cron tr

Queue Classic este un framework de procesare în fundal pentru aplicațiile Ruby care gestionează sarcinile asincrone prin utilizarea tabelelor de baze de date relaționale pentru persistența job-urilor. Prin stocarea sarcinilor direct în baza de date, sistemul asigură că crearea job-ului rămâne cuplată cu tranzacțiile aplicației, garantând că sarcinile sunt puse în coadă doar atunci când modificările de date asociate sunt confirmate cu succes. Framework-ul coordonează procesele worker concurente prin mecanisme de blocare la nivel de bază de date, care previn execuția redundantă și permit procesarea sarcinilor distribuite fără a fi nevoie de un broker de mesaje extern. Worker-ii operează prin interogarea bazei de date pentru job-urile în așteptare, suportând atât execuția imediată, cât și programarea întârziată bazată pe timestamp-uri viitoare. Sistemul oferă un mecanism pentru descărcarea operațiunilor consumatoare de timp din firul principal al aplicației către procese worker independente. Suportă configurații de handler personalizate, permițând dezvoltatorilor să definească logică specifică pentru sarcinile în fundal, menținând în același timp consistența prin stocarea relațională subiacentă.