Awesome GitHub RepositoriesSingle Task Executors

xxl-job is a distributed task scheduling platform and job orchestrator designed to manage and trigger timed jobs across a cluster of remote executor nodes. It provides a centralized system for scheduling tasks, linking dependent jobs, and managing complex execution lifecycles through a relational database that persists configurations and logs. The platform distinguishes itself through a web-based interface for cron job management, allowing users to create and update scheduled tasks without modifying source code. It supports cross-language task execution by triggering logic on third-party exec

This project is a build orchestration engine and development toolkit designed for managing large-scale monorepos. It provides a unified workspace environment that maps project relationships and dependencies, enabling the system to perform intelligent impact analysis and execute only the tasks affected by specific code changes. The system distinguishes itself through a persistent daemon that monitors file changes for near-instant feedback and a content-addressable caching mechanism that stores task outputs to prevent redundant computation across local and remote environments. It further suppor

Tilt is a Kubernetes development orchestrator and containerized workflow manager that automates the build, deploy, and update loop for cloud-native services. It functions as an infrastructure-as-code environment, defining the entire local development setup as versioned code to synchronize local source changes with cluster deployments. The project distinguishes itself by offering live container updates, which sync files directly into running containers to bypass full image rebuilds and redeployments. It includes a cloud-native development dashboard for monitoring resource health, streaming agg

This project is a framework for developing multimodal AI agents that function as programmable participants in real-time communication rooms. It enables the construction of agents that can see, hear, and speak by integrating speech-to-text, large language models, and text-to-speech pipelines to facilitate low-latency, natural conversations. The system is distinguished by its advanced orchestration of real-time media and conversational flow, including support for full-duplex speech, preemptive response generation, and sophisticated interruption management. It further differentiates itself throu

This project is a command line interface and GitHub CLI extension that functions as an AI coding agent and model orchestrator. It enables the writing of code and the management of repositories through natural language prompts using large language models. The tool implements the Agent Client Protocol to act as a standardized agent server for external editors. It features a provider-agnostic routing system that allows switching between different hosted AI models or external compatible endpoints. Capabilities include the automation of Git workflows, such as managing pull requests and issues, an

Spin is a WebAssembly serverless framework and development toolchain for building and running portable microservices. It functions as an event-driven orchestrator and runtime that executes WebAssembly components, allowing developers to map HTTP requests, Redis messages, and cron schedules to specific modules. The project distinguishes itself by implementing a Wasm-based AI inference gateway, enabling components to perform model inference and generate text embeddings. It utilizes the WebAssembly Component Model and WASI for language-agnostic composition and portable host interfacing, while emp

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

DataX Web is a web-based management platform for scheduling, building, executing, and monitoring distributed data synchronization jobs powered by DataX. It provides a visual console for creating and managing DataX tasks without manual JSON configuration, with a distributed executor cluster that auto-registers worker nodes and supports configurable routing and blocking strategies for task distribution. The platform offers cron-based task scheduling with dynamic start, stop, and immediate status changes, along with incremental sync capabilities that pass dynamic parameters to extract only new o

MSBuild este un motor de build .NET și un sistem de automatizare a construcției software care transformă codul sursă în aplicații implementabile. Utilizează un sistem de proiect declarativ bazat pe o schemă XML structurată pentru a defini elementele de build, proprietățile și țintele utilizate în ecosistemul .NET și Visual Studio. Sistemul dispune de un framework de sarcini de build personalizabil care permite implementarea de sarcini și logger-e personalizate pentru a efectua operațiuni specifice de construcție software. Această extensibilitate permite crearea de logică specializată pentru a modifica comportamentul procesului de build. Motorul gestionează automatizarea build-ului printr-un model de execuție bazat pe sarcini și orchestrarea fluxului de lucru conștient de dependențe. Capabilitățile sale acoperă compilarea software-ului .NET, implementarea multi-target framework și urmărirea build-urilor incrementale. De asemenea, oferă o interfață în linie de comandă pentru suprascrieri de configurare și un sistem de logare pentru capturarea output-ului de build.

Mindcraft este un framework pentru conectarea modelelor de limbaj mari la clienții de jocuri pentru a crea personaje autonome care comunică și efectuează acțiuni într-un mediu simulat. Acesta funcționează ca un orchestrator pentru boți, utilizând un sistem care face legătura între instrucțiunile AI de nivel înalt și pachetele de protocol de joc de nivel scăzut pentru a permite executarea sarcinilor în joc. Sistemul utilizează retrieval-augmented generation pentru a selecta istoricul conversațiilor relevante și exemplele de cod prin regăsirea contextului bazată pe embedding-uri. Suportă dezvoltarea unor personaje AI specifice prin configurații de profil și facilitează coordonarea multi-agent, permițând mai multor personaje autonome să colaboreze prin limbaj natural și partajarea resurselor pentru a atinge obiective comune. Framework-ul include un sistem de sarcini orientat pe obiective care descompune obiectivele complexe în pași procedurali și îi validează în raport cu stările lumii. Oferă capabilități pentru orchestrarea lumilor paralele pentru a rula experimente concurente în medii izolate, alături de integrarea text-to-speech pentru narațiunea audio în timp real a acțiunilor agentului. Proiectul include utilitare pentru importarea fișierelor de lume personalizate și sincronizarea fișierelor de log și a configurațiilor colectate către stocarea cloud la distanță.

Sbt este un instrument de build JVM și un sistem de gestionare a dependențelor conceput pentru Scala și Java. Acesta funcționează ca un orchestrator de build multi-proiect care gestionează compilarea codului sursă, rezolvă bibliotecile externe din repository-uri la distanță și împachetează binarele pentru distribuție. Proiectul se distinge prin sistemul său de build interactiv, care oferă un read-eval-print loop pentru inspecția stării în timp real și execuția sarcinilor. Utilizează un model de execuție bazat pe grafuri de dependență pentru a procesa sarcinile și menține un magazin cheie-valoare type-safe pentru configurarea dinamică a build-ului. Capabilitățile sale acoperă automatizarea build-ului JVM cu recompilare incrementală, organizarea modulară a proiectelor și execuția automatizată a testelor. Sistemul suportă, de asemenea, compilarea cross-version, publicarea artefactelor în stocarea cloud și un model de plugin extensibil pentru adăugarea de logică de build personalizată.

Azkaban este un manager de fluxuri de lucru distribuit și un orchestrator de job-uri bazat pe DAG, conceput ca un procesor batch enterprise. Servește ca un motor de flux de lucru bazat pe Java care programează și execută secvențe complexe de job-uri într-un cluster de servere executor, cu funcționalitate specifică pentru gestionarea workload-urilor big data pe clustere Hadoop. Sistemul se distinge printr-un model de executor distribuit care coordonează starea printr-o bază de date partajată pentru a asigura disponibilitatea ridicată. Utilizează o arhitectură bazată pe plugin-uri care permite tipuri de job-uri personalizate și extensii de funcționalitate a sistemului, inclusiv capacitatea de a reîncărca plugin-urile fără a reporni serverele executor. Platforma acoperă o gamă largă de capabilități, inclusiv orchestrarea pipeline-urilor de date cu logică condițională, programare periodică și bazată pe evenimente, și monitorizare enterprise cu urmărire SLA. Oferă control granular al accesului și impersonarea utilizatorului pentru execuție securizată, alături de instrumente de gestionare a traficului pentru load balancing-ul executorilor și cote de resurse. Utilizatorii pot gestiona fluxurile de lucru printr-o interfață bazată pe web sau programatic printr-un API de execuție a fluxurilor de lucru.

OpenSquilla este un framework de orchestrare pentru agenți LLM, conceput pentru a coordona fluxuri de lucru AI în mai mulți pași și execuția de instrumente folosind grafuri aciclice direcționate. Acesta funcționează ca un sistem centralizat pentru gestionarea pachetelor de competențe specializate și executarea secvențelor complexe de raționament. Proiectul se distinge printr-un gateway de rutare care direcționează sarcinile către diferiți furnizori AI în funcție de complexitate, cost și performanță. Utilizează un sistem de memorie AI pe mai multe niveluri care organizează cunoștințele de lucru, episodice și semantice folosind embedding-uri locale și SQLite, alături de un sandbox de execuție securizat care izolează codul generat de agenți prin profiluri de permisiuni bazate pe risc. Platforma acoperă o gamă largă de capabilități, inclusiv implementarea pe mai multe canale către platforme web și de mesagerie, programarea automată a sarcinilor prin cron și un bridge Model Context Protocol pentru conectarea la instrumente externe. De asemenea, oferă instrumente cuprinzătoare de monitorizare și observabilitate pentru urmărirea costurilor per token, auditarea deciziilor runtime și gestionarea unui catalog de competențe reutilizabile. Sistemul include utilitare CLI pentru inițializarea spațiului de lucru și gestionarea ciclului de viață al competențelor.

Slurm este un manager de workload-uri de cluster și un scheduler de joburi conceput pentru medii de calcul de înaltă performanță (HPC). Acesta funcționează ca un orchestrator de calcul distribuit care pune în coadă și execută sarcini computaționale la scară largă pe mai multe noduri de calcul dintr-un cluster. Sistemul acționează ca un arbitru de resurse, distribuind nodurile hardware și procesoarele între utilizatorii concurenți pentru a preveni conflictele de resurse și a maximiza eficiența. Acesta coordonează lansarea simultană a mai multor procese pe diferite servere fizice pentru a executa joburi paralele și workload-uri științifice. Platforma acoperă domenii largi de capabilități, inclusiv programarea joburilor batch, alocarea resurselor de calcul și execuția workload-urilor paralele. Gestionează sincronizarea și execuția joburilor pe baza disponibilității resurselor și a priorității.

This project provides a containerized environment for deploying Apache Airflow, enabling the orchestration of complex data pipelines and automated task scheduling. By packaging the orchestration platform into portable images, it ensures consistent execution across diverse infrastructure setups and simplifies the management of runtime dependencies. The platform facilitates distributed task execution by decoupling the scheduler from the execution layer, allowing for horizontal scaling of processing power across multiple worker nodes. It supports dynamic configuration through environment variabl

Gravitino is a federated metadata lake and unified data catalog designed to manage tables, files, and AI models across diverse data sources and cloud storage. It serves as a centralized interface for governing schemas, access controls, and tagging across relational databases, messaging queues, and object stores. The project distinguishes itself by unifying the management of AI assets, such as machine learning models and their version lineages, alongside traditional tabular data. It also implements the Iceberg REST specification to provide a standardized metadata server and proxy for lakehouse

Lighteval is an open-source framework for running standardized benchmarks and custom evaluation tasks against language models. It provides a system for defining new evaluation tasks with custom prompts, metrics, and scoring in YAML configuration files, and integrates with the Hugging Face Hub for storing and comparing results. The framework supports evaluating models across multiple inference backends, including transformers, vllm, and custom APIs, through a unified generation and log-probability interface. It includes a pluggable metric registry for built-in and custom scoring, a prediction

Acest proiect oferă un boilerplate fundamental pentru construirea de aplicații web full-stack care conectează interfețele frontend React la servicii backend GraphQL. Acesta servește drept mediu structurat pentru ca dezvoltatorii să inițializeze atât componentele client, cât și pe cele server, asigurând o arhitectură unificată pentru software-ul bazat pe date. Framework-ul pune accent pe o abordare schema-first în designul API-ului, permițând modelarea consistentă a datelor în întregul stack. Include șabloane preconfigurate care integrează capabilități de autentificare și abonare în timp real, alături de middleware modular pentru gestionarea manipulării cererilor și transformarea datelor. Toolkit-ul automatizează fluxurile de lucru comune de dezvoltare, inclusiv gestionarea schemei bazei de date, execuția serverului local și scaffolding-ul proiectului. Aceste scripturi și structuri de directoare standardizate sunt concepute pentru a accelera configurarea noilor servicii, menținând în același timp modelele standard ale comunității pentru preluarea datelor, normalizarea stării locale și debugging-ul API-ului.

Screwdriver is a continuous delivery platform designed to orchestrate automated build, test, and deployment workflows. It functions as a containerized build orchestrator that manages the entire delivery lifecycle, from event-driven pipeline triggering to the execution of tasks within isolated, pluggable container environments. The platform distinguishes itself through a modular architecture that decouples build logic from underlying compute resources, allowing for consistent execution across diverse infrastructures. It provides robust pipeline configuration management, enabling teams to defin