Awesome GitHub RepositoriesCustom Task Executors

xxl-job is a distributed task scheduling platform and job orchestrator designed to manage and trigger timed jobs across a cluster of remote executor nodes. It provides a centralized system for scheduling tasks, linking dependent jobs, and managing complex execution lifecycles through a relational database that persists configurations and logs. The platform distinguishes itself through a web-based interface for cron job management, allowing users to create and update scheduled tasks without modifying source code. It supports cross-language task execution by triggering logic on third-party exec

This project is a build orchestration engine and development toolkit designed for managing large-scale monorepos. It provides a unified workspace environment that maps project relationships and dependencies, enabling the system to perform intelligent impact analysis and execute only the tasks affected by specific code changes. The system distinguishes itself through a persistent daemon that monitors file changes for near-instant feedback and a content-addressable caching mechanism that stores task outputs to prevent redundant computation across local and remote environments. It further suppor

Tilt is a Kubernetes development orchestrator and containerized workflow manager that automates the build, deploy, and update loop for cloud-native services. It functions as an infrastructure-as-code environment, defining the entire local development setup as versioned code to synchronize local source changes with cluster deployments. The project distinguishes itself by offering live container updates, which sync files directly into running containers to bypass full image rebuilds and redeployments. It includes a cloud-native development dashboard for monitoring resource health, streaming agg

This project is a framework for developing multimodal AI agents that function as programmable participants in real-time communication rooms. It enables the construction of agents that can see, hear, and speak by integrating speech-to-text, large language models, and text-to-speech pipelines to facilitate low-latency, natural conversations. The system is distinguished by its advanced orchestration of real-time media and conversational flow, including support for full-duplex speech, preemptive response generation, and sophisticated interruption management. It further differentiates itself throu

Spin is a WebAssembly serverless framework and development toolchain for building and running portable microservices. It functions as an event-driven orchestrator and runtime that executes WebAssembly components, allowing developers to map HTTP requests, Redis messages, and cron schedules to specific modules. The project distinguishes itself by implementing a Wasm-based AI inference gateway, enabling components to perform model inference and generate text embeddings. It utilizes the WebAssembly Component Model and WASI for language-agnostic composition and portable host interfacing, while emp

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

DataX Web is a web-based management platform for scheduling, building, executing, and monitoring distributed data synchronization jobs powered by DataX. It provides a visual console for creating and managing DataX tasks without manual JSON configuration, with a distributed executor cluster that auto-registers worker nodes and supports configurable routing and blocking strategies for task distribution. The platform offers cron-based task scheduling with dynamic start, stop, and immediate status changes, along with incremental sync capabilities that pass dynamic parameters to extract only new o

MSBuild ist eine .NET-Build-Engine und ein Software-Build-Automatisierungssystem, das Quellcode in bereitstellbare Anwendungen transformiert. Es nutzt ein deklaratives Projektsystem basierend auf einem strukturierten XML-Schema, um Build-Elemente, Eigenschaften und Targets zu definieren, die im gesamten .NET-Ökosystem und in Visual Studio verwendet werden. Das System bietet ein anpassbares Build-Task-Framework, das die Implementierung benutzerdefinierter Tasks und Logger ermöglicht, um spezifische Software-Konstruktionsoperationen durchzuführen. Diese Erweiterbarkeit ermöglicht die Erstellung spezialisierter Logik zur Modifikation des Verhaltens des Build-Prozesses. Die Engine verwaltet die Build-Automatisierung durch ein aufgabenbasiertes Ausführungsmodell und eine abhängigkeitsbewusste Workflow-Orchestrierung. Ihre Funktionen decken die .NET-Software-Kompilierung, das Deployment für mehrere Ziel-Frameworks und das inkrementelle Build-Tracking ab. Sie bietet zudem ein Command-Line-Interface für Konfigurations-Overrides und ein Logging-System zur Erfassung des Build-Outputs.

Mindcraft ist ein Framework zur Verbindung von Large Language Models mit Spiel-Clients, um autonome Charaktere zu erstellen, die innerhalb einer simulierten Umgebung kommunizieren und Aktionen ausführen. Es fungiert als Orchestrator für Bots und nutzt ein System, das KI-Instruktionen auf hoher Ebene mit Spielprotokoll-Paketen auf niedriger Ebene überbrückt, um die Ausführung von In-Game-Aufgaben zu ermöglichen. Das System verwendet Retrieval-Augmented Generation, um relevante Konversationsverläufe und Codebeispiele mittels Embedding-basierter Kontextsuche auszuwählen. Es unterstützt die Entwicklung spezifischer KI-Personas durch Profilkonfigurationen und erleichtert die Multi-Agenten-Koordinierung, wodurch mehrere autonome Charaktere durch natürliche Sprache und Ressourcen-Sharing zusammenarbeiten können, um gemeinsame Ziele zu erreichen. Das Framework enthält ein zielorientiertes Aufgabensystem, das komplexe Ziele in prozedurale Schritte zerlegt und diese gegen Weltzustände validiert. Es bietet Funktionen für die parallele Welt-Orchestrierung, um gleichzeitige Experimente über isolierte Umgebungen hinweg auszuführen, sowie eine Text-to-Speech-Integration für die Echtzeit-Audio-Narration von Agentenaktionen. Das Projekt enthält Utilities zum Importieren benutzerdefinierter Weltdateien und zur Synchronisierung gesammelter Logdateien und Konfigurationen mit einem Remote-Cloud-Speicher.

Sbt ist ein JVM-Build-Tool und Abhängigkeitsmanagementsystem, das für Scala und Java entwickelt wurde. Es fungiert als Multi-Projekt-Build-Orchestrator, der die Kompilierung von Quellcode verwaltet, externe Bibliotheken aus Remote-Repositories auflöst und Binärdateien für die Verteilung paketiert. Das Projekt zeichnet sich durch sein interaktives Build-System aus, das eine Read-Eval-Print-Loop für die Echtzeit-Zustandsinspektion und Aufgabenausführung bietet. Es nutzt ein auf Abhängigkeitsgraphen basierendes Ausführungsmodell, um Aufgaben zu verarbeiten, und unterhält einen typsicheren Schlüssel-Wert-Speicher für die dynamische Build-Konfiguration. Seine Funktionen decken die JVM-Build-Automatisierung mit inkrementeller Rekompilierung, modularer Projektorganisation und automatisierter Testausführung ab. Das System unterstützt zudem die versionsübergreifende Kompilierung, die Veröffentlichung von Artefakten in Cloud-Speichern und ein erweiterbares Plugin-Modell für das Hinzufügen benutzerdefinierter Build-Logik.

Azkaban ist ein verteilter Workflow-Manager und ein DAG-basierter Job-Orchestrator, der als Enterprise-Batch-Prozessor konzipiert ist. Er dient als Java-basierte Workflow-Engine, die komplexe Job-Sequenzen über einen Cluster von Executor-Servern plant und ausführt, mit spezifischer Funktionalität zur Verwaltung von Big-Data-Workloads auf Hadoop-Clustern. Das System zeichnet sich durch ein verteiltes Executor-Modell aus, das den Status über eine gemeinsame Datenbank koordiniert, um eine hohe Verfügbarkeit sicherzustellen. Es verwendet eine plugin-basierte Architektur, die benutzerdefinierte Job-Typen und Systemfunktionserweiterungen ermöglicht, einschließlich der Fähigkeit, Plugins ohne Neustart der Executor-Server neu zu laden. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich Daten-Pipeline-Orchestrierung mit bedingter Logik, periodischer und ereignisgesteuerter Planung sowie Enterprise-Monitoring mit SLA-Tracking. Sie bietet granulare Zugriffskontrolle und Benutzer-Impersonation für sichere Ausführung, neben Traffic-Management-Tools für Executor-Load-Balancing und Ressourcenquoten. Benutzer können Workflows über eine webbasierte Schnittstelle oder programmatisch über eine Workflow-Execution-API verwalten.

OpenSquilla ist ein LLM-Agent-Orchestration-Framework zur Koordination mehrstufiger KI-Workflows und Tool-Ausführungen mittels gerichteter azyklischer Graphen. Es fungiert als zentrales System zur Verwaltung spezialisierter Skill-Pakete und zur Ausführung komplexer Reasoning-Sequenzen. Das Projekt zeichnet sich durch ein Routing-Gateway aus, das Aufgaben basierend auf Komplexität, Kosten und Performance an verschiedene KI-Anbieter weiterleitet. Es nutzt ein mehrstufiges KI-Gedächtnissystem, das Arbeits-, episodisches und semantisches Wissen mittels lokaler Embeddings und SQLite organisiert, sowie eine sichere Ausführungsumgebung (Sandbox), die Agent-generierten Code über risikobasierte Berechtigungsprofile isoliert. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich Multi-Channel-Deployment für Web- und Messaging-Plattformen, automatisierter Aufgabenplanung via Cron und einer Model Context Protocol-Bridge zur Anbindung externer Tools. Zudem bietet sie umfassende Monitoring- und Observability-Tools zur Verfolgung von Token-Kosten, zum Auditing von Laufzeitentscheidungen und zur Verwaltung eines Katalogs wiederverwendbarer Skills. Das System enthält CLI-Utilities für die Workspace-Initialisierung und das Skill-Lifecycle-Management.

Slurm ist ein Cluster-Workload-Manager und Job-Scheduler für High-Performance-Computing-Umgebungen. Es fungiert als verteilter Compute-Orchestrator, der groß angelegte Rechenaufgaben in einer Warteschlange verwaltet und über mehrere Compute-Nodes in einem Cluster ausführt. Das System agiert als Ressourcen-Arbitrator, der Hardware-Nodes und Prozessoren unter konkurrierenden Benutzern verteilt, um Ressourcenkonflikte zu vermeiden und die Effizienz zu maximieren. Es koordiniert den gleichzeitigen Start mehrerer Prozesse über verschiedene physische Server hinweg, um parallele Jobs und wissenschaftliche Workloads auszuführen. Die Plattform deckt breite Aufgabenbereiche ab, einschließlich Batch-Job-Scheduling, Compute-Ressourcen-Allokation und paralleler Workload-Ausführung. Es steuert das Timing und die Ausführung von Jobs basierend auf Ressourcenverfügbarkeit und Priorität.

This project provides a containerized environment for deploying Apache Airflow, enabling the orchestration of complex data pipelines and automated task scheduling. By packaging the orchestration platform into portable images, it ensures consistent execution across diverse infrastructure setups and simplifies the management of runtime dependencies. The platform facilitates distributed task execution by decoupling the scheduler from the execution layer, allowing for horizontal scaling of processing power across multiple worker nodes. It supports dynamic configuration through environment variabl

proxy.py is a lightweight, dependency-free HTTP and reverse proxy framework built in Python that handles network traffic through asynchronous event loops and multi-core connection distribution. It acts as a customizable proxy server and embedded web server, allowing developers to inspect, route, and modify web traffic programmatically or via command-line execution wrappers. The platform provides in-flight TLS interception and traffic decryption using generated root certificates, alongside modular extension hooks that support custom dashboard interfaces, request handling plugins, and REST API

Gravitino is a federated metadata lake and unified data catalog designed to manage tables, files, and AI models across diverse data sources and cloud storage. It serves as a centralized interface for governing schemas, access controls, and tagging across relational databases, messaging queues, and object stores. The project distinguishes itself by unifying the management of AI assets, such as machine learning models and their version lineages, alongside traditional tabular data. It also implements the Iceberg REST specification to provide a standardized metadata server and proxy for lakehouse

Lighteval is an open-source framework for running standardized benchmarks and custom evaluation tasks against language models. It provides a system for defining new evaluation tasks with custom prompts, metrics, and scoring in YAML configuration files, and integrates with the Hugging Face Hub for storing and comparing results. The framework supports evaluating models across multiple inference backends, including transformers, vllm, and custom APIs, through a unified generation and log-probability interface. It includes a pluggable metric registry for built-in and custom scoring, a prediction

Dieses Projekt bietet ein grundlegendes Boilerplate für den Aufbau von Full-Stack-Webanwendungen, die React-Frontend-Schnittstellen mit Backend-GraphQL-Diensten verbinden. Es dient als strukturierte Umgebung für Entwickler, um sowohl Client- als auch Serverkomponenten zu initialisieren und eine einheitliche Architektur für datengesteuerte Software sicherzustellen. Das Framework betont einen Schema-First-Ansatz beim API-Design, der eine konsistente Datenmodellierung über den gesamten Stack hinweg ermöglicht. Es enthält vorkonfigurierte Templates, die Authentifizierung und Echtzeit-Abonnementfunktionen integrieren, sowie modulare Middleware zur Verwaltung von Request-Handling und Datentransformation. Das Toolkit automatisiert gängige Entwicklungs-Workflows, einschließlich Datenbank-Schema-Management, lokaler Serverausführung und Projekt-Scaffolding. Diese standardisierten Skripte und Verzeichnisstrukturen sind darauf ausgelegt, die Einrichtung neuer Dienste zu beschleunigen und gleichzeitig Community-Standardmuster für Datenabruf, lokale Zustandsnormalisierung und API-Debugging beizubehalten.

Screwdriver ist eine Continuous-Delivery-Plattform zur Orchestrierung automatisierter Build-, Test- und Deployment-Workflows. Sie fungiert als containerisierter Build-Orchestrator, der den gesamten Delivery-Lebenszyklus verwaltet, vom ereignisgesteuerten Pipeline-Triggering bis zur Ausführung von Aufgaben innerhalb isolierter, steckbarer Container-Umgebungen. Die Plattform zeichnet sich durch eine modulare Architektur aus, die Build-Logik von den zugrunde liegenden Rechenressourcen entkoppelt, was eine konsistente Ausführung über diverse Infrastrukturen hinweg ermöglicht. Sie bietet ein robustes Pipeline-Konfigurationsmanagement, das es Teams erlaubt, wiederverwendbare Build-Templates zu definieren, zu versionieren und zu teilen. Dieses System wird durch umfassende Identitätsdienste unterstützt, einschließlich OAuth-Integration und granularer Zugriffskontrolle für Pipeline-Secrets und programmatische Token. Über die Kernorchestrierung hinaus bietet die Plattform umfangreiche Observability-Tools, einschließlich Echtzeit-Log-Streaming, Leistungsmetrik-Analyse und Build-Status-Verfolgung. Sie unterstützt komplexe Team-Workflows durch Pipeline-Sammlungsorganisation und geteilte Arbeitsbereiche, während sie die Systemstabilität durch Request-Throttling und persistente Zustandsverwaltung in relationalen Datenbanken wahrt. Das System ist für das Deployment innerhalb von Kubernetes-Clustern konzipiert und nutzt standardisierte Packaging-Templates, um die Plattform und ihre erforderlichen Infrastrukturkomponenten zu booten.