17 Repos
Mechanisms for saving terminal logs and output files from completed tasks to shared storage.
Distinct from Task Result Storage: Distinct from Task Result Storage: focuses on the persistence of logs and outputs for replay, rather than general workflow storage.
Explore 17 awesome GitHub repositories matching data & databases · Task Output Persistence. Refine with filters or upvote what's useful.
This project is a build orchestration engine and development toolkit designed for managing large-scale monorepos. It provides a unified workspace environment that maps project relationships and dependencies, enabling the system to perform intelligent impact analysis and execute only the tasks affected by specific code changes. The system distinguishes itself through a persistent daemon that monitors file changes for near-instant feedback and a content-addressable caching mechanism that stores task outputs to prevent redundant computation across local and remote environments. It further suppor
Shares task execution results across machines and environments to eliminate redundant work in distributed teams.
Claude Code is a command-line interface and multi-agent orchestration framework designed for autonomous software engineering. It enables AI agents to perform codebase modifications, debugging, and Git workflow management while coordinating multiple specialized agents to decompose and execute complex engineering tasks in parallel. The system distinguishes itself through a high degree of isolation and safety, utilizing Git worktrees to create independent working directories for concurrent agents and implementing a tiered permission system that combines user rules, project policies, and OS-level
Persists internal agent task state and progress to the filesystem to ensure continuity across restarts.
Beanstalkd is a distributed work queue server designed for asynchronous job processing. It functions as a standalone server that distributes background tasks between producers and consumers to improve application responsiveness and throughput. The system organizes tasks using numeric priority levels to ensure critical work is processed first. It manages the job lifecycle through discrete states and uses a simple line-based text protocol over TCP for communication. To ensure reliability, the server persists job data to a sequential disk log, allowing the queue state to be recovered after a sy
Persists job data to disk to ensure work is not lost during server restarts or system crashes.
Hatchet is an open-source durable workflow engine and task orchestration platform. It provides a framework for building and executing fault-tolerant, multi-step pipelines as directed acyclic graphs (DAGs), with automatic retries, scheduling, and real-time observability. The system is built around durable task checkpointing, which persists execution state after each step so work can resume from the last checkpoint after a worker crash or restart, and it supports event-driven task resumption that pauses a task until a matching external event arrives. The platform distinguishes itself through it
Merges results from multiple parallel parent tasks into a single formatted output.
Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis
Integrates a queue with an external datastore to archive items and prevent memory exhaustion by offloading data.
Acra is an Android crash reporting framework and diagnostic data collector designed to detect failures and capture device diagnostics, system logs, and application state. It serves as an embeddable library for capturing and processing crash reports, providing a pipeline to send this data to custom backends or via email. The project features a plugin-based sender architecture that allows reports to be routed through HTTP endpoints, email clients, or proprietary backend implementations. It includes a user-controlled reporting system with preference toggles and interactive dialogs to manage user
Bypasses initialization tasks when running in a separate sender process.
Dieses Projekt bietet Referenzimplementierungen und Vorlagen für Multi-Agenten-Orchestrierung, Retrieval-Augmented-Generation-Systeme und Human-in-the-Loop-Muster. Es enthält eine Sammlung von Implementierungsmustern zur Koordination mehrerer KI-Agenten, um komplexe Geschäftsworkflows und Aufgaben zu automatisieren. Das Projekt demonstriert, wie man operative Logik von der Einrichtung entkoppelt, indem strukturierte Textdateien für Agentenrollen und Aufgabenspezifikationen verwendet werden. Es enthält Anleitungen zur Integration von Vektorsuche und Dokumentenverarbeitung, um Frage-Antwort-Systeme auf Basis externer Wissensdatenbanken aufzubauen, sowie Muster für das Einfügen manueller Validierungs- und Überprüfungsschritte in automatisierte Agentensequenzen. Die Beispiele decken das Design iterativer Ausführungspfade, paralleler Verarbeitung und dynamischen Routings ab. Diese Implementierungen integrieren Zustandsmanagement, um den Fortschritt über komplexe Sequenzen hinweg zu verfolgen und Agenten mit externen APIs, Datenbanken und Dateisystemen für eine werkzeuggestützte Ausführung zu verknüpfen. Die Referenzmaterialien werden als Jupyter Notebooks bereitgestellt.
Tracks progress and context across iterative loops to maintain consistency during complex agent sequences.
Pueue is a task queue manager for shell commands, built as a daemon and command-line interface. It accepts shell commands into a managed queue and executes them with configurable parallel execution limits, supporting both global and per-group concurrency controls. The daemon persists its entire state—task queue, logs, and configuration—to disk, ensuring survival across crashes and system restarts. The project distinguishes itself through a dependency graph that lets tasks declare prerequisites, forming a directed acyclic graph that controls execution order. Tasks can be organized into named g
Displays logs of finished tasks or follows output of running tasks in real time.
GraphQL.NET ist ein serverseitiges Framework für den Aufbau und die Ausführung von GraphQL-APIs innerhalb von C#-Anwendungen. Es bietet ein umfassendes Toolkit für den Schema-Aufbau, eine föderierte Engine für verteilte Datengraphen und einen Subscription-Handler für die Verwaltung von Echtzeit-Datenströmen. Das Projekt zeichnet sich durch einen flexiblen Schema-Builder aus, der sowohl programmatische Code-First-Definitionen als auch deklarative Schema-First-Ansätze unter Verwendung der Standard-Schema-Definitionssprache unterstützt. Es enthält eine dedizierte Föderations-Engine, um Datengraphen in Subgraphen aufzuteilen und zu einem einheitlichen Gateway zusammenzuführen, sowie eine Data-Loader-Implementierung, die speziell darauf ausgelegt ist, das N+1-Abfrageproblem durch Batching und Caching zu lösen. Das Framework deckt ein breites Spektrum an operativen Funktionen ab, einschließlich Dependency-Injection-Integration für das Service-Lifetime-Management, Middleware-Pipelines für die Interzeption von Feldauflösungen und eine Ausführungspipeline, die mit Werttypen optimiert wurde, um Speicherallokationen zu reduzieren. Zudem bietet es Tools für die Analyse der Abfragekomplexität, Dokument-Caching und rollenbasierte Zugriffskontrolle zur Absicherung von API-Endpunkten. Die Unterstützung für Ahead-of-Time-Schema-Kompilierung ermöglicht es dem Framework, in Umgebungen ausgeführt zu werden, die dynamische Code-Generierung untersagen.
Retrieves execution parameters from parent nodes up to the root to share data across different levels of the resolver tree.
ZenML is an extensible machine learning orchestration framework designed to manage the end-to-end lifecycle of data pipelines and AI agent workflows. It functions as a durable orchestrator that executes machine learning tasks as directed acyclic graphs, ensuring that every step is containerized for consistent performance across local, cloud, and hybrid infrastructure. By decoupling pipeline code from underlying compute and storage backends, the platform allows developers to define infrastructure-agnostic stacks that remain portable across diverse environments. The project distinguishes itself
Automatically captures and stores step return values as artifacts using type-annotated serialization.
Dieses Projekt ist eine soziale Blogging-Anwendung, die mit Flask erstellt wurde. Sie bietet eine Plattform für Benutzerkontenverwaltung, Follow-Beziehungen und chronologische Beitrags-Streams, unterstützt durch eine relationale PostgreSQL-Datenbank. Die Anwendung verfügt über eine mehrsprachige Weboberfläche mit lokalisierten Inhalten und Datumsformatierung. Sie ist als dockerisierte Webanwendung konzipiert und nutzt Containerisierung für eine konsistente Bereitstellung in verschiedenen Umgebungen. Das System integriert eine Vielzahl von Kernfunktionen, darunter Volltextsuche mit Provider-Abstraktion, einen asynchronen Task-Worker für Hintergrundverarbeitung und ein umfassendes Identitätssystem für sichere Registrierung und Sitzungsverfolgung. Zudem implementiert es private Nachrichten, SMTP-E-Mail-Versand und eine API mit tokenbasierter Authentifizierung. Die Codebasis verwendet eine modulare Architektur mit dem Application-Factory-Pattern und Blueprints zur Organisation von Routing und Logik.
Stores task identifiers and completion status in the database to track background process progress.
Moon is a monorepo build system and task runner designed to orchestrate complex projects with multiple packages. It functions as a dependency graph orchestrator that executes build targets in topological order and utilizes input hashing to cache results and skip redundant work. The project features a polyglot toolchain manager that automates the installation and versioning of language runtimes and CLI tools to ensure environment consistency. It also includes a plugin framework based on WebAssembly, allowing developers to extend build logic and toolchain behavior using any supported language.
Bundles task outputs into compressed files and unpacks them automatically during cache hits.
Good Job ist ein Hintergrund-Job-Prozessor für Ruby on Rails, der eine PostgreSQL-Datenbank als primäre Speicher-Engine nutzt. Durch die Nutzung relationaler Datenbanktransaktionen stellt er eine persistente und zuverlässige Aufgabenausführung sicher und integriert sich direkt in das Active-Job-Framework, um asynchrone Operationen und wiederkehrende Job-Zeitpläne innerhalb bestehender Anwendungsumgebungen zu handhaben. Das System zeichnet sich durch ein In-Process-Ausführungsmodell aus, das es Hintergrund-Workern ermöglicht, im selben Prozess wie der Webserver zu laufen, was die Bereitstellung durch den Wegfall separater Worker-Dienste vereinfacht. Es nutzt multithreaded Worker-Ausführung und datenbankbasierte Advisory-Locks, um Aufgaben über verteilte Prozesse hinweg zu koordinieren, was eine eindeutige Ausführung für wiederkehrende Jobs und eine effiziente Ressourcennutzung sicherstellt. Die Bibliothek bietet umfassende betriebliche Kontrollen, einschließlich der Möglichkeit, verwandte Aufgaben in Batches für die kollektive Lebenszyklusverfolgung zu gruppieren und Masseneinfügungen zur Optimierung hochfrequenter Aufgabenaufnahmen zu nutzen. Administratoren können Nebenläufigkeitslimits verwalten, dedizierte Thread-Pools für spezifische Warteschlangen zuweisen und den Systemzustand über ein integriertes, anpassbares webbasiertes Dashboard überwachen. Das Projekt enthält ein integriertes Interface zum Inspizieren, Pausieren und Troubleshooting von Aufgaben in Echtzeit, neben konfigurierbarer Historienaufbewahrung für Auditing und Performance-Analysen.
Uses relational database tables as the primary storage engine to ensure transactional integrity and persistence for all queued background tasks.
This project is a research-focused toolkit designed for building autonomous agent systems, multi-agent workflows, and security governance frameworks. It provides a platform for coordinating specialized sub-agents through structured communication protocols and phased task delegation to complete complex technical objectives. The framework distinguishes itself by integrating a dedicated security policy engine that validates autonomous tool execution against user-defined permissions and safety rules. It also features a research-oriented approach to prompt engineering, enabling the dynamic assembl
Tracks the progress and output of individual agents within a centralized state machine for multi-step workflows.
This project is a framework for managing multi-agent software development workflows built on the Model Context Protocol. It functions as an AI-driven task orchestrator that decomposes complex development objectives into atomic units, tracks their lifecycle, and coordinates specialized agents to execute, verify, and refine work. By maintaining persistent project context and history, the system ensures continuity across sessions, allowing agents to retain state and adhere to established coding standards. The system distinguishes itself through its dependency-graph task management and multi-agen
Preserves the internal state and progress of agent tasks to ensure continuity across sessions.
The rp-engine is a workflow orchestration framework designed for building and executing autonomous agentic tasks. Built in Rust, it provides a structured environment for managing complex, multi-step operations that integrate language models with external tools and data sources. The engine distinguishes itself through its native support for iterative planning loops and persistent state management. By utilizing a directed acyclic graph architecture, it coordinates sequences of tasks while maintaining a shared memory bank that updates automatically to inform future steps. The system relies on de
Saves the internal state and progress of agent tasks to ensure continuity across restarts.
Repeat ist ein plattformübergreifendes Automatisierungs-Tool zum Aufzeichnen, Wiedergeben und Scripten von Maus- und Tastatureingaben. Es fungiert als Makro-Scripting-Umgebung, die es Benutzern ermöglicht, rohe Systemereignisse zu erfassen und in persistenten Sequenzen zu organisieren, die auch nach Anwendungsneustarts verfügbar bleiben. Das Projekt zeichnet sich durch seine Fähigkeit aus, Aufgaben über mehrere vernetzte Maschinen hinweg zu orchestrieren. Durch die Verwendung eines Client-Server-Modells synchronisiert es Automatisierungsscripte über eine lokale Flotte hinweg, was eine koordinierte Ausführung und konsistente Performance auf verbundenen Geräten ermöglicht. Über die einfache Eingabeaufzeichnung hinaus unterstützt die Software die Entwicklung komplexer Workflows, indem sie Benutzern ermöglicht, Automatisierungslogik durch externe Scripte und Standard-Programmiersprachen zu definieren. Diese Sequenzen können sofort über benutzerdefinierte Tastenkombinationen oder Mausgesten ausgelöst werden, was die Verwaltung repetitiver Desktop-Aufgaben und Systeminteraktionen erleichtert.
Maintains persistent task state to ensure automation sequences remain available across application restarts.