Awesome GitHub RepositoriesTask Queue Isolation

Oban ist ein verteilter, datenbankbasierter Task-Prozessor für Elixir-Anwendungen. Er fungiert als zuverlässige Job-Queue, die relationale Datenbanken als primäre Quelle der Wahrheit für Zeitplanung, Persistenz und Zustandsverwaltung nutzt. Durch die Verwendung der Datenbank zur Koordination wird sichergestellt, dass Hintergrundaufgaben über Systemneustarts hinweg dauerhaft und über verteilte Cluster hinweg konsistent bleiben. Das System zeichnet sich durch die Verwendung datenbankbasierter Primitive zur Verwaltung clusterweiter Operationen aus. Es verwendet Listen-Notify-Messaging, um sofortiges Aufwecken von Workern auszulösen, wodurch ineffizientes Polling umgangen wird, und nutzt geteilte Datenbank-Locks, um Leader für die clusterweite Task-Koordination zu wählen. Diese Architektur ermöglicht eine granulare Kontrolle über die Ausführung, einschließlich der Möglichkeit, Workloads in benannte Queues mit unabhängigen Concurrency-Limits zu isolieren und Job-Eindeutigkeit zum Zeitpunkt des Einfügens zu erzwingen. Über die Kernverarbeitung hinaus bietet das Projekt eine umfassende Suite für Workflow-Orchestrierung, einschließlich Unterstützung für Job-Batching, rekursive Zeitplanung und komplexe Sequenzen abhängiger Aufgaben. Es enthält integrierte Observability durch strukturierte Telemetrie, Lebenszyklusverfolgung und administrative Tools zur Verwaltung von Job-Zuständen, wie etwa Abbruch, Verschiebung und manuelle Wiederholungen. Das System ist auf Erweiterbarkeit ausgelegt und erlaubt benutzerdefinierte Plugins und Konfiguration über externe Dateien. Die Bibliothek unterstützt mehrere relationale Datenbank-Backends und enthält robuste Wartungsroutinen für Datenpartitionierung und -bereinigung, um die Performance zu erhalten. Sie integriert sich direkt in Anwendungs-Supervision-Trees und bietet eine dedizierte Test-Suite, die synchrone Ausführung und Simulation von Hintergrundaufgaben innerhalb von Testumgebungen ermöglicht.

nq is a daemonless job orchestrator and POSIX shell task manager that manages asynchronous command execution on Unix systems. It functions as a command line job queue using directories and file-system locks to coordinate background processes across multiple terminal sessions. The system distinguishes itself by utilizing file-system-based locking to ensure sequential job execution without requiring a resident background daemon. It enables shared queue coordination, allowing different terminal sessions to synchronize work by directing tasks to specific directories. The project covers backgroun