Awesome GitHub RepositoriesPostgreSQL Task Queues

River ist ein transaktionaler Job-Queue- und verteilter Job-Scheduler für Go, der PostgreSQL für Persistenz und State-Management nutzt. Es fungiert als Framework für fortsetzbare Tasks, wodurch lang laufende Hintergrundprozesse in persistierte Schritte unterteilt werden können, die nach einem Fehler vom letzten gespeicherten Checkpoint aus fortgesetzt werden können. Das System stellt eine strikte Datenkonsistenz sicher, indem Hintergrund-Tasks innerhalb derselben Datenbanktransaktion wie die primären Anwendungsdaten in die Warteschlange eingereiht und abgeschlossen werden können. Es zeichnet sich durch ein Koordinator-Modell aus, das Leader-Election nutzt, um periodische und verzögerte Tasks über einen Cluster von Worker-Nodes hinweg zu verwalten. Die Plattform deckt eine breite Palette an Funktionen ab, darunter asynchrone Task-Verarbeitung, Retry-Policy-Konfiguration mit Exponential-Backoff und Workload-Isolation durch benannte Queues. Zudem bietet sie Tools für das Monitoring via Web-Management-Interface, Execution-Telemetry und ein Middleware-System zur Injektion von Cross-Cutting-Concerns wie Logging. Datenbank-Schema-Migrationen können über ein Command-Line-Interface oder direkt per Code verwaltet werden.

PGMQ ist ein leichtgewichtiges Message-Queuing-System, das als PostgreSQL-Erweiterung implementiert ist, um asynchrone Aufgaben zu verwalten. Es fungiert als datenbankgestützter Message-Broker, der PostgreSQL für persistente Speicherung, atomare Operationen und benachrichtigungsgesteuerte Zustellung nutzt. Das System bietet ein SQS-kompatibles Queue-Modell mit Sichtbarkeits-Timeouts und verzögerter Zustellung. Es unterstützt eine strikte First-in-First-out-Reihenfolge durch Gruppen-Keys und Batch-Abruf, um die sequentielle Verarbeitung verwandter Aufgaben sicherzustellen. Das Projekt deckt den gesamten Lebenszyklus einer Nachricht ab, einschließlich Produktion, Konsum über atomare Pop-Operationen und administrative Verwaltung wie Queue-Bereinigung und Lebenszykluskontrolle. Es enthält Routing-Funktionen durch themenbasierte Muster und Zuverlässigkeitsmerkmale wie Dead-Letter-Queueing, Nachrichtenarchivierung und Wiederholungslogik. Überwachungstools werden bereitgestellt, um operative Metriken wie Queue-Länge und Durchsatz zu verfolgen.

Queue Classic is a background processing framework for Ruby applications that manages asynchronous tasks by utilizing relational database tables for job persistence. By storing tasks directly within the database, the system ensures that job creation remains coupled with application transactions, guaranteeing that tasks are only queued when associated data changes are successfully committed. The framework coordinates concurrent worker processes through database-level locking mechanisms, which prevent redundant execution and allow for distributed task processing without the need for an external