Awesome GitHub RepositoriesJob Queue Persistence

Beanstalkd is a distributed work queue server designed for asynchronous job processing. It functions as a standalone server that distributes background tasks between producers and consumers to improve application responsiveness and throughput. The system organizes tasks using numeric priority levels to ensure critical work is processed first. It manages the job lifecycle through discrete states and uses a simple line-based text protocol over TCP for communication. To ensure reliability, the server persists job data to a sequential disk log, allowing the queue state to be recovered after a sy

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Good Job est un processeur de tâches d'arrière-plan pour Ruby on Rails qui utilise une base de données PostgreSQL comme moteur de stockage principal. En tirant parti des transactions de base de données relationnelle, il garantit une exécution de tâches persistante et fiable, s'intégrant directement au framework Active Job pour gérer les opérations asynchrones et la planification de tâches récurrentes au sein des environnements d'application existants. Le système se distingue par un modèle d'exécution en processus qui permet aux travailleurs d'arrière-plan de s'exécuter au sein du même processus que le serveur web, simplifiant le déploiement en supprimant le besoin de services de travail séparés. Il emploie une exécution de travailleur multithreadée et des verrous consultatifs au niveau de la base de données pour coordonner les tâches sur des processus distribués, garantissant une exécution unique pour les tâches récurrentes et une utilisation efficace des ressources. La bibliothèque fournit des contrôles opérationnels complets, incluant la capacité de regrouper des tâches liées en lots pour un suivi collectif du cycle de vie et l'utilisation de l'insertion en masse pour optimiser l'ingestion de tâches à haute fréquence. Les administrateurs peuvent gérer les limites de concurrence, allouer des pools de threads dédiés pour des files d'attente spécifiques et surveiller la santé du système via un tableau de bord web intégré et personnalisable. Le projet inclut une interface intégrée pour inspecter, mettre en pause et dépanner les tâches en temps réel, ainsi qu'une rétention d'historique configurable pour l'audit et l'analyse des performances.