Awesome GitHub RepositoriesJob Queue Persistence

Beanstalkd is a distributed work queue server designed for asynchronous job processing. It functions as a standalone server that distributes background tasks between producers and consumers to improve application responsiveness and throughput. The system organizes tasks using numeric priority levels to ensure critical work is processed first. It manages the job lifecycle through discrete states and uses a simple line-based text protocol over TCP for communication. To ensure reliability, the server persists job data to a sequential disk log, allowing the queue state to be recovered after a sy

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Good Job es un procesador de trabajos en segundo plano para Ruby on Rails que utiliza una base de datos PostgreSQL como su motor de almacenamiento principal. Al aprovechar las transacciones de bases de datos relacionales, garantiza una ejecución de tareas persistente y confiable, integrándose directamente con el framework Active Job para manejar operaciones asíncronas y la programación de trabajos recurrentes dentro de entornos de aplicación existentes. El sistema se distingue por un modelo de ejecución en proceso que permite que los trabajadores en segundo plano se ejecuten dentro del mismo proceso que el servidor web, simplificando el despliegue al eliminar la necesidad de servicios de trabajo separados. Emplea la ejecución de trabajadores multihilo y bloqueos de asesoramiento a nivel de base de datos para coordinar tareas a través de procesos distribuidos, asegurando una ejecución única para trabajos recurrentes y una utilización eficiente de los recursos. La biblioteca ofrece controles operativos integrales, incluyendo la capacidad de agrupar tareas relacionadas en lotes para el seguimiento colectivo del ciclo de vida y el uso de inserción masiva para optimizar la ingesta de tareas de alta frecuencia. Los administradores pueden gestionar límites de concurrencia, asignar pools de hilos dedicados para colas específicas y monitorear la salud del sistema a través de un dashboard web integrado y personalizable. El proyecto incluye una interfaz incorporada para inspeccionar, pausar y solucionar problemas de tareas en tiempo real, junto con la retención de historial configurable para auditoría y análisis de rendimiento.