Awesome GitHub RepositoriesBulk Enqueueing

Bee-queue est un système de traitement en arrière-plan pour Node.js qui utilise Redis pour la mise en file d'attente des travaux et la persistance. Il est conçu pour décharger les tâches lourdes du thread d'exécution principal vers des travailleurs en arrière-plan afin de maintenir la réactivité de l'application. Le projet fournit un traitement distribué des travaux, permettant aux nœuds de travail de s'exécuter sur plusieurs processus pour gérer de grands volumes de tâches simultanément. Il garantit une exécution fiable des tâches grâce à des tentatives automatiques (retries) et à la récupération des processus bloqués. Sa surface de capacités couvre la planification asynchrone des tâches pour les travaux différés, le contrôle de la concurrence pour les nœuds de travail et la gestion du cycle de vie des travaux. Il inclut des outils pour surveiller la santé de la file d'attente, suivre la progression des travaux et récupérer les résultats en fonction de l'état du travail. Le système prend en charge la mise en file d'attente en masse pour réduire la surcharge réseau et permet des identifiants de travail personnalisés ainsi que des stratégies de backoff configurables pour les tâches échouées.

Good Job est un processeur de tâches d'arrière-plan pour Ruby on Rails qui utilise une base de données PostgreSQL comme moteur de stockage principal. En tirant parti des transactions de base de données relationnelle, il garantit une exécution de tâches persistante et fiable, s'intégrant directement au framework Active Job pour gérer les opérations asynchrones et la planification de tâches récurrentes au sein des environnements d'application existants. Le système se distingue par un modèle d'exécution en processus qui permet aux travailleurs d'arrière-plan de s'exécuter au sein du même processus que le serveur web, simplifiant le déploiement en supprimant le besoin de services de travail séparés. Il emploie une exécution de travailleur multithreadée et des verrous consultatifs au niveau de la base de données pour coordonner les tâches sur des processus distribués, garantissant une exécution unique pour les tâches récurrentes et une utilisation efficace des ressources. La bibliothèque fournit des contrôles opérationnels complets, incluant la capacité de regrouper des tâches liées en lots pour un suivi collectif du cycle de vie et l'utilisation de l'insertion en masse pour optimiser l'ingestion de tâches à haute fréquence. Les administrateurs peuvent gérer les limites de concurrence, allouer des pools de threads dédiés pour des files d'attente spécifiques et surveiller la santé du système via un tableau de bord web intégré et personnalisable. Le projet inclut une interface intégrée pour inspecter, mettre en pause et dépanner les tâches en temps réel, ainsi qu'une rétention d'historique configurable pour l'audit et l'analyse des performances.