Awesome GitHub RepositoriesBackground Worker Orchestration

gocron is a task scheduling library for Go designed to automate recurring tasks using crontab expressions, fixed durations, and specific calendar dates. It functions as a concurrent job manager and execution monitor that tracks task lifecycles and performance. The project provides distributed task scheduling through leader election and distributed locking to prevent duplicate job execution across multiple nodes. It further distinguishes itself with a concurrency management system that implements singleton constraints and global execution quotas to protect system resources. The scheduler cove

MISP is an open-source threat intelligence sharing platform designed for collecting, storing, and distributing structured threat indicators and intelligence. At its core, it provides a distributed synchronization protocol for transferring events between instances, an attribute-based correlation engine that links matching indicators across events, and a REST API with an OpenAPI specification for programmatic access to threat data. The platform uses formal data formats for JSON, taxonomy, galaxy, and object templates to enable compatibility across tools and communities. The platform distinguish

Ce projet fournit des standards architecturaux et des modèles pour organiser les applications Django. Il définit un guide d'architecture de projet axé sur le découplage de la logique métier des vues et des modèles via une architecture en couche de service. Le guide établit des modèles de conception spécifiques, incluant une couche de service pour les fonctions de logique métier autonomes et un modèle de sélecteur de données pour isoler les requêtes de base de données complexes. Il définit un standard pour les vues à but unique qui délèguent la logique aux services et utilisent des sérialiseurs dédiés pour l'entrée et la sortie des données. Le framework couvre plusieurs domaines de capacités plus larges, incluant la gestion de configuration modulaire pour séparer les surcharges d'environnement des paramètres de base, une hiérarchie d'exceptions personnalisée pour le mappage d'erreurs piloté par le domaine, et un système pour coordonner les tâches d'arrière-plan et la planification périodique. Il inclut également des standards pour combiner les contraintes de base de données avec la validation au niveau du modèle et du service.

Hypernova est un moteur de rendu distribué et un service de rendu côté serveur qui transforme les composants JavaScript en HTML sur un serveur distant. Il fonctionne comme un framework d'hydratation de page web, permettant d'attacher un comportement interactif au balisage statique généré par le serveur en désérialisant l'état de l'application dans le navigateur. Le système utilise un runtime JavaScript isolé qui exécute les composants au sein de machines virtuelles sandboxées pour empêcher les fuites d'état global et les interférences entre les requêtes simultanées. Il emploie une architecture distribuée pour exécuter les tâches de rendu sur plusieurs processus de travail et cœurs de CPU. Le moteur gère le flux de requêtes et de trafic via un pipeline de requêtes par lots et un middleware enfichable pour l'interception du cycle de vie. Il inclut des fonctionnalités pour la sérialisation de l'état de l'application, des replis de rendu côté client pour assurer la disponibilité des pages, et une prise en charge client multi-langage pour soumettre des requêtes depuis divers environnements backend.

Buildbot est un framework d'intégration continue (CI) basé sur Python et un orchestrateur de build distribué. Il fonctionne comme un moteur d'automatisation de build qui coordonne la récupération du code source, l'exécution des étapes de build et le reporting des résultats via un contrôleur central et un réseau d'agents de travail distants. Le système se distingue par une architecture d'extensibilité basée sur des plugins et un modèle de distribution maître-esclave. Il permet la modification dynamique des builds au runtime et supporte un backend de base de données enfichable pour persister l'état du système et l'historique des builds. Le projet couvre un large éventail de capacités, incluant la planification automatisée des builds et l'orchestration de pipelines, l'intégration au contrôle de version via polling et webhooks, et le provisionnement de workers sur des serveurs physiques, des conteneurs Docker et des clusters Kubernetes. Il offre également une surveillance et une observabilité complètes via l'analyse des logs de build et le suivi des performances, ainsi qu'une gestion sécurisée des secrets et une authentification multi-fournisseur. Le contrôle administratif est disponible via une interface web dédiée et des outils en ligne de commande pour la validation de configuration et la gestion des processus.

picacg-qt est un client de bureau multiplateforme pour parcourir et lire des mangas et comics numériques depuis des services distants. Il fournit une interface dédiée pour naviguer dans les bibliothèques distantes, rechercher des titres spécifiques et visualiser du contenu multimédia sur Windows, Linux et MacOS. L'application inclut un outil d'intelligence artificielle intégré pour améliorer la résolution et la qualité visuelle des images de comics. Elle fonctionne également comme un téléchargeur hors ligne, permettant aux utilisateurs d'archiver des ensembles de comics et des images depuis des fournisseurs distants vers le stockage local. Le système gère le téléchargement asynchrone de médias et la mise en cache locale d'images pour prendre en charge l'accès hors ligne. Il fournit en outre une gestion de compte utilisateur pour des paramètres personnalisés et une interface de lecture de comics optimisée pour une utilisation sur bureau.

Tunny est une bibliothèque de pool de travailleurs (worker pool) et un gestionnaire de concurrence pour Go. Il fonctionne comme un planificateur de tâches concurrent qui limite le nombre de travailleurs parallèles traitant les travaux pour éviter l'épuisement des ressources système. Le projet permet le maintien d'un état persistant au sein des routines de travail individuelles pour éviter les coûts d'initialisation répétés. Il prend également en charge la mise à l'échelle dynamique des travailleurs, permettant d'ajuster le nombre de travailleurs en arrière-plan actifs en temps réel sans interrompre les tâches en cours. La bibliothèque fournit des mécanismes pour l'application de délais d'expiration (timeout) des tâches et la gestion du cycle de vie des travailleurs, y compris l'arrêt gracieux des pools de routines. Elle utilise la limitation de la concurrence pour restreindre le nombre total de goroutines actives.

Oban is a distributed background job processing system and task scheduler that uses PostgreSQL for transactional job storage and reliable execution across multiple nodes. It serves as a PostgreSQL-backed background worker and job queue, coordinating task execution and concurrency through a relational database to ensure delivery guarantees. The system differentiates itself through a distributed workflow orchestrator capable of managing multi-step processing pipelines, dependent job sequencing, and shared context. It provides advanced orchestration tools including job batching, chunked processi

Han1meViewer is an Android media viewer application for browsing, streaming, and downloading media content from a specific external website. It functions as a privacy-focused media browser that adapts external site content to a mobile-optimized interface. The application features tools for bypassing network restrictions through proxy and CDN configuration. It provides privacy protections including application locks and launcher icon disguises to hide the application's purpose. The project covers a wide range of capabilities, including background video downloading for offline media management

Nano is a distributed application framework designed for building systems using an actor-based messaging model. It functions as a distributed actor framework that decouples components through asynchronous messaging to maintain state isolation across a server cluster. The system acts as a cluster message dispatcher and session-aware request router, tracking client state to route incoming messages to the specific agent holding the session data. It utilizes a distributed agent registry to coordinate the dispatching of messages between multiple application instances acting as agents. The framewo

Ce dépôt sert de ressource éducative pour implémenter des modèles de programmation asynchrone dans les applications Android en utilisant Kotlin Coroutines et Flow. Il fournit une collection d'exemples pratiques et de tests unitaires conçus pour démontrer comment gérer les tâches en arrière-plan, les requêtes réseau concurrentes et les flux de données réactifs tout en maintenant une interface utilisateur réactive. Le projet se concentre sur la concurrence structurée, offrant des modèles pour organiser les tâches en portées hiérarchiques qui propagent automatiquement les signaux d'annulation et de cycle de vie. Il met l'accent sur l'intégration de la mise en réseau consciente du cycle de vie, garantissant que les opérations en arrière-plan et les flux réactifs respectent l'état des composants Android pour éviter les fuites de mémoire et les plantages. L'implémentation couvre un large éventail de capacités pour construire des systèmes de données résilients, y compris l'utilisation d'opérateurs fonctionnels pour transformer les séquences de données et la conversion de flux froids en conteneurs d'état chauds. Elle démontre également des stratégies pour gérer les opérations réseau, telles que l'implémentation de tentatives avec backoff exponentiel, la gestion des timeouts de requête et l'utilisation du stockage local pour un accès aux données en mode hors ligne. Le dépôt inclut des modèles de test spécialisés pour vérifier l'exactitude de la logique multi-threadée et du comportement asynchrone.

Node-worker-farm is a framework for distributing intensive computational tasks across a managed pool of background processes. By offloading heavy operations to independent child processes, it enables concurrent execution and prevents the main event loop from becoming blocked, allowing applications to maximize CPU utilization across available processor cores. The library distinguishes itself through a proxy-based interface that maps local function calls directly to exported methods within remote worker modules. This abstraction simplifies the distribution of work by treating background tasks a

This project is a PHP framework for offloading time-consuming tasks to background workers, enabling asynchronous processing to keep the main application request cycle responsive. It provides a unified interface for managing background job queues, allowing developers to decouple application logic from specific storage backends and message brokers. The system distinguishes itself through a driver-based abstraction layer that supports diverse infrastructure, including relational databases, Redis, and RabbitMQ. It manages the full lifecycle of background tasks, offering capabilities for delayed s