Awesome GitHub RepositoriesDistributed Recurring Task Scheduling

Sidekiq is a background job processor and queue manager for Ruby that uses Redis to manage asynchronous tasks. It functions as a distributed task scheduler capable of handling periodic, delayed, and recurring jobs across a cluster of worker processes. The project features a job monitoring dashboard and administrative web interface for visualizing system state, tracking worker performance, and managing failed or dead jobs. It provides a distributed rate limiter to control execution frequency across multiple processes. The framework covers a broad range of operational capabilities, including j

Quartz is a Java job scheduling framework and task execution engine designed to manage and execute scheduled tasks within application environments. It functions as an enterprise job scheduler that persists job state and execution history to maintain reliability across system restarts. The system distinguishes itself through a decoupled architecture that separates the definition of a job's action from the trigger logic that determines when it runs. It supports distributed task coordination across multiple server nodes to provide high availability and load balancing. The framework covers a bro

Lamp Cloud is a multi-tenant SaaS backend framework built on Java and Spring Cloud that provides a complete foundation for building enterprise-grade administration systems. Its core identity centers on supporting multiple tenant isolation strategies—including database-per-tenant, schema-per-tenant, and shared-table modes—that can be switched without altering business code, alongside a role-based access control system enforced at the gateway layer across all microservices. The framework distinguishes itself through comprehensive tenant lifecycle management tools that allow creating, configurin

Inngest is a durable execution framework and event-driven automation engine designed to orchestrate background workflows. It enables developers to build resilient, stateful processes by memoizing function steps, ensuring that long-running tasks can automatically resume from the last successful operation after failures, timeouts, or infrastructure restarts. The platform distinguishes itself through its event-driven architecture, which uses a schema-validated bus to trigger functions and coordinate complex, multi-step logic. It employs an onion-model middleware approach for cross-cutting concer

Descheduler este un rebalansator de workload-uri și manager de evacuare a pod-urilor pentru Kubernetes, conceput pentru a optimiza distribuția resurselor și a menține stabilitatea clusterului. Acesta identifică și elimină pod-urile care nu mai îndeplinesc constrângerile de programare sau cerințele de sănătate, permițând clusterului să le relocheze pe noduri mai potrivite. Proiectul oferă capabilități specializate pentru echilibrarea utilizării resurselor nodurilor, impunerea constrângerilor de răspândire a topologiei și eliminarea pod-urilor duplicate pentru a îmbunătăți distribuția. De asemenea, funcționează ca un ajutor pentru autoscaler prin compactarea workload-urilor pe mai puține noduri, facilitând reducerea infrastructurii neutilizate. Sistemul acoperă o gamă largă de sarcini de mentenanță, inclusiv curățarea pod-urilor eșuate, instabile sau vechi și impunerea regulilor de afinitate și taint pentru noduri. Include mecanisme de siguranță precum validarea compatibilității de programare pentru a asigura că pod-urile pot fi reprogramate înainte de evacuare, filtrare bazată pe label-uri pentru a proteja workload-urile critice și un mod dry-run pentru previzualizarea modificărilor. Utilitarul poate fi implementat ca un proces continuu în fundal sau ca un cron job recurent și suportă înaltă disponibilitate prin alegerea liderului (leader election).

FastStream is an asynchronous Python framework designed for building event-driven microservices. It provides a unified abstraction layer for interacting with various message brokers, enabling developers to manage event production and consumption through a consistent interface while maintaining access to native provider-specific features. The framework centers on a decorator-based routing model that binds application logic directly to broker topics, supported by a built-in dependency injection container that resolves resources at runtime. The framework distinguishes itself through its deep int

GRR este o platformă distribuită de răspuns la incidente și un orchestrator asincron de sarcini criminalistice. Acesta funcționează ca un framework de criminalistică la distanță conceput pentru a colecta și analiza date volatile, memoria sistemului și artefacte digitale de la gazde la distanță în timpul răspunsului la incidente de securitate. Sistemul operează ca un sistem de triaj la distanță pentru endpoint-uri, utilizând o arhitectură coordonată pentru a gestiona o flotă de agenți. Permite execuția sarcinilor de investigație pe mai multe sisteme, permițând căutarea fișierelor și a regiștrilor pe o flotă mare de mașini pentru a identifica gazdele compromise. Platforma oferă capabilități pentru analiza criminalistică digitală, inclusiv capacitatea de a analiza sisteme de fișiere brute și de a genera cronologii ale evenimentelor de sistem. Include, de asemenea, instrumente pentru monitorizarea flotei enterprise pentru a urmări utilizarea resurselor și a programa sarcini criminalistice recurente.

Dkron is a distributed, fault-tolerant system designed for scheduling and executing recurring tasks across a cluster of nodes. It functions as a cron-based orchestrator that manages job lifecycles, including automatic retries, timeouts, and complex dependencies, while ensuring state consistency through a consensus protocol. By coordinating remote task execution across infrastructure, it enables the automation of background operations and the management of distributed workflows. The system distinguishes itself through a modular architecture that supports pluggable storage backends and a plugin

Jupiter este o suită cuprinzătoare pentru programarea sarcinilor, observabilitatea performanței, guvernanța serviciilor, bootstrapping-ul proiectelor și analiza dependențelor în cadrul service mesh-urilor. Oferă un framework de guvernanță a microserviciilor pentru a gestiona descoperirea serviciilor, load balancing-ul și comunicarea în sistemele distribuite. Proiectul se distinge printr-un instrument de gestionare a service mesh-ului care analizează dependențele serviciilor și gestionează înregistrarea multi-data center și configurarea la runtime. Include un bootstrapper dedicat pentru proiecte de microservicii printr-un instrument în linie de comandă pentru a genera structuri de proiect standardizate pentru crearea și desfășurarea de noi servicii. Sistemul acoperă o gamă largă de capabilități, inclusiv tracing-ul distribuit și monitorizarea pentru colectarea metricilor de latență și eroare, un scheduler distribuit de sarcini pentru coordonarea sarcinilor temporizate pe instanțe de server și gestionarea centralizată a configurațiilor și permisiunilor. Oferă, de asemenea, profilarea performanței la runtime prin eșantionare în timp real și separarea standardizată a codurilor de eroare pentru a accelera analiza cauzei rădăcină.

Lilishop este o platformă de e-commerce multi-vendor B2B2C concepută ca o piață unde comercianții terți pot gestiona vitrine independente într-un ecosistem unificat. Este construită pe o arhitectură de microservicii Spring Cloud și un backend Spring Boot, utilizând Vue și Uniapp pentru a livra interfețe utilizator responsive pe platforme web, mobile și mini-programe. Platforma se diferențiază prin instrumente integrate de automatizare a marketingului, inclusiv cumpărături de grup, campanii de bargain și o rețea de distribuție afiliată bazată pe comisioane. Dispune, de asemenea, de un sistem financiar cuprinzător de decontare care gestionează procesarea plăților pe mai multe canale prin Alipay și WeChat Pay, alături de distribuția automată a comisioanelor și facturarea comercianților. Sistemul acoperă o gamă largă de operațiuni de retail, inclusiv gestionarea ierarhică a catalogului, distribuția automată a cupoanelor și urmărirea omnichannel a ciclului de viață al comenzilor. Include instrumente dedicate pentru arbitrajul disputelor, auditarea serviciilor post-vânzare și indexarea căutării fațetate a produselor. Implementarea este gestionată prin scripturi Docker și Compose pentru a facilita orchestrarea serviciilor API distribuite și a consumatorilor.

ShedLock este un manager de lock-uri distribuit conceput pentru a preveni rularea concurentă a sarcinilor programate pe mai multe noduri într-un sistem distribuit. Acționează ca un coordonator de sarcini care asigură execuția unică a joburilor temporizate prin gestionarea duratei de viață a lock-urilor și utilizarea furnizorilor externi de lock-uri. Sistemul utilizează furnizori bazați pe baze de date pentru a stoca stările de execuție a sarcinilor în baze de date externe, sincronizând lock-urile pe nodurile active ale clusterului. Include un sincronizator tolerant la clock-drift care gestionează discrepanțele de timp între nodurile distribuite prin utilizarea timestamp-urilor partajate și a duratelor de viață flexibile ale lock-urilor. Proiectul oferă mecanisme pentru excluderea reciprocă a resurselor partajate și coordonarea sarcinilor pe mai multe noduri. Suportă expirarea automată a lock-urilor pentru a preveni deadlocks-urile în timpul prăbușirii nodurilor și menține durate minime de deținere a lock-ului pentru a asigura finalizarea sarcinilor înainte ca un lock să fie eliberat. Implementarea utilizează o abstractizare agnostic-furnizor pentru a decupla logica de locking de diversele backend-uri de baze de date.

Oban is a distributed background job processing system and task scheduler that uses PostgreSQL for transactional job storage and reliable execution across multiple nodes. It serves as a PostgreSQL-backed background worker and job queue, coordinating task execution and concurrency through a relational database to ensure delivery guarantees. The system differentiates itself through a distributed workflow orchestrator capable of managing multi-step processing pipelines, dependent job sequencing, and shared context. It provides advanced orchestration tools including job batching, chunked processi

Good Job este un procesor de joburi în fundal pentru Ruby on Rails care utilizează o bază de date PostgreSQL ca motor principal de stocare. Prin valorificarea tranzacțiilor bazelor de date relaționale, asigură execuția persistentă și fiabilă a sarcinilor, integrându-se direct cu framework-ul Active Job pentru a gestiona operațiunile asincrone și programarea joburilor recurente în mediile de aplicație existente. Sistemul se distinge printr-un model de execuție in-process care permite worker-ilor din fundal să ruleze în același proces ca serverul web, simplificând deployment-ul prin eliminarea nevoii de servicii worker separate. Utilizează execuția worker-ilor multithreaded și lock-uri consultative la nivel de bază de date pentru a coordona sarcinile între procesele distribuite, asigurând execuția unică pentru joburile recurente și utilizarea eficientă a resurselor. Biblioteca oferă controale operaționale cuprinzătoare, inclusiv capacitatea de a grupa sarcini conexe în loturi pentru urmărirea colectivă a ciclului de viață și utilizarea inserției în masă pentru a optimiza ingestia sarcinilor de înaltă frecvență. Administratorii pot gestiona limitele de concurență, pot aloca pool-uri de thread-uri dedicate pentru cozi specifice și pot monitoriza starea sistemului printr-un dashboard web personalizabil și integrat. Proiectul include o interfață încorporată pentru inspectarea, pauzarea și depanarea sarcinilor în timp real, alături de retenția configurabilă a istoricului pentru audit și analiza performanței.

This project serves as a comprehensive technical guide and framework for building, deploying, and managing event-driven applications. It focuses on serverless architecture development, providing patterns and practices for implementing cloud-native services that execute code in response to triggers without requiring persistent server infrastructure. The repository distinguishes itself by offering a unified approach to polyglot runtime orchestration, allowing developers to manage components written in multiple programming languages within a single project. It emphasizes local cloud emulation, e