Awesome GitHub RepositoriesDistributed Task Coordination

This project is a remote file transfer server and asynchronous download orchestrator. It functions as a backend service that manages a queue of remote file transfer requests to coordinate the download of files from the web to a remote storage destination. The system operates as a distributed download coordinator, scheduling and tracking the progress of file transfers across different network nodes. It routes data requests from a client to a remote file system and utilizes asynchronous task execution to process heavy file operations in the background. The server includes capabilities for queu

Jeesite is a full-stack low-code development framework designed for building enterprise administrative portals using Spring Boot, MyBatis, and Vue. It functions as a comprehensive platform for creating administrative dashboards with integrated role-based access control and organizational data permission systems. The framework distinguishes itself through a combination of automated CRUD code generation and an integrated RAG platform that connects large language models to enterprise data via vector stores. It further incorporates a BPMN-based workflow engine to automate complex business process

This project is an Android RPA framework designed for automating user interfaces and system tasks on rooted Android devices using Python and ADB. It provides a suite of tools for rooted device management, allowing for programmatic control of system settings, application lifecycles, and shell command execution via a remote API. The framework distinguishes itself through a combination of dynamic instrumentation and AI integration. It can inject scripts into running processes to hook Java interfaces and modifies application behavior in real time. Additionally, it supports large language model in

Quartz is a Java job scheduling framework and task execution engine designed to manage and execute scheduled tasks within application environments. It functions as an enterprise job scheduler that persists job state and execution history to maintain reliability across system restarts. The system distinguishes itself through a decoupled architecture that separates the definition of a job's action from the trigger logic that determines when it runs. It supports distributed task coordination across multiple server nodes to provide high availability and load balancing. The framework covers a bro

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Certmagic este o bibliotecă Go pentru automatizarea emiterii și reînnoirii certificatelor TLS. Funcționează ca un provizionator automat HTTPS și client ACME care gestionează întregul ciclu de viață al certificatelor pentru a asigura conectivitatea securizată fără intervenție manuală. Biblioteca se distinge prin suportul pentru provizionarea TLS la cerere, care generează certificate dinamic în timpul handshake-ului TLS pe baza numelui serverului. De asemenea, oferă automatizare pentru certificate wildcard prin verificarea provocărilor DNS și se integrează cu API-ul ZeroSSL pentru achiziția certificatelor. Proiectul acoperă o gamă largă de capabilități, inclusiv rezolvarea provocărilor ACME, programarea reînnoirii automate și revocarea certificatelor. Gestionează persistența datelor prin backend-uri de stocare pluggable și implementează blocarea și sincronizarea distribuită pentru a coordona gestionarea certificatelor pe clusterele de servere. Funcționalitățile suplimentare includ OCSP stapling, caching în memorie și generarea de configurații TLS pentru servere personalizate.

Superalgos este o platformă de tranzacționare algoritmică de criptomonede utilizată pentru proiectarea, backtesting-ul și implementarea boților de tranzacționare automatizați. Se concentrează pe un designer vizual de strategii care permite utilizatorilor să creeze indicatori și logică de tranzacționare printr-o interfață grafică în loc să scrie cod manual. Platforma dispune de o rețea de semnale token-gated care permite o piață descentralizată pentru difuzarea și monetizarea inteligenței de tranzacționare. Accesul la aceste semnale și predicții este gestionat prin token-uri digitale și scoruri de reputație, în timp ce o infrastructură de tranzacționare distribuită permite utilizatorilor să coordoneze data mining-ul și execuția de mare volum într-o rețea de mai multe servere. Sistemul acoperă o gamă largă de capabilități, inclusiv motoare de backtesting istoric, data mining automatizat al pieței și execuția tranzacțiilor live. Încorporează machine learning pentru recunoașterea tiparelor și oferă instrumente vizuale de depanare pentru a urmări starea internă de runtime a boților activi. Infrastructura suportă deployment-uri self-hosted, permițând utilizatorilor să ruleze mediul local pentru a menține controlul asupra fondurilor, cheilor și strategiilor.

Okdownload este un motor de descărcare HTTP multi-threaded și o bibliotecă de transfer concepută pentru descărcarea concurentă a fișierelor. Acesta funcționează ca un downloader de fișiere reluabil care împarte fișierele unice în blocuri multiple pentru procesare simultană, pentru a crește throughput-ul rețelei și vitezele de transfer. Sistemul se distinge printr-un framework de injecție a componentelor bazat pe builder și un pattern de strategie care permite motoare de descărcare personalizate. Dezvoltatorii pot înlocui modulele implicite de stocare și conexiune sau pot suprascrie logica utilizată pentru împărțirea blocurilor și generarea numelor de fișiere. Biblioteca oferă orchestrare cuprinzătoare a cozilor, inclusiv programarea task-urilor bazată pe prioritate și gestionarea globală a concurenței pentru a regla traficul de rețea. Fiabilitatea este gestionată prin urmărirea breakpoint-urilor pentru reluarea descărcărilor întrerupte, pre-alocarea discului și validarea integrității conținutului. Capabilitățile de monitorizare includ calcularea vitezei de transfer în timp real și un sistem de evenimente multi-listener pentru urmărirea progresului.

Dramatiq is a distributed task queue and workload manager used to offload function execution to background workers. It functions as an asynchronous task orchestrator that enables the distribution of computational tasks across a cluster using a pluggable transport layer supporting RabbitMQ and Redis. The framework provides specialized tools for complex task orchestration, including the ability to link background jobs into sequences, pipelines, and barriers. It further manages distributed concurrency through the use of shared mutexes, rate limiters, and exponential backoff retries to prevent re

Athens is a Go module proxy server and dependency cache that provides a persistent storage system for Go dependencies. It acts as a mirror and datastore to ensure reproducible build environments by storing immutable copies of external packages, protecting against upstream deletions or outages. The project distinguishes itself by serving as a secure gateway for private Go module hosting, utilizing authentication tokens, SSH keys, and GitHub Apps to retrieve dependencies from private version control systems. It further enables software dependency compliance through request filtering and checksu

YDB este o bază de date SQL distribuită și un motor analitic conceput pentru scalabilitate orizontală și consistență puternică. Funcționează ca un sistem multi-model care suportă workload-uri tranzacționale și analitice printr-o arhitectură distribuită care oferă tranzacții ACID serializabile. Sistemul se distinge prin compatibilitatea sa largă cu protocoalele, implementând protocolul PostgreSQL pentru driverele SQL standard și protocolul Kafka pentru mesagerie și streaming. Servește, de asemenea, ca o bază de date vectorială, suportând indecși vectoriali și căutări de tip approximate nearest neighbor pentru căutări semantice și embeddings. Platforma gestionează datele folosind un model de stocare hibrid cu formate orientate pe rânduri și pe coloane, utilizând execuția interogărilor vectorizate pentru analize la scară de petabytes. Suprafața sa operațională include streaming de tip change data capture, cozi persistente de tip exactly-once și disponibilitate ridicată multi-zonă. Deployment-ul și gestionarea ciclului de viață sunt susținute printr-un operator Kubernetes și provizionarea de tip infrastructure-as-code.

Dkron is a distributed, fault-tolerant system designed for scheduling and executing recurring tasks across a cluster of nodes. It functions as a cron-based orchestrator that manages job lifecycles, including automatic retries, timeouts, and complex dependencies, while ensuring state consistency through a consensus protocol. By coordinating remote task execution across infrastructure, it enables the automation of background operations and the management of distributed workflows. The system distinguishes itself through a modular architecture that supports pluggable storage backends and a plugin

Jupiter este o suită cuprinzătoare pentru programarea sarcinilor, observabilitatea performanței, guvernanța serviciilor, bootstrapping-ul proiectelor și analiza dependențelor în cadrul service mesh-urilor. Oferă un framework de guvernanță a microserviciilor pentru a gestiona descoperirea serviciilor, load balancing-ul și comunicarea în sistemele distribuite. Proiectul se distinge printr-un instrument de gestionare a service mesh-ului care analizează dependențele serviciilor și gestionează înregistrarea multi-data center și configurarea la runtime. Include un bootstrapper dedicat pentru proiecte de microservicii printr-un instrument în linie de comandă pentru a genera structuri de proiect standardizate pentru crearea și desfășurarea de noi servicii. Sistemul acoperă o gamă largă de capabilități, inclusiv tracing-ul distribuit și monitorizarea pentru colectarea metricilor de latență și eroare, un scheduler distribuit de sarcini pentru coordonarea sarcinilor temporizate pe instanțe de server și gestionarea centralizată a configurațiilor și permisiunilor. Oferă, de asemenea, profilarea performanței la runtime prin eșantionare în timp real și separarea standardizată a codurilor de eroare pentru a accelera analiza cauzei rădăcină.

Redsync este un manager de lock-uri distribuite și o extensie de client Redis pentru Go, creată pentru a asigura accesul exclusiv la resurse partajate. Acesta implementează excluderea mutuală între mai multe procese folosind un backend Redis pentru a coordona sincronizarea și a preveni condițiile de cursă (race conditions) în medii distribuite. Biblioteca menține validitatea lock-urilor prin consens bazat pe cvorum, necesitând scrieri reușite către o majoritate de noduri Redis independente. Utilizează operațiuni atomice prin scripturi Lua pentru achiziție și eliberare, folosind totodată validarea proprietății bazată pe valori și expirarea de tip time-to-live pentru a preveni blocajele (deadlocks). Proiectul oferă capabilități pentru coordonare distribuită și sincronizarea aplicațiilor, utilizând polling cu reîncercare pe partea de client pentru a gestiona timeout-urile de achiziție a resurselor.

Această bibliotecă oferă un framework de programare a sarcinilor pentru aplicații Node.js, permițând automatizarea operațiunilor recurente folosind sintaxa cron standard. Funcționează ca un manager de sarcini în fundal care menține un registru cu stare (stateful) al joburilor, permițând inspecția la runtime, modificarea și controlul ciclului de viață al operațiunilor programate. Proiectul se distinge prin suportul pentru medii distribuite și gestionarea resurselor. Include mecanisme pentru a coordona sarcinile între mai multe instanțe de aplicație, asigurând că munca programată se execută exact o dată pentru a preveni suprapunerea sau conflictul de resurse. Pentru a menține responsivitatea aplicației, poate descărca logica intensivă în resurse în procese copil izolate, prevenind blocarea main event loop-ului în timpul execuției grele. Biblioteca oferă o suită cuprinzătoare de instrumente de observabilitate și configurare, inclusiv monitorizarea ciclului de viață bazată pe evenimente, programare conștientă de fusul orar și gestionarea timpului de execuție. Funcționează ca un runtime fără dependențe, ceea ce minimizează suprafața de atac de securitate și simplifică integrarea în medii restricționate.

This project is a distributed scraping engine designed to extract business details, customer reviews, and lead information from Google Maps. It functions as a business scraper and data extractor that can be deployed as a permanent system or as on-demand serverless functions. The system utilizes a proxy-routed web crawler to manage request origins via SOCKS5, HTTP, and HTTPS proxies. To locate contact information, it includes an email extraction tool that recursively crawls business websites linked within map listings. The software supports coordinate-based radius searches for efficient data

nq is a daemonless job orchestrator and POSIX shell task manager that manages asynchronous command execution on Unix systems. It functions as a command line job queue using directories and file-system locks to coordinate background processes across multiple terminal sessions. The system distinguishes itself by utilizing file-system-based locking to ensure sequential job execution without requiring a resident background daemon. It enables shared queue coordination, allowing different terminal sessions to synchronize work by directing tasks to specific directories. The project covers backgroun

Rueidis is a high-performance Redis client library for Go that provides a type-safe and asynchronous interface for interacting with Redis servers. It includes a full implementation of the Redis serialization protocol and a dedicated connection manager to handle pooling, multiplexing, and automatic pipelining. The library is distinguished by its support for RDMA connectivity to reduce latency and CPU overhead. It features a distributed lock manager that implements majority-based locking and optimistic concurrency control, as well as client-side caching with invalidation signals to minimize net

userver is a comprehensive C++ backend application platform and asynchronous framework designed for building scalable microservices. It provides a high-performance execution environment for deploying services that communicate via gRPC and HTTP using a middleware-based request pipeline. The platform distinguishes itself through a distributed service orchestration toolset that manages shared state, distributed locking, and dynamic configuration updates without requiring process restarts. It utilizes a coroutine-based asynchronous execution model and event-loop network I/O to handle high-concurr

Stealth is a distributed automation engine designed for headless browser orchestration, web scraping, and decentralized network coordination. It functions as a peer-to-peer framework that enables multiple nodes to align automated tasks, share cached web resources, and route traffic through a decentralized proxy architecture. By abstracting the underlying browser implementation, the project provides a unified interface for executing navigation and data extraction workflows across diverse environments. The platform distinguishes itself through its ability to synchronize browser sessions and aut