Awesome GitHub RepositoriesDistributed Task Coordination

This project is a remote file transfer server and asynchronous download orchestrator. It functions as a backend service that manages a queue of remote file transfer requests to coordinate the download of files from the web to a remote storage destination. The system operates as a distributed download coordinator, scheduling and tracking the progress of file transfers across different network nodes. It routes data requests from a client to a remote file system and utilizes asynchronous task execution to process heavy file operations in the background. The server includes capabilities for queu

Jeesite is a full-stack low-code development framework designed for building enterprise administrative portals using Spring Boot, MyBatis, and Vue. It functions as a comprehensive platform for creating administrative dashboards with integrated role-based access control and organizational data permission systems. The framework distinguishes itself through a combination of automated CRUD code generation and an integrated RAG platform that connects large language models to enterprise data via vector stores. It further incorporates a BPMN-based workflow engine to automate complex business process

This project is an Android RPA framework designed for automating user interfaces and system tasks on rooted Android devices using Python and ADB. It provides a suite of tools for rooted device management, allowing for programmatic control of system settings, application lifecycles, and shell command execution via a remote API. The framework distinguishes itself through a combination of dynamic instrumentation and AI integration. It can inject scripts into running processes to hook Java interfaces and modifies application behavior in real time. Additionally, it supports large language model in

Quartz is a Java job scheduling framework and task execution engine designed to manage and execute scheduled tasks within application environments. It functions as an enterprise job scheduler that persists job state and execution history to maintain reliability across system restarts. The system distinguishes itself through a decoupled architecture that separates the definition of a job's action from the trigger logic that determines when it runs. It supports distributed task coordination across multiple server nodes to provide high availability and load balancing. The framework covers a bro

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Certmagic ist eine Go-Bibliothek für die Automatisierung der Ausstellung und Erneuerung von TLS-Zertifikaten. Sie fungiert als automatischer HTTPS-Provisioner und ACME-Client, der den gesamten Lebenszyklus von Zertifikaten handhabt, um eine sichere Konnektivität ohne manuelles Eingreifen zu gewährleisten. Die Bibliothek zeichnet sich durch ihre Unterstützung für On-Demand-TLS-Provisioning aus, das Zertifikate dynamisch während des TLS-Handshakes basierend auf dem Servernamen generiert. Sie bietet zudem Automatisierung für Wildcard-Zertifikate durch DNS-Challenge-Verifizierung und integriert sich in die ZeroSSL-API für den Zertifikatserwerb. Das Projekt deckt ein breites Spektrum an Funktionen ab, einschließlich ACME-Challenge-Auflösung, automatisierter Erneuerungsplanung und Zertifikatswiderruf. Es verwaltet die Datenpersistenz durch austauschbare Speicher-Backends und implementiert verteiltes Sperren und Synchronisierung, um das Zertifikatsmanagement über Servercluster hinweg zu koordinieren. Zusätzliche Funktionalität umfasst OCSP-Stapling, In-Memory-Caching und die Generierung von TLS-Konfigurationen für benutzerdefinierte Server.

Superalgos ist eine Plattform für algorithmischen Handel mit Kryptowährungen, die für das Design, Backtesting und Deployment automatisierter Trading-Bots verwendet wird. Sie konzentriert sich auf einen visuellen Strategie-Designer, der es Benutzern ermöglicht, Indikatoren und Handelslogik über eine grafische Oberfläche zu erstellen, anstatt manuellen Code zu schreiben. Die Plattform verfügt über ein Token-gesteuertes Signalnetzwerk, das einen dezentralen Marktplatz für die Übertragung und Monetarisierung von Handelsintelligenz ermöglicht. Der Zugriff auf diese Signale und Vorhersagen wird über digitale Token und Reputations-Scores verwaltet, während eine verteilte Handelsinfrastruktur es Benutzern ermöglicht, Data Mining und hochvolumige Ausführungen über ein Netzwerk mehrerer Server hinweg zu koordinieren. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich historischer Backtesting-Engines, automatisiertem Marktdaten-Mining und Live-Handelsausführung. Es integriert Machine Learning für die Mustererkennung und bietet visuelle Debugging-Tools, um den internen Laufzeitzustand aktiver Bots zu verfolgen. Die Infrastruktur unterstützt selbst gehostete Deployments, was es Benutzern ermöglicht, die Umgebung lokal zu betreiben, um die Kontrolle über Gelder, Schlüssel und Strategien zu behalten.

Okdownload ist eine Multi-Threaded-HTTP-Download-Engine und Transfer-Bibliothek für gleichzeitige Dateidownloads. Sie fungiert als fortsetzbarer Datei-Downloader, der einzelne Dateien zur Erhöhung des Netzwerkdurchsatzes und der Übertragungsgeschwindigkeit in mehrere Blöcke für die parallele Verarbeitung aufteilt. Das System zeichnet sich durch ein Builder-basiertes Komponenten-Injektions-Framework und ein Strategie-Muster aus, das benutzerdefinierte Download-Engines ermöglicht. Entwickler können Standard-Storage- und Verbindungsmodule ersetzen oder die Logik für Block-Splitting und Dateinamen-Generierung überschreiben. Die Bibliothek bietet eine umfassende Queue-Orchestrierung, einschließlich prioritätsbasierter Task-Planung und globalem Concurrency-Management zur Regulierung des Netzwerk-Traffics. Die Zuverlässigkeit wird durch Breakpoint-Tracking für die Wiederaufnahme unterbrochener Downloads, Disk-Pre-Allocation und Content-Integrity-Validierung sichergestellt. Monitoring-Funktionen umfassen die Echtzeit-Berechnung der Übertragungsgeschwindigkeit und ein Multi-Listener-Event-System zur Fortschrittsverfolgung.

Dramatiq is a distributed task queue and workload manager used to offload function execution to background workers. It functions as an asynchronous task orchestrator that enables the distribution of computational tasks across a cluster using a pluggable transport layer supporting RabbitMQ and Redis. The framework provides specialized tools for complex task orchestration, including the ability to link background jobs into sequences, pipelines, and barriers. It further manages distributed concurrency through the use of shared mutexes, rate limiters, and exponential backoff retries to prevent re

Athens is a Go module proxy server and dependency cache that provides a persistent storage system for Go dependencies. It acts as a mirror and datastore to ensure reproducible build environments by storing immutable copies of external packages, protecting against upstream deletions or outages. The project distinguishes itself by serving as a secure gateway for private Go module hosting, utilizing authentication tokens, SSH keys, and GitHub Apps to retrieve dependencies from private version control systems. It further enables software dependency compliance through request filtering and checksu

YDB ist eine verteilte SQL-Datenbank und analytische Engine, die auf horizontale Skalierbarkeit und starke Konsistenz ausgelegt ist. Sie fungiert als Multi-Model-System, das transaktionale und analytische Workloads durch eine verteilte Architektur unterstützt, die serialisierbare ACID-Transaktionen bietet. Das System zeichnet sich durch seine breite Protokollkompatibilität aus und implementiert das PostgreSQL-Wire-Protokoll für Standard-SQL-Treiber sowie das Kafka-Protokoll für Messaging und Streaming. Es dient zudem als Vektordatenbank und unterstützt Vektorindizes sowie die Suche nach ungefähren nächsten Nachbarn (Approximate Nearest Neighbor) für semantische Suche und Embeddings. Die Plattform verwaltet Daten unter Verwendung eines hybriden Speichermodells mit zeilen- und spaltenorientierten Formaten und nutzt vektorisierte Abfrageausführung für Analysen im Petabyte-Maßstab. Ihr operativer Bereich umfasst Change-Data-Capture-Streaming, persistente Queues mit Exactly-Once-Garantie und Multi-Zone-Hochverfügbarkeit. Deployment und Lebenszyklusmanagement werden durch einen Kubernetes-Operator und Infrastructure-as-Code-Provisioning unterstützt.

Dkron is a distributed, fault-tolerant system designed for scheduling and executing recurring tasks across a cluster of nodes. It functions as a cron-based orchestrator that manages job lifecycles, including automatic retries, timeouts, and complex dependencies, while ensuring state consistency through a consensus protocol. By coordinating remote task execution across infrastructure, it enables the automation of background operations and the management of distributed workflows. The system distinguishes itself through a modular architecture that supports pluggable storage backends and a plugin

Jupiter ist eine umfassende Suite für Task-Scheduling, Performance-Observability, Service-Governance, Projekt-Bootstrapping und Abhängigkeitsanalyse innerhalb von Service-Meshes. Sie bietet ein Microservice-Governance-Framework zur Verwaltung von Service-Discovery, Load-Balancing und Kommunikation über verteilte Systeme hinweg. Das Projekt zeichnet sich durch ein Service-Mesh-Management-Tool aus, das Service-Abhängigkeiten analysiert und die Registrierung in mehreren Rechenzentren sowie die Laufzeitkonfiguration verwaltet. Es enthält einen dedizierten Microservice-Projekt-Bootstrapper über ein Command-Line-Tool, um standardisierte Projektstrukturen für die Erstellung und Bereitstellung neuer Dienste zu generieren. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich verteiltem Tracing und Monitoring zum Sammeln von Latenz- und Fehlermetriken, einem verteilten Task-Scheduler zur Koordination zeitgesteuerter Aufgaben über Serverinstanzen hinweg sowie zentralisierter Konfigurations- und Berechtigungsverwaltung. Es bietet zudem Laufzeit-Performance-Profiling durch Echtzeit-Sampling und standardisierte Fehlercode-Trennung, um die Ursachenanalyse zu beschleunigen.

Redsync ist ein verteilter Lock-Manager und eine Go-Redis-Client-Erweiterung, die für den exklusiven Zugriff auf gemeinsam genutzte Ressourcen entwickelt wurde. Sie implementiert gegenseitigen Ausschluss (Mutual Exclusion) über mehrere Prozesse hinweg, indem sie ein Redis-Backend zur Koordinierung der Synchronisation nutzt und Race Conditions in verteilten Umgebungen verhindert. Die Bibliothek stellt die Gültigkeit von Locks durch einen quorum-basierten Konsens sicher, der erfolgreiche Schreibvorgänge auf einer Mehrheit unabhängiger Redis-Knoten erfordert. Sie verwendet Lua-skriptbasierte atomare Operationen für das Sperren und Freigeben, während sie wertbasierte Eigentumsvalidierung und Time-to-Live-Ablaufzeiten einsetzt, um Deadlocks zu vermeiden. Das Projekt bietet Funktionen für verteilte Koordinierung und Anwendungssynchronisation und nutzt clientseitiges Retry-Polling, um Timeouts bei der Ressourcenbeschaffung zu verwalten.

Diese Bibliothek bietet ein Task-Scheduling-Framework für Node.js-Anwendungen, das die Automatisierung wiederkehrender Operationen mittels Standard-Cron-Syntax ermöglicht. Sie fungiert als Hintergrund-Task-Manager, der eine zustandsbehaftete Registrierung von Jobs unterhält und so die Laufzeitinspektion, Modifikation und Lebenszykluskontrolle geplanter Operationen ermöglicht. Das Projekt zeichnet sich durch Unterstützung für verteilte Umgebungen und Ressourcenmanagement aus. Es enthält Mechanismen zur Koordination von Aufgaben über mehrere Anwendungsinstanzen hinweg, um sicherzustellen, dass geplante Arbeit genau einmal ausgeführt wird und Überschneidungen oder Ressourcenkonflikte vermieden werden. Um die Reaktionsfähigkeit der Anwendung zu erhalten, können ressourcenintensive Logiken in isolierte Kindprozesse ausgelagert werden, wodurch verhindert wird, dass der Main Event Loop während schwerer Ausführungen blockiert. Die Bibliothek bietet eine umfassende Suite von Observability- und Konfigurationstools, einschließlich ereignisgesteuerter Lebenszyklusüberwachung, zeitzonenbewusster Zeitplanung und Ausführungszeitmanagement. Sie arbeitet als Zero-Dependency-Runtime, was die Angriffsfläche minimiert und die Integration in eingeschränkte Umgebungen vereinfacht.

This project is a distributed scraping engine designed to extract business details, customer reviews, and lead information from Google Maps. It functions as a business scraper and data extractor that can be deployed as a permanent system or as on-demand serverless functions. The system utilizes a proxy-routed web crawler to manage request origins via SOCKS5, HTTP, and HTTPS proxies. To locate contact information, it includes an email extraction tool that recursively crawls business websites linked within map listings. The software supports coordinate-based radius searches for efficient data

nq is a daemonless job orchestrator and POSIX shell task manager that manages asynchronous command execution on Unix systems. It functions as a command line job queue using directories and file-system locks to coordinate background processes across multiple terminal sessions. The system distinguishes itself by utilizing file-system-based locking to ensure sequential job execution without requiring a resident background daemon. It enables shared queue coordination, allowing different terminal sessions to synchronize work by directing tasks to specific directories. The project covers backgroun

Rueidis is a high-performance Redis client library for Go that provides a type-safe and asynchronous interface for interacting with Redis servers. It includes a full implementation of the Redis serialization protocol and a dedicated connection manager to handle pooling, multiplexing, and automatic pipelining. The library is distinguished by its support for RDMA connectivity to reduce latency and CPU overhead. It features a distributed lock manager that implements majority-based locking and optimistic concurrency control, as well as client-side caching with invalidation signals to minimize net

userver is a comprehensive C++ backend application platform and asynchronous framework designed for building scalable microservices. It provides a high-performance execution environment for deploying services that communicate via gRPC and HTTP using a middleware-based request pipeline. The platform distinguishes itself through a distributed service orchestration toolset that manages shared state, distributed locking, and dynamic configuration updates without requiring process restarts. It utilizes a coroutine-based asynchronous execution model and event-loop network I/O to handle high-concurr

Stealth is a distributed automation engine designed for headless browser orchestration, web scraping, and decentralized network coordination. It functions as a peer-to-peer framework that enables multiple nodes to align automated tasks, share cached web resources, and route traffic through a decentralized proxy architecture. By abstracting the underlying browser implementation, the project provides a unified interface for executing navigation and data extraction workflows across diverse environments. The platform distinguishes itself through its ability to synchronize browser sessions and aut