Awesome GitHub RepositoriesCluster Load Balancing

TiKV is a cloud-native distributed transactional key-value store and storage engine. It provides a distributed database designed for horizontal scalability and strong consistency across a cluster of physical nodes. The system uses a Raft-based consensus mechanism to maintain data availability and state synchronization. It ensures ACID compliance for distributed transactions through a two-phase commit workflow and manages data distribution via multi-Raft sharding. The engine handles massive datasets using automated range splitting and cluster load balancing to distribute data across different

FoundationDB is an ACID-compliant distributed transactional key-value store. It functions as a scalable database engine that ensures strict serializability and data consistency across a cluster of servers using a shared-nothing architecture. The system is distinguished by its multi-region replication capabilities, allowing data to be synchronized across different datacenters for high availability and disaster recovery. It utilizes optimistic concurrency control to manage distributed transactions and employs a majority-based coordination system to maintain cluster state. The platform provides

CMAK is a Kafka cluster management tool and web interface designed for the administration of brokers, topics, and partitions. It provides a centralized system for Kafka cluster governance, encompassing resource administration, access control, and data distribution optimization. The project features a management UI that allows for the creation, deletion, and update of topic configurations and partition counts. It includes a partition rebalancer for executing data reassignment and preferred replica elections to balance load across cluster nodes. The system provides observability through broker

Redis is a high-performance in-memory key-value store that functions as a distributed cache, message broker, and NoSQL database. It provides sub-millisecond read and write access to data stored in RAM and can operate as a vector database for indexing high-dimensional embeddings. The system supports a wide range of data storage and synchronization primitives, including the management of strings, hashes, lists, sets, and JSON documents. It enables real-time data operations through atomic transactions, hybrid persistence using snapshots and append-only logs, and high-availability configurations

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

KnowStreaming is a centralized Kafka cluster management platform that unifies multi-cluster federation, load balancing, disaster recovery, and resource governance through a web-based graphical interface. It provides a single control plane for administering brokers, topics, partitions, consumer groups, ACLs, and connectors across heterogeneous Kafka clusters without requiring CLI commands or agent deployment on brokers. The platform distinguishes itself through automated load balancing that redistributes partition leaders and replicas to eliminate hotspots and improve throughput, combined with

WVP-GB28181-Pro is a video surveillance platform built around the GB28181 standard, functioning as a streaming media server that manages GB28181-compliant cameras and NVRs. It also serves as a JT/T 808 vehicle gateway, bridging JT/T 808 and JT/T 1078 vehicle devices into the surveillance network, and acts as a multi-protocol video aggregator that unifies GB28181, JT/T 808, JT/T 1078, and ONVIF protocols under a single management interface. The platform supports NAT traversal for connecting devices across different network segments and ingests video from GB28181, ONVIF, and RTSP sources, output

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

GreptimeDB is a distributed, open-source time-series database built for unified observability. It stores and queries metrics, logs, and traces together in a single columnar engine, supporting both SQL and PromQL for analysis. The database is designed as a Kubernetes-native operator with a decoupled compute and storage architecture, enabling horizontal scaling and multi-region deployment. What distinguishes GreptimeDB is its role as a multi-protocol ingestion gateway, accepting data through OpenTelemetry, Prometheus Remote Write, InfluxDB, Loki, Elasticsearch, Kafka, and MQTT protocols without

CloudEvents is an open specification for describing event data in a common format across cloud platforms and services. It defines a standard structure and set of metadata attributes for events, enabling interoperability across different systems so producers and consumers can exchange events without custom translation. The specification provides a protocol-agnostic serialization framework that maps CloudEvents attributes and payloads to multiple serialization formats including JSON, Avro, and Protobuf, and defines transport bindings for mapping events onto protocols like HTTP, AMQP, Kafka, MQTT

Descheduler este un rebalansator de workload-uri și manager de evacuare a pod-urilor pentru Kubernetes, conceput pentru a optimiza distribuția resurselor și a menține stabilitatea clusterului. Acesta identifică și elimină pod-urile care nu mai îndeplinesc constrângerile de programare sau cerințele de sănătate, permițând clusterului să le relocheze pe noduri mai potrivite. Proiectul oferă capabilități specializate pentru echilibrarea utilizării resurselor nodurilor, impunerea constrângerilor de răspândire a topologiei și eliminarea pod-urilor duplicate pentru a îmbunătăți distribuția. De asemenea, funcționează ca un ajutor pentru autoscaler prin compactarea workload-urilor pe mai puține noduri, facilitând reducerea infrastructurii neutilizate. Sistemul acoperă o gamă largă de sarcini de mentenanță, inclusiv curățarea pod-urilor eșuate, instabile sau vechi și impunerea regulilor de afinitate și taint pentru noduri. Include mecanisme de siguranță precum validarea compatibilității de programare pentru a asigura că pod-urile pot fi reprogramate înainte de evacuare, filtrare bazată pe label-uri pentru a proteja workload-urile critice și un mod dry-run pentru previzualizarea modificărilor. Utilitarul poate fi implementat ca un proces continuu în fundal sau ca un cron job recurent și suportă înaltă disponibilitate prin alegerea liderului (leader election).

Volcano is a Kubernetes-native batch scheduler specialized for AI, machine learning, and high-performance computing workloads. It provides gang scheduling to atomically allocate resources for all tasks of a distributed job, preventing deadlocks from partial allocation, and supports hierarchical queue management for multi-tenant resource isolation with configurable quotas, borrowing, and preemption. Topology-aware placement optimizes communication-intensive workloads by modeling network hierarchy to minimize cross-switch latency. Volcano differentiates itself with automated orchestration of di

FastStream is an asynchronous Python framework designed for building event-driven microservices. It provides a unified abstraction layer for interacting with various message brokers, enabling developers to manage event production and consumption through a consistent interface while maintaining access to native provider-specific features. The framework centers on a decorator-based routing model that binds application logic directly to broker topics, supported by a built-in dependency injection container that resolves resources at runtime. The framework distinguishes itself through its deep int

GlusterFS este un sistem de fișiere distribuit definit prin software și un cluster de stocare scale-out care agregă resursele de disc de la mai multe servere într-un singur namespace global. Funcționează ca o platformă de stocare unificată, permițând ca aceleași date subiacente să fie expuse prin interfețe de stocare de fișiere, bloc și obiect. Sistemul se distinge printr-o arhitectură descentralizată care utilizează hashing consistent pentru a distribui fișierele pe nodurile de rețea fără un server de metadate central. Asigură integritatea și disponibilitatea datelor folosind replicarea self-healing, consistența bazată pe cvorum pentru a preveni scenariile de split-brain și geo-replicarea asincronă pentru recuperarea în caz de dezastru în locații geografice îndepărtate. Platforma oferă o acoperire largă a capabilităților prin exportul de stocare multi-protocol via NFS, Samba și iSCSI, precum și gestionarea cuprinzătoare a volumelor, inclusiv snapshot-uri point-in-time, cote de stocare și expansiunea elastică a capacității. Securitatea este gestionată prin criptare TLS pentru datele în tranzit, integrarea gestionării identității și controlul granular al accesului POSIX. Software-ul este disponibil ca pachete binare prin repository-urile comunității pentru diverse distribuții Linux.

Akka.NET is an actor model framework used for building concurrent and distributed applications. It functions as a distributed computing platform and state manager that enables isolated actors to communicate via asynchronous message passing, ensuring thread-safe state management without manual locks. The project is distinguished by its decentralized coordination capabilities, including a distributed state manager that uses sharding and dynamic rebalancing to maintain high availability. It incorporates an event sourcing engine that persists state as a sequence of events in an append-only log an

m3 is a distributed time series database designed for high-resolution metrics and high-cardinality data management. It functions as a scalable storage system and a multi-cluster query engine, providing a distributed metrics aggregator capable of downsampling and summarizing data before it is committed to storage. The project distinguishes itself through a coordinated cluster model using etcd for node membership and shard placement. It supports multiple ingestion protocols, including the Prometheus remote write protocol, InfluxDB line protocol, and Graphite Carbon plaintext protocol, and provi

Zeebe este un motor de workflow cloud-native și o mașină de stare distribuită concepută pentru orchestrarea proceselor de business folosind standardele BPMN și DMN. Operează ca un runtime de workflow gRPC de înaltă performanță care execută procese de business complexe printr-o arhitectură de event-streaming partiționată. Sistemul funcționează, de asemenea, ca un orchestrator pentru agenți de tip LLM, coordonând raționamentul AI și utilizarea instrumentelor în cadrul proceselor de business deterministe. Motorul se distinge prin rețeaua de brokeri peer-to-peer și un model de replicare a datelor bazat pe consens care asigură disponibilitate ridicată și toleranță la erori. Utilizează un cluster de brokeri partiționat pentru a obține scalabilitate orizontală și utilizează backpressure adaptiv pentru a regla fluxul de comenzi primite și a preveni supraîncărcarea sistemului. Platforma acoperă o suprafață largă de capabilități operaționale, inclusiv monitorizarea execuției în timp real cu hărți termice de performanță, luarea deciziilor de business automate prin tabele de decizie și execuția distribuită a sarcinilor printr-un model de job worker bazat pe polling. Oferă, de asemenea, instrumente pentru izolarea resurselor multi-tenant, controlul accesului bazat pe identitate și integrarea API-urilor web externe și a funcțiilor serverless. Sistemul poate fi implementat în diverse medii, inclusiv Kubernetes și Docker, și este gestionat printr-o combinație de interfață în linie de comandă și API REST programatic.

go-fastdfs este un sistem de fișiere distribuit și un server de stocare de obiecte conceput pentru construirea de stocare în cloud privat. Oferă o implementare de stocare compatibilă cu FastDFS care gestionează clustere de noduri de stocare pentru a gestiona încărcări și descărcări de fișiere la scară largă. Sistemul se concentrează pe disponibilitate ridicată printr-o arhitectură descentralizată care sincronizează automat datele și repară defecțiunile între mai multe mașini fără un coordonator central. Suportă în mod specific stocarea fișierelor cu reluare prin HTTP, permițând transferurilor mari să fie întrerupte și reluate de la ultimul octet reușit pentru a gestiona instabilitatea rețelei. Capabilitățile de bază includ optimizarea resurselor de stocare prin deduplicarea conținutului bazată pe SHA1 și îmbinarea fișierelor mici pentru a reduce consumul de inode-uri al sistemului de fișiere. Proiectul încorporează, de asemenea, un pipeline de procesare a imaginilor care efectuează scalarea și redimensionarea dinamică a imaginilor în timpul procesului de descărcare și securizează accesul la fișiere folosind autentificarea bazată pe token-uri. Sistemul poate fi implementat prin containere Docker.

RavenDB is a multi-model NoSQL document database designed for high-performance, ACID-compliant data storage. It persists structured information as schema-flexible JSON documents and utilizes a unit-of-work session pattern to track entity changes and batch modifications into atomic transactions. The platform is built on a distributed architecture that supports horizontal scaling through sharding and ensures high availability via multi-node, master-to-master cluster replication. The database distinguishes itself through a self-optimizing query engine that automatically creates and maintains ind

TinyKV este un magazin distribuit de tip cheie-valoare conceput pentru stocarea și preluarea datelor pe mai multe noduri cu disponibilitate ridicată. Acesta funcționează ca un sistem de baze de date distribuit care încorporează un motor de stocare cheie-valoare dedicat pentru persistența și preluarea datelor brute pe noduri individuale. Proiectul include un motor de consens Raft pentru a asigura consistența datelor și toleranța la erori într-un cluster de servere. Dispune, de asemenea, de un manager de tranzacții distribuit care coordonează commit-urile atomice și controlul concurenței pentru a menține integritatea datelor pe shard-uri. Sistemul acoperă gestionarea apartenenței la cluster, inclusiv alegerile de leadership și sharding-ul datelor pentru a echilibra sarcinile. Implementează gestionarea tranzacțiilor distribuite și un motor de consens bazat pe replicare pentru a menține stabilitatea stării.