Awesome GitHub RepositoriesDistributed Database Clusters

Milvus is a specialized vector database engine designed for the indexing, management, and high-speed similarity retrieval of high-dimensional vector embeddings. It functions as a similarity search engine capable of identifying nearest neighbors within large-scale vector spaces, supporting the storage and retrieval of billions of data points while maintaining consistent performance. The system utilizes a distributed architecture that decouples storage, query, and coordination into independent services, allowing for horizontal scaling across clusters. It employs a global indexing mechanism that

This project is a feature-rich Go client library designed for interacting with Redis. It serves as a comprehensive interface for managing remote data stores, enabling developers to execute standard database commands, handle complex data structures, and perform asynchronous operations within Go applications. The library distinguishes itself through its support for advanced Redis capabilities, including connection pooling, pipelining, and transactional integrity. It provides specialized primitives for managing distributed clusters, including automated topology updates and request routing to sha

Dgraph is a distributed graph database designed to store and query highly connected data. It organizes information as nodes and edges to represent complex relationships between entities, providing a platform for managing and analyzing deeply linked datasets. The system functions as a horizontally scalable cluster that partitions data across multiple nodes to maintain performance and availability as information volume increases. It utilizes a specialized query language built for low-latency navigation of interconnected data points, allowing for the execution of complex queries across large-sca

TigerBeetle is a distributed financial accounting database designed for high-volume transaction processing. It functions as a specialized transaction engine that enforces strict double-entry bookkeeping invariants, ensuring that every debit and credit is balanced and accounted for with absolute consistency. By utilizing a consensus-based replication model, the system provides high availability and data durability across geographically distributed clusters, making it suitable for mission-critical financial infrastructure. The system distinguishes itself through a performance-oriented architect

Codis is a distributed proxy system designed for scaling Redis clusters. It provides a sharding proxy that distributes data across multiple instances and a cluster manager to oversee the environment. The system enables horizontal scaling through dynamic resharding, which allows data slots to be migrated between servers without interrupting operations. It supports multi-key atomic operations using hash tags to ensure related keys are routed to the same server. The platform includes a graphical cluster management dashboard for monitoring and administration. It implements high availability prox

The AWS Cloud Development Kit is an infrastructure-as-code framework that enables developers to define and provision cloud resources using familiar programming languages. By utilizing construct-based synthesis, it translates high-level, object-oriented code into declarative templates, allowing for the automated management of complex cloud environments through a centralized, code-driven control plane. The framework distinguishes itself through its ability to model infrastructure as a dependency-aware resource graph, ensuring that components are provisioned and updated in the correct order. It

YugabyteDB is a distributed SQL database and relational data store designed for horizontal scalability and high availability across multiple nodes or regions. It functions as a cloud-native system that ensures continuous availability and supports PostgreSQL compatible query languages and drivers. The system includes specialized capabilities as a vector database for AI, utilizing high-dimensional indexing to perform similarity searches. It is engineered as a multi-region cloud database that synchronizes data across different geographic locations to maintain global availability. The project co

Patroni is a high availability manager and cluster orchestrator for PostgreSQL. It functions as an automatic failover controller and replication manager that ensures continuous database availability by automating leader election and promoting standby nodes during failures. The system maintains a consistent cluster state by acting as a distributed consensus coordinator. It synchronizes configuration and manages leader elections through integration with distributed configuration stores such as etcd, ZooKeeper, or Consul. Its broader capabilities include managing both synchronous and asynchrono

pgloader is a command-line tool that automates the migration of data and schema from various source databases and file formats into PostgreSQL. It combines schema discovery, parallel data pipelines, and type casting into a single, declarative workflow, using PostgreSQL's COPY protocol for high-throughput bulk loading. The tool distinguishes itself by compiling a dedicated command language into concurrent reader-writer pipelines that handle schema introspection, data transformation, and error-resilient batch processing. It supports migrating entire databases from MySQL, MS SQL, SQLite, and Pos

PikiwiDB est une base de données NoSQL distribuée et un magasin clé-valeur basé sur disque qui sert de serveur de protocole compatible Redis. Il est conçu pour gérer des jeux de données plus grands que la mémoire système disponible en utilisant un moteur de persistance qui stocke le jeu de données complet sur disque. Le système emploie un modèle de stockage par niveaux, mettant en cache les données chaudes fréquemment consultées en mémoire tout en maintenant le volume principal sur disque. Il assure une haute disponibilité via une architecture de magasin de données répliqué, utilisant des logs binaires asynchrones pour synchroniser les données entre les nœuds primaires et secondaires. Le projet prend en charge le scaling de base de données distribuée via le sharding de données basé sur cluster et organise les données en groupes pour étendre la couche de stockage. Ses capacités opérationnelles incluent la surveillance des performances système pour suivre l'utilisation des ressources et la prise en charge du déploiement conteneurisé.

FATE is an open-source federated learning platform that enables multiple organizations to collaboratively train machine learning models without exposing raw data to any party. It provides a complete framework for private data collaboration, allowing participants to jointly compute on sensitive information while maintaining data privacy and security guarantees through secure multi-party computation protocols. The platform distinguishes itself through its comprehensive infrastructure management capabilities, supporting automated deployment of multi-party clusters using Ansible-driven provisioni

AliSQL is a fork of MySQL by Alibaba that extends the relational database management system with enhancements for high performance, scalability, and enterprise-grade availability. It retains the core MySQL identity as a SQL-based database for storing, organizing, and retrieving structured data, while adding optimizations for large-scale transactional and analytical workloads. The project differentiates itself through a set of Alibaba-specific improvements, including a columnar engine for accelerating analytical queries directly on MySQL tables, and a distributed, shared-nothing NDB Cluster en

KubeOperator est une plateforme complète de gestion de cluster Kubernetes, un orchestrateur d'infrastructure et un gestionnaire multi-cluster. Il fonctionne comme une distribution Kubernetes d'entreprise conçue pour automatiser le déploiement, la mise à l'échelle et la gestion du cycle de vie des clusters de production sur diverses plateformes cloud et machines physiques. La plateforme se distingue par des capacités spécialisées pour les environnements isolés (air-gapped), y compris un moteur d'installation hors ligne qui génère des archives logicielles et gère des registres privés pour des déploiements sécurisés sans internet. Elle fournit également un tableau de bord centralisé pour les opérations de flotte, permettant l'importation de clusters externes et l'orchestration de l'infrastructure à travers différentes régions géographiques et zones de disponibilité. Le système couvre une large surface opérationnelle, y compris le provisionnement automatisé de machines virtuelles, le suivi de l'inventaire matériel et la gestion déclarative du cycle de vie pour le patching et la mise à l'échelle. Il intègre des services de sauvegarde et de récupération, un contrôle d'accès basé sur les rôles avec synchronisation LDAP, et une surveillance complète de la santé et des métriques de performance du cluster. Les tâches administratives et les opérations de cluster sont exécutées via une interface web.

Autobase est une plateforme de base de données en tant que service auto-hébergée conçue pour automatiser le déploiement, la mise à l'échelle et l'administration de clusters PostgreSQL à haute disponibilité. Elle fonctionne comme un orchestrateur de cluster qui gère la réplication, le basculement et les mises à niveau de version à travers plusieurs serveurs. La plateforme se distingue par son approche pilotée par GitOps, utilisant le contrôle de version et les pipelines CI/CD comme source unique de vérité pour automatiser les configurations et les déploiements de bases de données. Elle fournit à la fois une interface de gestion basée sur le web et un outil en ligne de commande pour le provisionnement et la surveillance des clusters. Le système couvre un large éventail de capacités opérationnelles, incluant le provisionnement d'infrastructure à travers les fournisseurs cloud et les serveurs physiques, des moteurs de sauvegarde et de récupération automatisés pour la restauration d'état, et la gestion du trafic via l'équilibrage de charge distribué et la découverte de services basée sur DNS. Il inclut également des outils pour la mise à l'échelle de la capacité des clusters et la gestion des extensions fonctionnelles.

Autobase est une plateforme d'orchestration et de gestion de bases de données PostgreSQL auto-hébergée, conçue pour offrir des capacités de Database-as-a-Service. Elle automatise l'intégralité du cycle de vie des clusters PostgreSQL, du provisionnement initial et du déploiement jusqu'à l'administration continue et la mise hors service. Le système se distingue en traitant l'infrastructure de base de données comme du code, permettant aux clusters d'être déployés et mis à jour via le contrôle de version et des pipelines d'intégration continue. Il fournit à la fois une console web centralisée pour la gestion visuelle et des interfaces programmatiques pour automatiser l'orchestration de l'infrastructure. La plateforme assure la haute disponibilité grâce à l'utilisation d'équilibrage de charge et de réplicas pour la distribution du trafic et la mise à l'échelle des ressources. Ses capacités opérationnelles incluent des sauvegardes automatisées point-in-time, la restauration d'état, l'installation de modules fonctionnels et l'exécution de mises à niveau de versions majeures et mineures sur des serveurs physiques, des machines virtuelles et chez les fournisseurs de cloud public.

Helix DB is a distributed graph database and knowledge graph platform that persists nodes and edges on object storage for durable and unlimited scaling. It operates as an ACID-compliant system, ensuring data consistency through serializable snapshot isolation during concurrent operations. The project distinguishes itself by combining a vector search engine and a property graph, utilizing hybrid vector and full-text search to locate entry points for graph traversals. It enables dynamic graph querying through a domain-specific language, allowing complex logic and recursive queries to be execute

Octelium is a zero-trust network access platform and identity-aware proxy designed to secure private HTTP, SSH, and SQL resources. It functions as a secure gateway that validates human and workload identities using OIDC, SAML, and FIDO2 passkeys before granting access to internal applications and SaaS APIs. The system is distinguished by its secretless access broker, which injects credentials—such as API keys, passwords, and AWS Sigv4 signatures—at the gateway level so users can access databases and cloud resources without managing secrets. It further specializes in AI gateway administration,