Awesome GitHub RepositoriesDatabase Sharding Solutions

Dragonfly is a high-performance, multi-model in-memory data store designed to serve as a drop-in replacement for existing database infrastructures. By utilizing a multi-threaded, shared-nothing architecture and a fiber-based concurrency model, it maximizes CPU utilization and minimizes latency for read and write operations. The system supports a wide range of data structures, including strings, hashes, lists, sets, sorted sets, and JSON documents, while maintaining full compatibility with standard industry wire protocols and client libraries. What distinguishes Dragonfly is its focus on effic

Vitess is a database clustering system for horizontal scaling of MySQL. It functions as a middleware layer that abstracts complex sharding and physical topology, allowing applications to interact with a distributed database environment through a unified interface. By intercepting and routing SQL queries across multiple shards, it enables large-scale data management while maintaining the appearance of a single database instance. The platform distinguishes itself through its ability to perform online schema migrations and distributed transaction coordination without requiring application downti

Ce projet est une extension de base de données qui permet la mise à l'échelle horizontale et le partitionnement distribué des données sur plusieurs nœuds PostgreSQL. Il fonctionne comme une solution middleware qui distribue les grandes tables de base de données sur un cluster pour augmenter la capacité de stockage totale et améliorer les performances d'écriture pour les jeux de données en croissance. Le système emploie un partitionnement basé sur le hachage pour distribuer les enregistrements de table sur des nœuds physiques et utilise un catalogue de métadonnées central pour suivre les emplacements des shards. Il fournit un routage de requête transparent, qui dirige les commandes SQL standard depuis un nœud coordinateur vers les nœuds de travail appropriés sans nécessiter de modifications de la logique d'application existante. Le framework inclut des outils pour maintenir la redondance des données et l'intégrité du cluster via la réplication des shards et des processus automatisés de réparation de la cohérence. Il prend également en charge l'ingestion de données à haut débit, utilisant le traitement concurrent pour importer des jeux de données massifs dans des tables distribuées.