3 repository-uri
Architectural patterns and tools for distributing datasets across multiple nodes to achieve horizontal scalability.
Distinguishing note: Specifically addresses horizontal distribution and node-based scaling rather than vertical database optimization.
Explore 3 awesome GitHub repositories matching data & databases · Database Sharding Solutions. Refine with filters or upvote what's useful.
Dragonfly is a high-performance, multi-model in-memory data store designed to serve as a drop-in replacement for existing database infrastructures. By utilizing a multi-threaded, shared-nothing architecture and a fiber-based concurrency model, it maximizes CPU utilization and minimizes latency for read and write operations. The system supports a wide range of data structures, including strings, hashes, lists, sets, sorted sets, and JSON documents, while maintaining full compatibility with standard industry wire protocols and client libraries. What distinguishes Dragonfly is its focus on effic
Distributing large datasets across multiple nodes to ensure high availability and consistent performance as application traffic and data volume grow.
Vitess is a database clustering system for horizontal scaling of MySQL. It functions as a middleware layer that abstracts complex sharding and physical topology, allowing applications to interact with a distributed database environment through a unified interface. By intercepting and routing SQL queries across multiple shards, it enables large-scale data management while maintaining the appearance of a single database instance. The platform distinguishes itself through its ability to perform online schema migrations and distributed transaction coordination without requiring application downti
Provides a database clustering solution that transparently shards MySQL instances to provide horizontal scaling and high availability.
Acest proiect este o extensie de bază de date care permite scalarea orizontală și partiționarea distribuită a datelor pe mai multe noduri PostgreSQL. Funcționează ca o soluție middleware care distribuie tabelele mari de baze de date într-un cluster pentru a crește capacitatea totală de stocare și a îmbunătăți performanța de scriere pentru seturile de date în creștere. Sistemul folosește partiționarea bazată pe hash pentru a distribui înregistrările tabelelor pe noduri fizice și utilizează un catalog central de metadate pentru a urmări locațiile shard-urilor. Oferă rutare transparentă a interogărilor, care direcționează comenzile SQL standard de la un nod coordonator către nodurile lucrătoare (worker nodes) corespunzătoare, fără a necesita modificări ale logicii aplicației existente. Framework-ul include instrumente pentru menținerea redundanței datelor și a integrității clusterului prin replicarea shard-urilor și procese automatizate de reparare a consistenței. De asemenea, suportă ingestia de date cu throughput ridicat, utilizând procesarea concurentă pentru a importa seturi de date masive în tabele distribuite.
Provides a solution for managing shard replicas and data redundancy to ensure high availability and consistency across a distributed database cluster.