3 Repos
Architectural patterns and tools for distributing datasets across multiple nodes to achieve horizontal scalability.
Distinguishing note: Specifically addresses horizontal distribution and node-based scaling rather than vertical database optimization.
Explore 3 awesome GitHub repositories matching data & databases · Database Sharding Solutions. Refine with filters or upvote what's useful.
Dragonfly is a high-performance, multi-model in-memory data store designed to serve as a drop-in replacement for existing database infrastructures. By utilizing a multi-threaded, shared-nothing architecture and a fiber-based concurrency model, it maximizes CPU utilization and minimizes latency for read and write operations. The system supports a wide range of data structures, including strings, hashes, lists, sets, sorted sets, and JSON documents, while maintaining full compatibility with standard industry wire protocols and client libraries. What distinguishes Dragonfly is its focus on effic
Distributing large datasets across multiple nodes to ensure high availability and consistent performance as application traffic and data volume grow.
Vitess is a database clustering system for horizontal scaling of MySQL. It functions as a middleware layer that abstracts complex sharding and physical topology, allowing applications to interact with a distributed database environment through a unified interface. By intercepting and routing SQL queries across multiple shards, it enables large-scale data management while maintaining the appearance of a single database instance. The platform distinguishes itself through its ability to perform online schema migrations and distributed transaction coordination without requiring application downti
Provides a database clustering solution that transparently shards MySQL instances to provide horizontal scaling and high availability.
Dieses Projekt ist eine Datenbankerweiterung, die horizontale Skalierung und verteilte Datenpartitionierung über mehrere PostgreSQL-Knoten hinweg ermöglicht. Sie fungiert als Middleware-Lösung, die große Datenbanktabellen über einen Cluster verteilt, um die Gesamtspeicherkapazität zu erhöhen und die Schreib-Performance für wachsende Datensätze zu verbessern. Das System verwendet hash-basierte Partitionierung, um Tabellendatensätze über physische Knoten zu verteilen, und nutzt einen zentralen Metadaten-Katalog, um Shard-Standorte zu verfolgen. Es bietet transparentes Query-Routing, das Standard-SQL-Befehle von einem Koordinator-Knoten an die entsprechenden Worker-Knoten weiterleitet, ohne dass Änderungen an der bestehenden Anwendungslogik erforderlich sind. Das Framework enthält Tools zur Aufrechterhaltung der Datenredundanz und Cluster-Integrität durch Shard-Replikation und automatisierte Konsistenz-Reparaturprozesse. Es unterstützt zudem Dateningestion mit hohem Durchsatz und nutzt gleichzeitige Verarbeitung, um massive Datensätze in verteilte Tabellen zu importieren.
Provides a solution for managing shard replicas and data redundancy to ensure high availability and consistency across a distributed database cluster.