1 Repo
Awesome GitHub RepositoriesMetadata-Driven Cluster Managements
Tracks the physical location of data shards using a central catalog to coordinate operations across the distributed system.
Distinct from Distributed Cluster Coordination: Distinct from Distributed Cluster Coordination: focuses specifically on database shard location tracking via a central catalog rather than general job state synchronization.
Explore 1 awesome GitHub repository matching software engineering & architecture · Metadata-Driven Cluster Managements. Refine with filters or upvote what's useful.
Awesome Metadata-Driven Cluster Managements GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- citusdata/pg_shard
citusdata/pg_shard
1,062Auf GitHub ansehenDieses Projekt ist eine Datenbankerweiterung, die horizontale Skalierung und verteilte Datenpartitionierung über mehrere PostgreSQL-Knoten hinweg ermöglicht. Sie fungiert als Middleware-Lösung, die große Datenbanktabellen über einen Cluster verteilt, um die Gesamtspeicherkapazität zu erhöhen und die Schreib-Performance für wachsende Datensätze zu verbessern. Das System verwendet hash-basierte Partitionierung, um Tabellendatensätze über physische Knoten zu verteilen, und nutzt einen zentralen Metadaten-Katalog, um Shard-Standorte zu verfolgen. Es bietet transparentes Query-Routing, das Standard-SQL-Befehle von einem Koordinator-Knoten an die entsprechenden Worker-Knoten weiterleitet, ohne dass Änderungen an der bestehenden Anwendungslogik erforderlich sind. Das Framework enthält Tools zur Aufrechterhaltung der Datenredundanz und Cluster-Integrität durch Shard-Replikation und automatisierte Konsistenz-Reparaturprozesse. Es unterstützt zudem Dateningestion mit hohem Durchsatz und nutzt gleichzeitige Verarbeitung, um massive Datensätze in verteilte Tabellen zu importieren.
Tracks the physical location of data shards using a central catalog to coordinate operations across the distributed system.
C
