Awesome GitHub RepositoriesLogical Replication Ingestion

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

This project is a PostgreSQL client library and SQL query builder for JavaScript and TypeScript. It provides a low-level database driver and connection manager to handle database sessions, along with a logical replication client for monitoring real-time changes. The library distinguishes itself with a high-performance bulk data streamer that utilizes the database copy command for importing and exporting large datasets. It also implements a logical replication protocol to facilitate real-time database synchronization through change subscriptions and channel-based notifications. The toolset co

ParadeDB is a database extension that integrates full-text search, vector database capabilities, and real-time analytics directly into a relational engine. It functions as a plugin that adds new storage and query execution capabilities to an existing database architecture. The project distinguishes itself by supporting hybrid search workflows that combine lexical keyword matching with dense and sparse vector similarity in a single query. It utilizes reciprocal rank fusion to merge these ranked result sets and employs logical replication to synchronize data from external instances, removing th

Otter is a distributed database synchronization system and change data capture tool designed to replicate data between databases across multiple geographic regions. It functions as a synchronization orchestrator and ETL data pipeline that mirrors records and associated files in real time. The system employs incremental log parsing to capture database changes and utilizes a consistency-based convergence algorithm and loop-avoidance logic to manage bi-directional replication. It processes data through a pipeline of selection, extraction, transformation, and loading to handle joins and format co

Pigsty is a comprehensive database infrastructure orchestration platform designed to automate the full lifecycle of high-availability PostgreSQL clusters. It functions as an infrastructure-as-code framework that manages cluster coordination, node provisioning, and service discovery through idempotent playbooks. By integrating distributed consensus mechanisms, the platform ensures automated failover and consistent state enforcement across diverse environments, including bare metal and virtualized infrastructure. The platform distinguishes itself through a robust suite of operational capabiliti

Dieses Projekt ist ein Kubernetes-Operator, der für die Bereitstellung und Verwaltung von PostgreSQL-Datenbankclustern in der Produktion mittels deklarativer Konfigurationen entwickelt wurde. Er fungiert als Controller, der den tatsächlichen Zustand von Datenbankclustern mit einem gewünschten Zustand synchronisiert und ein System für Hochverfügbarkeits-Orchestrierung, automatisiertes Backup und Recovery sowie containerisierte Datenbankadministration bereitstellt. Der Operator zeichnet sich durch eine umfassende Datenschutz-Suite aus, die Point-in-Time-Recovery, Multi-Mode-Backups in Cloud-Objektspeicher und Cluster-Cloning unterstützt. Er stellt kontinuierliche Verfügbarkeit durch verteilten Konsens für automatisiertes Failover sicher und unterstützt ausgefeiltes Traffic-Management durch einen integrierten Connection-Pooler. Das Projekt deckt ein breites Spektrum an operativen Fähigkeiten ab, einschließlich synchroner und asynchroner Replikation, Telemetrie-Erfassung über einen dedizierten Monitoring-Stack und sicheres Identitätsmanagement mit automatisierter TLS-Zertifikatsrotation. Es bietet zudem Tools für die Erweiterung von Speichervolumes, Datenbank-Engine-Updates und die Integration verschiedener Datenbankerweiterungen. Der Controller wird mittels anpassbarer Manifeste in einem Cluster installiert, um die deklarative Orchestrierung der Datenbankumgebung zu ermöglichen.

RedisShake is a migration and synchronization tool for Redis and Valkey instances. It facilitates the transfer of data between standalone, sentinel, and cluster deployments, acting as a cross-version database migrator and a utility for restoring data from backup files. The project provides a programmable data transformation pipeline that allows for filtering keys, remapping database indices, and executing Lua scripts to modify commands and keys during transit. It supports zero-downtime synchronization by replicating snapshots and streaming incremental changes in real time. The tool covers a

Nominatim is a self-hosted geospatial search engine and geocoding server that utilizes OpenStreetMap data. It provides a complete infrastructure for forward geocoding, converting addresses or place names into geographic coordinates, and reverse geocoding, translating coordinates into human-readable physical addresses. The project features a dedicated data importer that parses raw map data into a PostgreSQL geospatial database. It distinguishes itself through a configurable import pipeline that uses style files to filter map features and an importance-based ranking system to prioritize search

pgdog is a PostgreSQL sharding proxy, distributed SQL router, and connection pooler. It is designed to enable horizontal data distribution by splitting tables and indices across multiple independent servers to scale storage and processing capacity. The project distinguishes itself through online resharding capabilities, using logical replication to move data between shards without application downtime. It supports multiple routing strategies, including hash, list, and range-based query routing, and manages distributed atomic transactions using a two-phase commit process to ensure consistency

pgeasyreplicate ist ein Kommandozeilen-Dienstprogramm zur Orchestrierung von Datenbankmigrationen und logischer Replikation zwischen PostgreSQL-Instanzen. Es fungiert als Migrations-Orchestrator, der den gesamten Lebenszyklus der Datensynchronisierung verwaltet, von der anfänglichen Schema-Propagierung bis zum finalen Übergang des Anwendungs-Traffics. Das Tool zeichnet sich durch zustandsbewusste Switchover-Logik aus, die die Bewegung von Operationen koordiniert, indem sie die Replikationsverzögerung überprüft und Schreibsperren erzwingt, um Datenverlust zu verhindern. Es bietet granulare Kontrolle über die Datenbewegung, indem es Benutzern erlaubt, Tabellen in spezifischen Replikationsgruppen zu organisieren, wodurch sichergestellt wird, dass nur beabsichtigte Datensätze zwischen Quell- und Zielumgebungen synchronisiert werden. Über die Kern-Migrationsaufgaben hinaus enthält das Projekt umfassende Überwachungsfunktionen zur Verfolgung der Synchronisierungsgesundheit und Replikationsverzögerung in Echtzeit. Es unterstützt die Integration mit externen Systemen durch das Senden von Status-Updates und Replikationsmetriken an konfigurierte Webhook-Endpunkte, was eine automatisierte Observability innerhalb bestehender Infrastruktur-Workflows erleichtert.