Awesome GitHub RepositoriesLogical Replication Ingestion

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

This project is a PostgreSQL client library and SQL query builder for JavaScript and TypeScript. It provides a low-level database driver and connection manager to handle database sessions, along with a logical replication client for monitoring real-time changes. The library distinguishes itself with a high-performance bulk data streamer that utilizes the database copy command for importing and exporting large datasets. It also implements a logical replication protocol to facilitate real-time database synchronization through change subscriptions and channel-based notifications. The toolset co

ParadeDB is a database extension that integrates full-text search, vector database capabilities, and real-time analytics directly into a relational engine. It functions as a plugin that adds new storage and query execution capabilities to an existing database architecture. The project distinguishes itself by supporting hybrid search workflows that combine lexical keyword matching with dense and sparse vector similarity in a single query. It utilizes reciprocal rank fusion to merge these ranked result sets and employs logical replication to synchronize data from external instances, removing th

Otter is a distributed database synchronization system and change data capture tool designed to replicate data between databases across multiple geographic regions. It functions as a synchronization orchestrator and ETL data pipeline that mirrors records and associated files in real time. The system employs incremental log parsing to capture database changes and utilizes a consistency-based convergence algorithm and loop-avoidance logic to manage bi-directional replication. It processes data through a pipeline of selection, extraction, transformation, and loading to handle joins and format co

Pigsty este o platformă cuprinzătoare de orchestrare a infrastructurii de baze de date concepută pentru a automatiza întregul ciclu de viață al clusterelor PostgreSQL de înaltă disponibilitate. Acesta funcționează ca un framework de tip infrastructure-as-code care gestionează coordonarea clusterului, provizionarea nodurilor și descoperirea serviciilor prin playbook-uri idempotente. Prin integrarea mecanismelor de consens distribuit, platforma asigură failover-ul automat și impunerea stării consistente în medii diverse, inclusiv bare metal și infrastructură virtualizată. Platforma se distinge printr-o suită robustă de capabilități operaționale care se extind dincolo de gestionarea standard a bazelor de date. Dispune de un pipeline de observabilitate încorporat care agregă metrici, log-uri și urme în dashboard-uri centralizate pentru monitorizarea performanței în timp real și analiză diagnostică. În plus, oferă un framework de migrare care emulează protocoalele wire proprietare și sintaxa SQL, permițând integrarea sarcinilor de lucru ale bazelor de date enterprise legacy în medii relaționale moderne. Sistemul acoperă o suprafață funcțională largă, inclusiv gestionarea avansată a stocării cu clonare copy-on-write pentru implementare rapidă și orchestrarea multi-bază de date care coordonează motoarele relaționale cu caching-ul și serviciile de stocare a obiectelor. De asemenea, încorporează securizarea, backup-ul și recuperarea automată și rutarea traficului prin proxy-uri stratificate pentru a decupla conexiunile clienților de topologia clusterului subiacent. Proiectul este distribuit ca un model de oglindire a pachetelor auto-conținut, permițând implementarea consistentă și gestionarea dependențelor în medii securizate sau izolate (air-gapped).

Acest proiect este un operator Kubernetes conceput pentru deployment-ul și gestionarea clusterelor de baze de date PostgreSQL de producție folosind configurații declarative. Funcționează ca un controller care sincronizează starea reală a clusterelor de baze de date cu o stare dorită, oferind un sistem pentru orchestrarea disponibilității ridicate, backup și recuperare automată și administrarea bazelor de date containerizate. Operatorul se distinge printr-o suită cuprinzătoare de protecție a datelor care suportă recuperarea la un moment dat (point-in-time recovery), backup-uri multi-mod către stocarea de obiecte în cloud și clonarea clusterelor. Asigură disponibilitatea continuă folosind consensul distribuit pentru failover automat și suportă gestionarea sofisticată a traficului printr-un connection pooler integrat. Proiectul acoperă o gamă largă de capabilități operaționale, inclusiv replicarea sincronă și asincronă, colectarea de telemetrie printr-un stack de monitorizare dedicat și gestionarea securizată a identității cu rotația automată a certificatelor TLS. Oferă, de asemenea, instrumente pentru extinderea volumelor de stocare, actualizări ale motorului bazei de date și integrarea diverselor extensii de baze de date. Controller-ul este instalat într-un cluster folosind manifeste customizabile pentru a permite orchestrarea declarativă a mediului bazei de date.

RedisShake este un instrument de migrare și sincronizare pentru instanțele Redis și Valkey. Acesta facilitează transferul de date între deployment-uri de tip standalone, sentinel și cluster, acționând ca un migrator de baze de date cross-version și ca utilitar pentru restaurarea datelor din fișiere de backup. Proiectul oferă un pipeline programabil de transformare a datelor care permite filtrarea cheilor, remaparea indicilor bazelor de date și executarea de scripturi Lua pentru a modifica comenzi și chei în timpul tranzitului. Suportă sincronizarea fără downtime prin replicarea snapshot-urilor și streaming-ul modificărilor incrementale în timp real. Instrumentul acoperă o gamă largă de metode de extracție, inclusiv migrarea bazată pe replicare, migrarea bazată pe scanare și restaurarea din fișiere de backup. Include capabilități pentru descoperirea nodurilor de cluster, rezoluția master-ului sentinel și verificarea compatibilității versiunilor pentru a asigura stabilitatea în timpul transferurilor între versiuni diferite.

Nominatim este un motor de căutare geospațială self-hosted și un server de geocodare care utilizează date OpenStreetMap. Oferă o infrastructură completă pentru geocodare directă, convertind adresele sau numele locurilor în coordonate geografice, și geocodare inversă, traducând coordonatele în adrese fizice lizibile pentru oameni. Proiectul dispune de un importator de date dedicat care parsează datele brute de hartă într-o bază de date geospațială PostgreSQL. Se distinge printr-un pipeline de import configurabil care utilizează fișiere de stil pentru a filtra caracteristicile hărții și un sistem de clasificare bazat pe importanță pentru a prioritiza rezultatele căutării pe baza popularității și a tipului de caracteristică. Sistemul acoperă o gamă largă de capabilități, inclusiv indexarea spațială, calculul ierarhic al adreselor și indexarea căutării bazată pe token-uri pentru căutări fuzzy. Suportă integrarea seturilor de date externe pentru numere de casă și centroizi de cod poștal, precum și replicarea incrementală a datelor pentru a menține seturile de date locale sincronizate cu sursele globale. Serviciul este implementat ca o aplicație web bazată pe ASGI, oferind un API de căutare geospațială cu suport pentru mai multe formate de ieșire, inclusiv JSON, GeoJSON și XML.

pgdog is a PostgreSQL sharding proxy, distributed SQL router, and connection pooler. It is designed to enable horizontal data distribution by splitting tables and indices across multiple independent servers to scale storage and processing capacity. The project distinguishes itself through online resharding capabilities, using logical replication to move data between shards without application downtime. It supports multiple routing strategies, including hash, list, and range-based query routing, and manages distributed atomic transactions using a two-phase commit process to ensure consistency

pgeasyreplicate is a command-line utility designed to orchestrate database migrations and logical replication between PostgreSQL instances. It functions as a migration orchestrator that manages the entire lifecycle of data synchronization, from initial schema propagation to the final transition of application traffic. The tool distinguishes itself through state-aware switchover logic, which coordinates the movement of operations by verifying replication lag and enforcing write locks to prevent data loss. It provides granular control over data movement by allowing users to organize tables in