Awesome GitHub RepositoriesIncremental Data Synchronization

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

Mage AI este un orchestrator de pipeline-uri de date bazat pe Python și un mediu de dezvoltare integrat (IDE) pentru date, self-hosted. Este conceput pentru construirea, programarea și monitorizarea workflow-urilor de date folosind un design de pipeline bazat pe blocuri și o interfață de notebook interactivă. Platforma se distinge prin integrarea capabilităților de AI generativ, permițând utilizatorilor să conecteze furnizori de modele de limbaj mari (LLM) prin API pentru a încorpora inteligența artificială în fluxurile de date automatizate. De asemenea, funcționează ca un procesor de date Apache Spark, gestionând kernel-urile și infrastructura necesară pentru analize de mare volum și procesarea datelor la scară largă. Sistemul acoperă o gamă largă de capabilități de inginerie a datelor, inclusiv automatizarea workflow-urilor ETL, gestionarea modelelor dbt și descoperirea fluxurilor de date. Oferă instrumente pentru integrarea controlului versiunilor prin Git, deployment containerizat și controlul accesului bazat pe roluri pentru a gestiona pipeline-urile în medii de dezvoltare și producție. Monitorizarea este gestionată prin telemetria performanței sistemului și debugging-ul execuției pipeline-urilor.

WechatExporter is a chat backup conversion tool designed to extract WeChat chat records from backups and convert them into human-readable text, HTML, or PDF files for archiving. It functions as a data extraction system that transforms proprietary messaging database backups into standardized document formats. The project includes a template-based document generator that allows users to modify the visual layout and formatting of exported conversation records. It also features an incremental export system that tracks and saves only new messages sent since the previous export to prevent data dupl

PikiwiDB este o bază de date NoSQL distribuită și un magazin cheie-valoare bazat pe disc, care servește drept server de protocol compatibil cu Redis. Este conceput pentru a gestiona seturi de date mai mari decât memoria disponibilă a sistemului, utilizând un motor de persistență care stochează setul complet de date pe disc. Sistemul folosește un model de stocare pe niveluri (tiered storage), cache-uind datele „fierbinți” accesate frecvent în memorie, în timp ce menține volumul principal pe disc. Asigură disponibilitatea ridicată printr-o arhitectură de stocare a datelor replicată, folosind log-uri binare asincrone pentru a sincroniza datele între nodurile primare și secundare. Proiectul suportă scalarea bazelor de date distribuite prin sharding-ul datelor bazat pe cluster și organizează datele în grupuri pentru a extinde stratul de stocare. Capabilitățile sale operaționale includ monitorizarea performanței sistemului pentru urmărirea utilizării resurselor și suport pentru deployment-ul containerizat.

DataX Web is a web-based management platform for scheduling, building, executing, and monitoring distributed data synchronization jobs powered by DataX. It provides a visual console for creating and managing DataX tasks without manual JSON configuration, with a distributed executor cluster that auto-registers worker nodes and supports configurable routing and blocking strategies for task distribution. The platform offers cron-based task scheduling with dynamic start, stop, and immediate status changes, along with incremental sync capabilities that pass dynamic parameters to extract only new o

dlt este un instrument de ingestie a datelor Python și un framework de pipeline ETL conceput pentru a prelua date din surse diverse și a le persista în destinații structurate. Funcționează ca un motor de inferență a schemei care detectează automat tipurile de date și aplatizează structurile JSON imbricate în tabele relaționale, mutând datele din surse către lakehouse-uri, depozite de date sau baze de date vectoriale. Proiectul se distinge prin generarea de pipeline-uri bazată pe AI, utilizând modele lingvistice mari pentru a crea codul de extracție și conectorii pentru API-urile REST. De asemenea, suportă stocarea vectorială multimodală și popularea specializată a bazelor de date vectoriale pentru a susține aplicațiile AI și machine learning. Framework-ul acoperă o gamă largă de capabilități, inclusiv evoluția automată a schemei, încărcarea incrementală a datelor prin urmărirea stării și validarea calității datelor prin aplicarea contractelor de date. Oferă instrumente pentru normalizarea datelor relaționale, transformări pre- și post-încărcare și o varietate de adaptoare de destinație pentru baze de date SQL și stocare de obiecte în cloud. Observabilitatea este gestionată prin dashboard-uri de execuție a pipeline-ului, urmărirea lineage-ului coloanelor și verificarea versiunii schemei folosind hash-uri bazate pe conținut.

RedisShake este un instrument de migrare și sincronizare pentru instanțele Redis și Valkey. Acesta facilitează transferul de date între deployment-uri de tip standalone, sentinel și cluster, acționând ca un migrator de baze de date cross-version și ca utilitar pentru restaurarea datelor din fișiere de backup. Proiectul oferă un pipeline programabil de transformare a datelor care permite filtrarea cheilor, remaparea indicilor bazelor de date și executarea de scripturi Lua pentru a modifica comenzi și chei în timpul tranzitului. Suportă sincronizarea fără downtime prin replicarea snapshot-urilor și streaming-ul modificărilor incrementale în timp real. Instrumentul acoperă o gamă largă de metode de extracție, inclusiv migrarea bazată pe replicare, migrarea bazată pe scanare și restaurarea din fișiere de backup. Include capabilități pentru descoperirea nodurilor de cluster, rezoluția master-ului sentinel și verificarea compatibilității versiunilor pentru a asigura stabilitatea în timpul transferurilor între versiuni diferite.

Kvrocks este o bază de date NoSQL bazată pe disc și un magazin distribuit de tip cheie-valoare care utilizează motorul de stocare RocksDB pentru a persista seturi mari de date pe disc fizic. Este concepută ca o bază de date compatibilă cu Redis, utilizând protocolul standard de comunicare Redis pentru a asigura interoperabilitatea cu bibliotecile și instrumentele client existente. Proiectul se distinge prin combinarea unui model de stocare persistentă pe disc cu capabilități avansate de regăsire, inclusiv căutare vectorială pentru interogări k-nearest neighbor, indexare pentru căutare full-text și execuția interogărilor geospațiale. Suportă clustering distribuit cu distribuția datelor bazată pe sloturi și gestionarea topologiei pentru a permite scalarea orizontală și disponibilitatea ridicată. Sistemul acoperă o gamă largă de tipuri de stocare a datelor, inclusiv documente JSON, stream-uri, seturi sortate, hash map-uri și bitmap-uri. Oferă instrumente cuprinzătoare de gestionare a datelor, cum ar fi tranzacții atomice, replicare bazată pe log-uri și structuri de date probabilistice pentru estimarea cardinalității și verificarea apartenenței. În plus, include scripting pe partea de server, mesagerie pub/sub și monitorizare detaliată pentru sănătatea serverului și performanța motorului de stocare.

Nominatim este un motor de căutare geospațială self-hosted și un server de geocodare care utilizează date OpenStreetMap. Oferă o infrastructură completă pentru geocodare directă, convertind adresele sau numele locurilor în coordonate geografice, și geocodare inversă, traducând coordonatele în adrese fizice lizibile pentru oameni. Proiectul dispune de un importator de date dedicat care parsează datele brute de hartă într-o bază de date geospațială PostgreSQL. Se distinge printr-un pipeline de import configurabil care utilizează fișiere de stil pentru a filtra caracteristicile hărții și un sistem de clasificare bazat pe importanță pentru a prioritiza rezultatele căutării pe baza popularității și a tipului de caracteristică. Sistemul acoperă o gamă largă de capabilități, inclusiv indexarea spațială, calculul ierarhic al adreselor și indexarea căutării bazată pe token-uri pentru căutări fuzzy. Suportă integrarea seturilor de date externe pentru numere de casă și centroizi de cod poștal, precum și replicarea incrementală a datelor pentru a menține seturile de date locale sincronizate cu sursele globale. Serviciul este implementat ca o aplicație web bazată pe ASGI, oferind un API de căutare geospațială cu suport pentru mai multe formate de ieșire, inclusiv JSON, GeoJSON și XML.

Chunjun este un framework distribuit de integrare a datelor și pipeline ETL bazat pe SQL, conceput pentru a sincroniza datele între surse eterogene. Acesta funcționează ca un instrument de change data capture și un sincronizator de date eterogene, utilizând un mediu de procesare distribuit pentru a muta și transforma datele între diferite tipuri de baze de date. Sistemul se distinge prin arhitectura sa de conectori bazată pe plugin-uri, care permite dezvoltarea de plugin-uri personalizate de sursă și destinație pentru a extinde conectivitatea către sisteme de date neacceptate. Suportă change data capture în timp real din log-urile bazelor de date relaționale și implementează propagarea evoluției schemei pentru a aplica automat modificările structurale de la tabelele sursă la cele de destinație. Framework-ul oferă capabilități pentru sincronizarea incrementală a datelor și calculul datelor între surse folosind logica SQL. Fiabilitatea este gestionată prin recuperarea sarcinilor bazată pe checkpoint-uri pentru a relua transferurile întrerupte și cozi de mesaje dead-letter pentru gestionarea datelor murdare, pentru a audita înregistrările malformate. Sarcinile de integrare pot fi implementate pe clustere standalone, Yarn sau medii Kubernetes, cu suport pentru implementare containerizată prin Docker.

Fast-GraphRAG is a system for generating and querying knowledge graphs from domain data. It uses a GraphRAG retrieval workflow to traverse structured data and isolate precise evidence for answering complex questions. The project utilizes an agent-driven retrieval framework to coordinate the querying of knowledge graphs and the synthesis of final answers. It supports incremental data synchronization, allowing structured knowledge bases to be updated in real time as source information evolves. The system integrates with API-compatible language models and embedding providers to power its data p

ingestr is a command-line tool for copying and syncing data between different database engines and third-party platforms without writing custom code. It functions as an ETL pipeline utility that extracts data from diverse sources and loads it into destinations. The tool features a schema-agnostic data loader that maps source fields to destination columns dynamically, removing the need for predefined static table definitions. It also operates as an incremental data synchronizer, updating destination tables by appending new records or merging changes to maintain current datasets. The system pr

GarminDB is a local fitness data store and self-hosted health data archive designed to import, archive, and analyze health and activity metrics from Garmin accounts. It functions as a fitness data aggregator and metric analysis tool, maintaining a private database of health records for independent tracking and custom querying. The system features a GPS activity heatmap generator to visualize frequently traveled paths and a plugin system for integrating specialized third-party data fields and custom metrics. It employs a local-first persistence model that retains original source files on disk

cve-search is a vulnerability search engine and database manager designed to index, synchronize, and query CVE and CPE security vulnerability data. It functions as a security data warehouse that imports vulnerability feeds into a local database to enable fast, keyword-based discovery of security flaws. The project provides a web-based vulnerability browser and a programmatic JSON API for retrieving records and risk scores. It utilizes full-text indexing for vulnerability descriptions and implements an identity-verified security portal using the OpenID Connect standard for user authentication.

OSV is a distributed database and aggregator of open-source security advisories that uses a standardized vulnerability schema to track security flaws. It functions as a system for collecting and normalizing security data from diverse ecosystems into a single unified format, providing a web API for querying package vulnerabilities and submitting standardized records. The project distinguishes itself through a security advisory distribution service that supports bulk dataset exports via cloud storage buckets and incremental synchronization of security record updates. It also employs sandbox-bas

This project is a memory-safe library implemented in Rust that provides a high-performance engine for managing shared, distributed data states. It functions as a conflict-free replicated data type implementation, enabling real-time collaborative editing and state synchronization across distributed systems without the need for a central server or manual conflict resolution. The library distinguishes itself through a cross-language binding framework that allows native applications in environments like Python, Swift, and WebAssembly to interact with the same shared data protocol. It utilizes a c