Awesome GitHub RepositoriesIncremental Data Synchronization

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

Mage AI 是一个基于 Python 的数据流水线编排器和自托管数据集成开发环境。它旨在通过基于块的流水线设计和交互式笔记本界面来构建、调度和监控数据工作流。 该平台通过集成生成式 AI 功能脱颖而出，允许用户通过 API 连接大语言模型提供商，将人工智能纳入自动化数据流中。它还作为一个 Apache Spark 数据处理器，管理高性能分析和大规模数据处理所需的内核和基础设施。 该系统涵盖了广泛的数据工程功能，包括 ETL 工作流自动化、dbt 模型管理和数据流发现。它提供了通过 Git 进行版本控制集成、容器化部署以及基于角色的访问控制的工具，以管理跨开发和生产环境的流水线。监控通过系统性能遥测和流水线执行调试进行处理。

WechatExporter is a chat backup conversion tool designed to extract WeChat chat records from backups and convert them into human-readable text, HTML, or PDF files for archiving. It functions as a data extraction system that transforms proprietary messaging database backups into standardized document formats. The project includes a template-based document generator that allows users to modify the visual layout and formatting of exported conversation records. It also features an incremental export system that tracks and saves only new messages sent since the previous export to prevent data dupl

PikiwiDB is a distributed NoSQL database and disk-based key-value store that serves as a Redis-compatible protocol server. It is designed to handle datasets larger than available system memory by utilizing a persistence engine that stores the full dataset on disk. The system employs a tiered storage model, caching frequently accessed hot data in memory while maintaining the primary volume on disk. It ensures high availability through a replicated data store architecture, using asynchronous binary logs to synchronize data between primary and secondary nodes. The project supports distributed d

DataX Web is a web-based management platform for scheduling, building, executing, and monitoring distributed data synchronization jobs powered by DataX. It provides a visual console for creating and managing DataX tasks without manual JSON configuration, with a distributed executor cluster that auto-registers worker nodes and supports configurable routing and blocking strategies for task distribution. The platform offers cron-based task scheduling with dynamic start, stop, and immediate status changes, along with incremental sync capabilities that pass dynamic parameters to extract only new o

dlt 是一个 Python 数据摄取工具和 ETL 流水线框架，旨在从不同来源获取数据并将其持久化到结构化目标中。它作为一个模式推断引擎，可自动检测数据类型并将嵌套的 JSON 结构扁平化为关系表，将数据从源端移动到数据湖、数据仓库或向量数据库。 该项目通过 AI 驱动的流水线生成脱颖而出，利用大语言模型为 REST API 构建提取代码和连接器。它还支持多模态向量存储和向量数据库的专门填充，以支持 AI 和机器学习应用。 该框架涵盖了广泛的功能，包括自动化模式演进、通过状态跟踪进行增量数据加载，以及通过强制执行数据契约进行数据质量验证。它提供了用于关系数据规范化、加载前后转换的工具，以及针对 SQL 数据库和云对象存储的多种目标适配器。 可观测性通过流水线执行仪表板、列血缘跟踪以及使用基于内容的哈希进行模式版本验证来处理。

RedisShake 是一个用于 Redis 和 Valkey 实例的迁移与同步工具。它促进了独立部署、哨兵模式和集群部署之间的数据传输，充当跨版本数据库迁移器以及从备份文件恢复数据的实用程序。 该项目提供了一个可编程的数据转换流水线，允许在传输过程中过滤键、重映射数据库索引以及执行 Lua 脚本来修改命令和键。它通过实时复制快照和流式传输增量更改，支持零停机同步。 该工具涵盖了多种提取方法，包括基于复制的迁移、基于扫描的迁移和备份文件恢复。它包括集群节点发现、哨兵主节点解析和版本兼容性验证功能，以确保跨版本传输过程中的稳定性。

Kvrocks 是一个基于磁盘的 NoSQL 数据库和分布式键值存储，利用 RocksDB 存储引擎将大数据集持久化到物理磁盘。它被设计为 Redis 兼容数据库，利用标准的 Redis 通信协议确保与现有客户端库和工具的互操作性。 该项目的独特之处在于将磁盘持久化存储模型与高级检索能力相结合，包括用于 k-近邻查询的向量搜索、全文搜索索引和地理空间查询执行。它支持具有基于槽位（slot）的数据分布和拓扑管理的分布式集群，以实现水平扩展和高可用性。 该系统涵盖了广泛的数据存储类型，包括 JSON 文档、流、有序集合、哈希映射和位图。它提供了全面的数据管理工具，如原子事务、基于日志的复制以及用于基数估计和成员检查的概率数据结构。此外，它还包括服务端脚本、发布/订阅消息传递以及针对服务器健康状况和存储引擎性能的详细监控。

Nominatim 是一个自托管的地理空间搜索引擎和地理编码服务器，利用 OpenStreetMap 数据。它为正向地理编码（将地址或地名转换为地理坐标）和反向地理编码（将坐标转换为人类可读的物理地址）提供了完整的基础设施。 该项目具有一个专门的数据导入器，可将原始地图数据解析为 PostgreSQL 地理空间数据库。它的独特之处在于一个可配置的导入管道，该管道使用样式文件过滤地图特征，并使用基于重要性的排名系统根据流行度和特征类型对搜索结果进行优先级排序。 该系统涵盖了广泛的能力，包括空间索引、分层地址计算以及用于模糊查找的基于标记的搜索索引。它支持集成用于门牌号和邮政编码中心点的外部数据集，以及用于使本地数据集与全球源保持同步的增量数据复制。 该服务作为基于 ASGI 的 Web 应用部署，提供支持多种输出格式（包括 JSON、GeoJSON 和 XML）的地理空间搜索 API。

Chunjun 是一个分布式数据集成框架和基于 SQL 的 ETL 流水线，旨在实现异构数据源之间的数据同步。它作为一款变更数据捕获（CDC）工具和异构数据同步器，利用分布式处理环境在不同数据库类型之间迁移和转换数据。 该系统的特色在于其基于插件的连接器架构，允许开发自定义源和目标插件，以扩展对非原生支持数据系统的连接。它支持从关系型数据库日志中进行实时变更数据捕获，并实现模式演进传播，自动将结构变更从源表应用到目标表。 该框架提供了增量数据同步和使用 SQL 逻辑进行跨源数据计算的能力。可靠性通过基于检查点的任务恢复机制来管理，以恢复中断的传输，并利用死信队列进行脏数据管理，以审计格式错误的数据记录。 集成任务可部署在独立集群、Yarn 或 Kubernetes 环境中，并支持通过 Docker 进行容器化部署。

Fast-GraphRAG is a system for generating and querying knowledge graphs from domain data. It uses a GraphRAG retrieval workflow to traverse structured data and isolate precise evidence for answering complex questions. The project utilizes an agent-driven retrieval framework to coordinate the querying of knowledge graphs and the synthesis of final answers. It supports incremental data synchronization, allowing structured knowledge bases to be updated in real time as source information evolves. The system integrates with API-compatible language models and embedding providers to power its data p

ingestr is a command-line tool for copying and syncing data between different database engines and third-party platforms without writing custom code. It functions as an ETL pipeline utility that extracts data from diverse sources and loads it into destinations. The tool features a schema-agnostic data loader that maps source fields to destination columns dynamically, removing the need for predefined static table definitions. It also operates as an incremental data synchronizer, updating destination tables by appending new records or merging changes to maintain current datasets. The system pr

GarminDB is a local fitness data store and self-hosted health data archive designed to import, archive, and analyze health and activity metrics from Garmin accounts. It functions as a fitness data aggregator and metric analysis tool, maintaining a private database of health records for independent tracking and custom querying. The system features a GPS activity heatmap generator to visualize frequently traveled paths and a plugin system for integrating specialized third-party data fields and custom metrics. It employs a local-first persistence model that retains original source files on disk

cve-search is a vulnerability search engine and database manager designed to index, synchronize, and query CVE and CPE security vulnerability data. It functions as a security data warehouse that imports vulnerability feeds into a local database to enable fast, keyword-based discovery of security flaws. The project provides a web-based vulnerability browser and a programmatic JSON API for retrieving records and risk scores. It utilizes full-text indexing for vulnerability descriptions and implements an identity-verified security portal using the OpenID Connect standard for user authentication.

OSV is a distributed database and aggregator of open-source security advisories that uses a standardized vulnerability schema to track security flaws. It functions as a system for collecting and normalizing security data from diverse ecosystems into a single unified format, providing a web API for querying package vulnerabilities and submitting standardized records. The project distinguishes itself through a security advisory distribution service that supports bulk dataset exports via cloud storage buckets and incremental synchronization of security record updates. It also employs sandbox-bas

该项目是一个用 Rust 实现的内存安全库，提供了一个用于管理共享、分布式数据状态的高性能引擎。它作为无冲突复制数据类型（CRDT）实现，支持跨分布式系统的实时协作编辑和状态同步，而无需中央服务器或手动冲突解决。 该库通过跨语言绑定框架脱颖而出，该框架允许 Python、Swift 和 WebAssembly 等环境中的原生应用与相同的共享数据协议进行交互。它利用紧凑的二进制序列化格式在对等点之间仅传输增量更新，确保了高效的网络使用，即使在离线优先的场景中也能保持一致的状态维护。 该系统通过分层文档嵌套和原子事务管理支持复杂的数据建模，确保了多步更新期间的内部一致性。它还包括用于触发界面更新的响应式事件驱动观察，并提供用于跟踪变更历史和撤销操作的内置机制。