Awesome GitHub RepositoriesIncremental Data Synchronization

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

Mage AI est un orchestrateur de pipelines de données basé sur Python et un environnement de développement intégré (IDE) de données auto-hébergé. Il est conçu pour construire, planifier et surveiller des workflows de données en utilisant une conception de pipeline par blocs et une interface de notebook interactive. La plateforme se distingue en intégrant des capacités d'IA générative, permettant aux utilisateurs de connecter des fournisseurs de grands modèles de langage via API pour incorporer l'intelligence artificielle dans des flux de données automatisés. Elle fonctionne également comme un processeur de données Apache Spark, gérant les kernels et l'infrastructure requis pour l'analytique à haut volume et le traitement de données à grande échelle. Le système couvre un large éventail de capacités d'ingénierie de données, incluant l'automatisation de workflows ETL, la gestion de modèles dbt et la découverte de flux de données. Il fournit des outils pour l'intégration du contrôle de version via Git, le déploiement conteneurisé et le contrôle d'accès basé sur les rôles pour gérer les pipelines dans les environnements de développement et de production. La surveillance est gérée via la télémétrie des performances système et le débogage de l'exécution des pipelines.

WechatExporter is a chat backup conversion tool designed to extract WeChat chat records from backups and convert them into human-readable text, HTML, or PDF files for archiving. It functions as a data extraction system that transforms proprietary messaging database backups into standardized document formats. The project includes a template-based document generator that allows users to modify the visual layout and formatting of exported conversation records. It also features an incremental export system that tracks and saves only new messages sent since the previous export to prevent data dupl

PikiwiDB est une base de données NoSQL distribuée et un magasin clé-valeur basé sur disque qui sert de serveur de protocole compatible Redis. Il est conçu pour gérer des jeux de données plus grands que la mémoire système disponible en utilisant un moteur de persistance qui stocke le jeu de données complet sur disque. Le système emploie un modèle de stockage par niveaux, mettant en cache les données chaudes fréquemment consultées en mémoire tout en maintenant le volume principal sur disque. Il assure une haute disponibilité via une architecture de magasin de données répliqué, utilisant des logs binaires asynchrones pour synchroniser les données entre les nœuds primaires et secondaires. Le projet prend en charge le scaling de base de données distribuée via le sharding de données basé sur cluster et organise les données en groupes pour étendre la couche de stockage. Ses capacités opérationnelles incluent la surveillance des performances système pour suivre l'utilisation des ressources et la prise en charge du déploiement conteneurisé.

DataX Web is a web-based management platform for scheduling, building, executing, and monitoring distributed data synchronization jobs powered by DataX. It provides a visual console for creating and managing DataX tasks without manual JSON configuration, with a distributed executor cluster that auto-registers worker nodes and supports configurable routing and blocking strategies for task distribution. The platform offers cron-based task scheduling with dynamic start, stop, and immediate status changes, along with incremental sync capabilities that pass dynamic parameters to extract only new o

dlt est un outil d'ingestion de données Python et un framework de pipeline ETL conçu pour récupérer des données depuis diverses sources et les persister dans des destinations structurées. Il fonctionne comme un moteur d'inférence de schéma qui détecte automatiquement les types de données et aplatit les structures JSON imbriquées en tables relationnelles, déplaçant les données des sources vers des lakehouses, des entrepôts ou des bases de données vectorielles. Le projet se distingue par une génération de pipeline alimentée par l'IA, utilisant de grands modèles de langage pour échafauder le code d'extraction et les connecteurs pour les API REST. Il prend également en charge le stockage vectoriel multimodal et la population spécialisée de bases de données vectorielles pour prendre en charge les applications d'IA et de machine learning. Le framework couvre un large éventail de capacités, incluant l'évolution automatique du schéma, le chargement incrémentiel de données via le suivi d'état et la validation de la qualité des données par l'application de contrats de données. Il fournit des outils pour la normalisation des données relationnelles, les transformations pré- et post-chargement, et une variété d'adaptateurs de destination pour les bases de données SQL et les magasins d'objets cloud. L'observabilité est gérée via des tableaux de bord d'exécution de pipeline, le suivi de lignage des colonnes et la vérification de version de schéma utilisant des hachages basés sur le contenu.

RedisShake is a migration and synchronization tool for Redis and Valkey instances. It facilitates the transfer of data between standalone, sentinel, and cluster deployments, acting as a cross-version database migrator and a utility for restoring data from backup files. The project provides a programmable data transformation pipeline that allows for filtering keys, remapping database indices, and executing Lua scripts to modify commands and keys during transit. It supports zero-downtime synchronization by replicating snapshots and streaming incremental changes in real time. The tool covers a

Kvrocks est une base de données NoSQL basée sur disque et un magasin clé-valeur distribué qui exploite le moteur de stockage RocksDB pour persister de grands jeux de données sur disque physique. Il est conçu pour être une base de données compatible avec Redis, utilisant le protocole de communication standard de Redis pour assurer l'interopérabilité avec les bibliothèques clientes et les outils existants. Le projet se distingue en combinant un modèle de stockage persistant sur disque avec des capacités de récupération avancées, notamment la recherche vectorielle pour les requêtes k-plus proches voisins, l'indexation de recherche plein texte et l'exécution de requêtes géospatiales. Il prend en charge le clustering distribué avec une distribution des données basée sur des slots et une gestion de la topologie pour permettre une mise à l'échelle horizontale et une haute disponibilité. Le système couvre un large éventail de types de stockage de données, y compris les documents JSON, les flux, les ensembles triés, les hash maps et les bitmaps. Il fournit des outils complets de gestion des données tels que des transactions atomiques, la réplication basée sur les logs et des structures de données probabilistes pour l'estimation de cardinalité et la vérification d'appartenance. De plus, il inclut des scripts côté serveur, la messagerie pub/sub et une surveillance détaillée de la santé du serveur et des performances du moteur de stockage.

Nominatim est un moteur de recherche géospatiale auto-hébergé et un serveur de géocodage qui utilise les données d'OpenStreetMap. Il fournit une infrastructure complète pour le géocodage direct, convertissant des adresses ou des noms de lieux en coordonnées géographiques, et le géocodage inverse, traduisant des coordonnées en adresses physiques lisibles par l'homme. Le projet dispose d'un importateur de données dédié qui analyse les données cartographiques brutes dans une base de données géospatiale PostgreSQL. Il se distingue par un pipeline d'importation configurable qui utilise des fichiers de style pour filtrer les entités cartographiques et un système de classement basé sur l'importance pour prioriser les résultats de recherche en fonction de la popularité et du type d'entité. Le système couvre un large éventail de capacités, y compris l'indexation spatiale, le calcul d'adresses hiérarchiques et l'indexation de recherche basée sur des jetons pour les recherches floues. Il prend en charge l'intégration de jeux de données externes pour les numéros de rue et les centroïdes de codes postaux, ainsi que la réplication incrémentale des données pour maintenir les jeux de données locaux synchronisés avec les sources mondiales. Le service est déployé en tant qu'application web basée sur ASGI, fournissant une API de recherche géospatiale avec prise en charge de plusieurs formats de sortie, notamment JSON, GeoJSON et XML.

Chunjun est un framework d'intégration de données distribué et un pipeline ETL basé sur SQL conçu pour synchroniser les données entre des sources hétérogènes. Il fonctionne comme un outil de capture de données modifiées (CDC) et un synchroniseur de données hétérogènes, utilisant un environnement de traitement distribué pour déplacer et transformer les données à travers différents types de bases de données. Le système se distingue par son architecture de connecteurs basée sur des plugins, qui permet le développement de plugins de source et de destination personnalisés pour étendre la connectivité aux systèmes de données non pris en charge. Il prend en charge la capture de données modifiées en temps réel à partir des journaux de bases de données relationnelles et implémente la propagation de l'évolution de schéma pour appliquer automatiquement les changements structurels des tables sources aux tables de destination. Le framework fournit des capacités pour la synchronisation de données incrémentielle et le calcul de données inter-sources utilisant la logique SQL. La fiabilité est gérée via une récupération de tâche basée sur des points de contrôle pour reprendre les transferts interrompus et des files d'attente de lettres mortes pour la gestion des données sales afin d'auditer les enregistrements mal formés. Les tâches d'intégration peuvent être déployées sur des clusters autonomes, Yarn ou des environnements Kubernetes, avec une prise en charge du déploiement conteneurisé via Docker.

Fast-GraphRAG is a system for generating and querying knowledge graphs from domain data. It uses a GraphRAG retrieval workflow to traverse structured data and isolate precise evidence for answering complex questions. The project utilizes an agent-driven retrieval framework to coordinate the querying of knowledge graphs and the synthesis of final answers. It supports incremental data synchronization, allowing structured knowledge bases to be updated in real time as source information evolves. The system integrates with API-compatible language models and embedding providers to power its data p

ingestr is a command-line tool for copying and syncing data between different database engines and third-party platforms without writing custom code. It functions as an ETL pipeline utility that extracts data from diverse sources and loads it into destinations. The tool features a schema-agnostic data loader that maps source fields to destination columns dynamically, removing the need for predefined static table definitions. It also operates as an incremental data synchronizer, updating destination tables by appending new records or merging changes to maintain current datasets. The system pr

GarminDB is a local fitness data store and self-hosted health data archive designed to import, archive, and analyze health and activity metrics from Garmin accounts. It functions as a fitness data aggregator and metric analysis tool, maintaining a private database of health records for independent tracking and custom querying. The system features a GPS activity heatmap generator to visualize frequently traveled paths and a plugin system for integrating specialized third-party data fields and custom metrics. It employs a local-first persistence model that retains original source files on disk

cve-search is a vulnerability search engine and database manager designed to index, synchronize, and query CVE and CPE security vulnerability data. It functions as a security data warehouse that imports vulnerability feeds into a local database to enable fast, keyword-based discovery of security flaws. The project provides a web-based vulnerability browser and a programmatic JSON API for retrieving records and risk scores. It utilizes full-text indexing for vulnerability descriptions and implements an identity-verified security portal using the OpenID Connect standard for user authentication.

OSV is a distributed database and aggregator of open-source security advisories that uses a standardized vulnerability schema to track security flaws. It functions as a system for collecting and normalizing security data from diverse ecosystems into a single unified format, providing a web API for querying package vulnerabilities and submitting standardized records. The project distinguishes itself through a security advisory distribution service that supports bulk dataset exports via cloud storage buckets and incremental synchronization of security record updates. It also employs sandbox-bas

This project is a memory-safe library implemented in Rust that provides a high-performance engine for managing shared, distributed data states. It functions as a conflict-free replicated data type implementation, enabling real-time collaborative editing and state synchronization across distributed systems without the need for a central server or manual conflict resolution. The library distinguishes itself through a cross-language binding framework that allows native applications in environments like Python, Swift, and WebAssembly to interact with the same shared data protocol. It utilizes a c