Awesome GitHub RepositoriesIncremental Data Synchronization

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

Mage AI एक Python-आधारित डेटा पाइपलाइन ऑर्केस्ट्रेटर और सेल्फ-होस्टेड डेटा इंटीग्रेटेड डेवलपमेंट एनवायरनमेंट (IDE) है। इसे ब्लॉक-आधारित पाइपलाइन डिज़ाइन और इंटरैक्टिव नोटबुक इंटरफ़ेस का उपयोग करके डेटा वर्कफ़्लो बनाने, शेड्यूल करने और मॉनिटर करने के लिए डिज़ाइन किया गया है। यह प्लेटफ़ॉर्म जेनेरेटिव AI क्षमताओं को एकीकृत करके खुद को अलग बनाता है, जिससे उपयोगकर्ताओं को स्वचालित डेटा स्ट्रीम में आर्टिफिशियल इंटेलिजेंस को शामिल करने के लिए API के माध्यम से लार्ज लैंग्वेज मॉडल प्रोवाइडर्स से जुड़ने की अनुमति मिलती है। यह एक Apache Spark डेटा प्रोसेसर के रूप में भी कार्य करता है, जो उच्च-वॉल्यूम एनालिटिक्स और बड़े पैमाने पर डेटा प्रोसेसिंग के लिए आवश्यक कर्नल्स और इंफ्रास्ट्रक्चर को प्रबंधित करता है। यह सिस्टम ETL वर्कफ़्लो ऑटोमेशन, dbt मॉडल मैनेजमेंट, और डेटा स्ट्रीम डिस्कवरी सहित डेटा इंजीनियरिंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह Git के माध्यम से वर्ज़न कंट्रोल इंटीग्रेशन, कंटेनराइज़्ड डिप्लॉयमेंट, और डेवलपमेंट व प्रोडक्शन वातावरण में पाइपलाइन्स को प्रबंधित करने के लिए रोल-आधारित एक्सेस कंट्रोल के लिए टूल्स प्रदान करता है। मॉनिटरिंग को सिस्टम परफॉर्मेंस टेलीमेट्री और पाइपलाइन निष्पादन डिबगिंग के माध्यम से संभाला जाता है।

WechatExporter is a chat backup conversion tool designed to extract WeChat chat records from backups and convert them into human-readable text, HTML, or PDF files for archiving. It functions as a data extraction system that transforms proprietary messaging database backups into standardized document formats. The project includes a template-based document generator that allows users to modify the visual layout and formatting of exported conversation records. It also features an incremental export system that tracks and saves only new messages sent since the previous export to prevent data dupl

PikiwiDB is a distributed NoSQL database and disk-based key-value store that serves as a Redis-compatible protocol server. It is designed to handle datasets larger than available system memory by utilizing a persistence engine that stores the full dataset on disk. The system employs a tiered storage model, caching frequently accessed hot data in memory while maintaining the primary volume on disk. It ensures high availability through a replicated data store architecture, using asynchronous binary logs to synchronize data between primary and secondary nodes. The project supports distributed d

DataX Web is a web-based management platform for scheduling, building, executing, and monitoring distributed data synchronization jobs powered by DataX. It provides a visual console for creating and managing DataX tasks without manual JSON configuration, with a distributed executor cluster that auto-registers worker nodes and supports configurable routing and blocking strategies for task distribution. The platform offers cron-based task scheduling with dynamic start, stop, and immediate status changes, along with incremental sync capabilities that pass dynamic parameters to extract only new o

dlt एक Python डेटा इंजेक्शन टूल और ETL पाइपलाइन फ्रेमवर्क है जिसे विविध स्रोतों से डेटा लाने और इसे संरचित गंतव्यों में बनाए रखने के लिए डिज़ाइन किया गया है। यह एक स्कीमा इंफरेंस इंजन के रूप में कार्य करता है जो स्वचालित रूप से डेटा प्रकारों का पता लगाता है और नेस्टेड JSON संरचनाओं को रिलेशनल टेबल में समतल (flatten) करता है, डेटा को स्रोतों से लेकहाउस, वेयरहाउस या वेक्टर डेटाबेस में ले जाता है। यह प्रोजेक्ट AI-संचालित पाइपलाइन निर्माण के माध्यम से खुद को अलग करता है, जो REST API के लिए एक्सट्रैक्शन कोड और कनेक्टर को स्कैफ़ोल्ड करने के लिए लार्ज लैंग्वेज मॉडल का उपयोग करता है। यह AI और मशीन लर्निंग एप्लिकेशन का समर्थन करने के लिए मल्टीमॉडल वेक्टर स्टोरेज और वेक्टर डेटाबेस की विशेष आबादी का भी समर्थन करता है। यह फ्रेमवर्क स्वचालित स्कीमा इवोल्यूशन, स्टेट ट्रैकिंग के माध्यम से इंक्रीमेंटल डेटा लोडिंग, और डेटा कॉन्ट्रैक्ट्स के प्रवर्तन के माध्यम से डेटा गुणवत्ता वैलिडेशन सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह रिलेशनल डेटा नॉर्मलाइज़ेशन, प्री- और पोस्ट-लोड ट्रांसफ़ॉर्मेशन, और SQL डेटाबेस व क्लाउड ऑब्जेक्ट स्टोर के लिए विभिन्न डेस्टिनेशन एडेप्टर के लिए उपकरण प्रदान करता है। ऑब्जर्वेबिलिटी को पाइपलाइन निष्पादन डैशबोर्ड, कॉलम लाइनएज ट्रैकिंग और कंटेंट-आधारित हैश का उपयोग करके स्कीमा वर्ज़न वेरिफिकेशन के माध्यम से संभाला जाता है।

RedisShake is a migration and synchronization tool for Redis and Valkey instances. It facilitates the transfer of data between standalone, sentinel, and cluster deployments, acting as a cross-version database migrator and a utility for restoring data from backup files. The project provides a programmable data transformation pipeline that allows for filtering keys, remapping database indices, and executing Lua scripts to modify commands and keys during transit. It supports zero-downtime synchronization by replicating snapshots and streaming incremental changes in real time. The tool covers a

Kvrocks एक डिस्क-आधारित NoSQL डेटाबेस और वितरित की-वैल्यू स्टोर है जो बड़े डेटासेट को भौतिक डिस्क पर बनाए रखने के लिए RocksDB स्टोरेज इंजन का लाभ उठाता है। इसे Redis-संगत डेटाबेस होने के लिए डिज़ाइन किया गया है, जो मौजूदा क्लाइंट लाइब्रेरी और टूल के साथ इंटरऑपरेबिलिटी सुनिश्चित करने के लिए मानक Redis संचार प्रोटोकॉल का उपयोग करता है। यह प्रोजेक्ट डिस्क-पर्सिस्टेंट स्टोरेज मॉडल को उन्नत पुनर्प्राप्ति क्षमताओं के साथ जोड़कर खुद को अलग करता है, जिसमें k-नियरेस्ट नेबर क्वेरी के लिए वेक्टर सर्च, फुल-टेक्स्ट सर्च इंडेक्सिंग और जियोस्पेशियल क्वेरी निष्पादन शामिल है। यह क्षैतिज स्केलिंग और उच्च उपलब्धता को सक्षम करने के लिए स्लॉट-आधारित डेटा वितरण और टोपोलॉजी प्रबंधन के साथ वितरित क्लस्टरिंग का समर्थन करता है। सिस्टम JSON दस्तावेजों, स्ट्रीम, सॉर्टेड सेट्स, हैश मैप्स और बिटमैप्स सहित डेटा स्टोरेज प्रकारों की एक विस्तृत श्रृंखला को कवर करता है। यह परमाणु लेनदेन (atomic transactions), लॉग-आधारित प्रतिकृति, और कार्डिनैलिटी अनुमान और सदस्यता जांच के लिए संभाव्य डेटा संरचनाओं जैसे व्यापक डेटा प्रबंधन टूल प्रदान करता है। इसके अतिरिक्त, इसमें सर्वर-साइड स्क्रिप्टिंग, पब/सब मैसेजिंग और सर्वर स्वास्थ्य और स्टोरेज इंजन प्रदर्शन के लिए विस्तृत मॉनिटरिंग शामिल है।

Nominatim एक स्वयं-होस्ट किया गया जियोस्पेशियल सर्च इंजन और जियोकोडिंग सर्वर है जो OpenStreetMap डेटा का उपयोग करता है। यह फॉरवर्ड जियोकोडिंग (पते या स्थानों के नाम को भौगोलिक निर्देशांक में बदलना) और रिवर्स जियोकोडिंग (निर्देशांक को मानव-पठनीय भौतिक पते में अनुवादित करना) के लिए एक पूर्ण इंफ्रास्ट्रक्चर प्रदान करता है। यह प्रोजेक्ट एक समर्पित डेटा आयातक (importer) की सुविधा देता है जो कच्चे मानचित्र डेटा को PostgreSQL जियोस्पेशियल डेटाबेस में पार्स करता है। यह एक कॉन्फ़िगर करने योग्य आयात पाइपलाइन के माध्यम से खुद को अलग करता है जो मानचित्र सुविधाओं को फ़िल्टर करने के लिए स्टाइल फाइलों का उपयोग करता है और लोकप्रियता और सुविधा प्रकार के आधार पर खोज परिणामों को प्राथमिकता देने के लिए महत्व-आधारित रैंकिंग सिस्टम का उपयोग करता है। यह सिस्टम स्थानिक इंडेक्सिंग, पदानुक्रमित पता गणना और फ़ज़ी लुकअप के लिए टोकन-आधारित सर्च इंडेक्सिंग सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह हाउस नंबर और पोस्टकोड सेंट्रोइड्स के लिए बाहरी डेटासेट के एकीकरण का समर्थन करता है, साथ ही वैश्विक स्रोतों के साथ स्थानीय डेटासेट को सिंक्रनाइज़ रखने के लिए वृद्धिशील डेटा प्रतिकृति का समर्थन करता है। यह सेवा एक ASGI-आधारित वेब एप्लिकेशन के रूप में तैनात की जाती है, जो JSON, GeoJSON और XML सहित कई आउटपुट प्रारूपों के समर्थन के साथ एक जियोस्पेशियल सर्च API प्रदान करती है।

Chunjun एक डिस्ट्रीब्यूटेड डेटा एकीकरण फ्रेमवर्क और SQL-आधारित ETL पाइपलाइन है जिसे विषम स्रोतों के बीच डेटा को सिंक्रोनाइज़ करने के लिए डिज़ाइन किया गया है। यह एक चेंज डेटा कैप्चर टूल और एक विषम डेटा सिंक्रोनाइज़र के रूप में कार्य करता है, जो विभिन्न डेटाबेस प्रकारों में डेटा को स्थानांतरित और बदलने के लिए एक डिस्ट्रीब्यूटेड प्रोसेसिंग वातावरण का उपयोग करता है। सिस्टम अपने प्लगइन-आधारित कनेक्टर आर्किटेक्चर द्वारा प्रतिष्ठित है, जो असमर्थित डेटा सिस्टम के लिए कनेक्टिविटी का विस्तार करने के लिए कस्टम सोर्स और सिंक प्लगइन्स के विकास की अनुमति देता है। यह रिलेशनल डेटाबेस लॉग्स से वास्तविक समय चेंज डेटा कैप्चर का समर्थन करता है और सोर्स से डेस्टिनेशन टेबल्स तक संरचनात्मक परिवर्तनों को स्वचालित रूप से लागू करने के लिए स्कीमा इवोल्यूशन प्रोपेगेशन को लागू करता है। फ्रेमवर्क वृद्धिशील डेटा सिंक्रोनाइज़ेशन और SQL लॉजिक का उपयोग करके क्रॉस-सोर्स डेटा गणना के लिए क्षमताएं प्रदान करता है। विश्वसनीयता को चेकपॉइंट-आधारित टास्क रिकवरी के माध्यम से प्रबंधित किया जाता है ताकि बाधित ट्रांसफर को फिर से शुरू किया जा सके और खराब डेटा प्रबंधन के लिए डेड-लेटर क्यूज़ का उपयोग किया जा सके ताकि विकृत रिकॉर्ड्स का ऑडिट किया जा सके। एकीकरण कार्यों को Docker के माध्यम से कंटेनरीकृत डिप्लॉयमेंट के समर्थन के साथ स्टैंडअलोन क्लस्टर्स, Yarn या Kubernetes वातावरण में डिप्लॉय किया जा सकता है।

Fast-GraphRAG is a system for generating and querying knowledge graphs from domain data. It uses a GraphRAG retrieval workflow to traverse structured data and isolate precise evidence for answering complex questions. The project utilizes an agent-driven retrieval framework to coordinate the querying of knowledge graphs and the synthesis of final answers. It supports incremental data synchronization, allowing structured knowledge bases to be updated in real time as source information evolves. The system integrates with API-compatible language models and embedding providers to power its data p

ingestr is a command-line tool for copying and syncing data between different database engines and third-party platforms without writing custom code. It functions as an ETL pipeline utility that extracts data from diverse sources and loads it into destinations. The tool features a schema-agnostic data loader that maps source fields to destination columns dynamically, removing the need for predefined static table definitions. It also operates as an incremental data synchronizer, updating destination tables by appending new records or merging changes to maintain current datasets. The system pr

GarminDB is a local fitness data store and self-hosted health data archive designed to import, archive, and analyze health and activity metrics from Garmin accounts. It functions as a fitness data aggregator and metric analysis tool, maintaining a private database of health records for independent tracking and custom querying. The system features a GPS activity heatmap generator to visualize frequently traveled paths and a plugin system for integrating specialized third-party data fields and custom metrics. It employs a local-first persistence model that retains original source files on disk

cve-search is a vulnerability search engine and database manager designed to index, synchronize, and query CVE and CPE security vulnerability data. It functions as a security data warehouse that imports vulnerability feeds into a local database to enable fast, keyword-based discovery of security flaws. The project provides a web-based vulnerability browser and a programmatic JSON API for retrieving records and risk scores. It utilizes full-text indexing for vulnerability descriptions and implements an identity-verified security portal using the OpenID Connect standard for user authentication.

OSV is a distributed database and aggregator of open-source security advisories that uses a standardized vulnerability schema to track security flaws. It functions as a system for collecting and normalizing security data from diverse ecosystems into a single unified format, providing a web API for querying package vulnerabilities and submitting standardized records. The project distinguishes itself through a security advisory distribution service that supports bulk dataset exports via cloud storage buckets and incremental synchronization of security record updates. It also employs sandbox-bas

This project is a memory-safe library implemented in Rust that provides a high-performance engine for managing shared, distributed data states. It functions as a conflict-free replicated data type implementation, enabling real-time collaborative editing and state synchronization across distributed systems without the need for a central server or manual conflict resolution. The library distinguishes itself through a cross-language binding framework that allows native applications in environments like Python, Swift, and WebAssembly to interact with the same shared data protocol. It utilizes a c