2 रिपॉजिटरी
Awesome GitHub RepositoriesHeterogeneous Data Synchronization
Processes for moving and aligning data between different storage technologies and formats.
Distinct from Heterogeneous Data Loading: Describes the end-to-end migration between different storage types, unlike the candidate which focuses on loading columns into a single structure.
Explore 2 awesome GitHub repositories matching data & databases · Heterogeneous Data Synchronization. Refine with filters or upvote what's useful.
Awesome Heterogeneous Data Synchronization GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- alibaba/datax
alibaba/DataX
17,241GitHub पर देखेंDataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data
Enables data migration between diverse storage types such as relational databases and NoSQL stores using a standardized internal format.
Java - dtstack/chunjun
DTStack/chunjun
4,104GitHub पर देखेंChunjun एक डिस्ट्रीब्यूटेड डेटा एकीकरण फ्रेमवर्क और SQL-आधारित ETL पाइपलाइन है जिसे विषम स्रोतों के बीच डेटा को सिंक्रोनाइज़ करने के लिए डिज़ाइन किया गया है। यह एक चेंज डेटा कैप्चर टूल और एक विषम डेटा सिंक्रोनाइज़र के रूप में कार्य करता है, जो विभिन्न डेटाबेस प्रकारों में डेटा को स्थानांतरित और बदलने के लिए एक डिस्ट्रीब्यूटेड प्रोसेसिंग वातावरण का उपयोग करता है। सिस्टम अपने प्लगइन-आधारित कनेक्टर आर्किटेक्चर द्वारा प्रतिष्ठित है, जो असमर्थित डेटा सिस्टम के लिए कनेक्टिविटी का विस्तार करने के लिए कस्टम सोर्स और सिंक प्लगइन्स के विकास की अनुमति देता है। यह रिलेशनल डेटाबेस लॉग्स से वास्तविक समय चेंज डेटा कैप्चर का समर्थन करता है और सोर्स से डेस्टिनेशन टेबल्स तक संरचनात्मक परिवर्तनों को स्वचालित रूप से लागू करने के लिए स्कीमा इवोल्यूशन प्रोपेगेशन को लागू करता है। फ्रेमवर्क वृद्धिशील डेटा सिंक्रोनाइज़ेशन और SQL लॉजिक का उपयोग करके क्रॉस-सोर्स डेटा गणना के लिए क्षमताएं प्रदान करता है। विश्वसनीयता को चेकपॉइंट-आधारित टास्क रिकवरी के माध्यम से प्रबंधित किया जाता है ताकि बाधित ट्रांसफर को फिर से शुरू किया जा सके और खराब डेटा प्रबंधन के लिए डेड-लेटर क्यूज़ का उपयोग किया जा सके ताकि विकृत रिकॉर्ड्स का ऑडिट किया जा सके। एकीकरण कार्यों को Docker के माध्यम से कंटेनरीकृत डिप्लॉयमेंट के समर्थन के साथ स्टैंडअलोन क्लस्टर्स, Yarn या Kubernetes वातावरण में डिप्लॉय किया जा सकता है।
Transfers and aligns data between different heterogeneous data sources using a distributed integration framework.
Javabigdatadata-integrationflink
