2 रिपॉजिटरी
Awesome GitHub RepositoriesDirty Data Capture
Mechanisms that isolate and record data that fails type conversion or validation during the ETL process.
Distinct from Data Quality Monitors: Focuses on capturing failing records for quality assurance, rather than tracking general health metrics over time.
Explore 2 awesome GitHub repositories matching data & databases · Dirty Data Capture. Refine with filters or upvote what's useful.
Awesome Dirty Data Capture GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- alibaba/datax
alibaba/DataX
17,241GitHub पर देखेंDataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data
Captures and isolates records that fail during transfer due to type conversion errors to maintain data quality.
Java - dtstack/chunjun
DTStack/chunjun
4,104GitHub पर देखेंChunjun एक डिस्ट्रीब्यूटेड डेटा एकीकरण फ्रेमवर्क और SQL-आधारित ETL पाइपलाइन है जिसे विषम स्रोतों के बीच डेटा को सिंक्रोनाइज़ करने के लिए डिज़ाइन किया गया है। यह एक चेंज डेटा कैप्चर टूल और एक विषम डेटा सिंक्रोनाइज़र के रूप में कार्य करता है, जो विभिन्न डेटाबेस प्रकारों में डेटा को स्थानांतरित और बदलने के लिए एक डिस्ट्रीब्यूटेड प्रोसेसिंग वातावरण का उपयोग करता है। सिस्टम अपने प्लगइन-आधारित कनेक्टर आर्किटेक्चर द्वारा प्रतिष्ठित है, जो असमर्थित डेटा सिस्टम के लिए कनेक्टिविटी का विस्तार करने के लिए कस्टम सोर्स और सिंक प्लगइन्स के विकास की अनुमति देता है। यह रिलेशनल डेटाबेस लॉग्स से वास्तविक समय चेंज डेटा कैप्चर का समर्थन करता है और सोर्स से डेस्टिनेशन टेबल्स तक संरचनात्मक परिवर्तनों को स्वचालित रूप से लागू करने के लिए स्कीमा इवोल्यूशन प्रोपेगेशन को लागू करता है। फ्रेमवर्क वृद्धिशील डेटा सिंक्रोनाइज़ेशन और SQL लॉजिक का उपयोग करके क्रॉस-सोर्स डेटा गणना के लिए क्षमताएं प्रदान करता है। विश्वसनीयता को चेकपॉइंट-आधारित टास्क रिकवरी के माध्यम से प्रबंधित किया जाता है ताकि बाधित ट्रांसफर को फिर से शुरू किया जा सके और खराब डेटा प्रबंधन के लिए डेड-लेटर क्यूज़ का उपयोग किया जा सके ताकि विकृत रिकॉर्ड्स का ऑडिट किया जा सके। एकीकरण कार्यों को Docker के माध्यम से कंटेनरीकृत डिप्लॉयमेंट के समर्थन के साथ स्टैंडअलोन क्लस्टर्स, Yarn या Kubernetes वातावरण में डिप्लॉय किया जा सकता है।
Isolates and stores malformed records that fail processing to prevent pipeline crashes and enable correction.
Javabigdatadata-integrationflink
