2 रिपॉजिटरी
Awesome GitHub RepositoriesSQL-Based CDC Integrations
Using SQL statements to define and manage change data capture sources.
Distinct from SQL Statement Executions: Specifically relates to using SQL for CDC configuration, which is distinct from general SQL query execution or ML integration.
Explore 2 awesome GitHub repositories matching data & databases · SQL-Based CDC Integrations. Refine with filters or upvote what's useful.
Awesome SQL-Based CDC Integrations GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- apache/flink-cdc
apache/flink-cdc
6,430GitHub पर देखेंThis project is a streaming data integration framework that captures real-time database changes and synchronizes them with downstream systems. It operates as a distributed streaming ETL and database synchronizer, reading database logs and snapshots to propagate row-level modifications to target sinks. The system supports declarative data integration, allowing users to define source-to-sink data flows using SQL or YAML configurations. It distinguishes itself by automating schema evolution to maintain synchronization when source structures change and ensuring exactly-once delivery and processin
Defines change data capture sources using SQL statements to query and process database changes.
Javabatchcdcchange-data-capture - dtstack/chunjun
DTStack/chunjun
4,104GitHub पर देखेंChunjun एक डिस्ट्रीब्यूटेड डेटा एकीकरण फ्रेमवर्क और SQL-आधारित ETL पाइपलाइन है जिसे विषम स्रोतों के बीच डेटा को सिंक्रोनाइज़ करने के लिए डिज़ाइन किया गया है। यह एक चेंज डेटा कैप्चर टूल और एक विषम डेटा सिंक्रोनाइज़र के रूप में कार्य करता है, जो विभिन्न डेटाबेस प्रकारों में डेटा को स्थानांतरित और बदलने के लिए एक डिस्ट्रीब्यूटेड प्रोसेसिंग वातावरण का उपयोग करता है। सिस्टम अपने प्लगइन-आधारित कनेक्टर आर्किटेक्चर द्वारा प्रतिष्ठित है, जो असमर्थित डेटा सिस्टम के लिए कनेक्टिविटी का विस्तार करने के लिए कस्टम सोर्स और सिंक प्लगइन्स के विकास की अनुमति देता है। यह रिलेशनल डेटाबेस लॉग्स से वास्तविक समय चेंज डेटा कैप्चर का समर्थन करता है और सोर्स से डेस्टिनेशन टेबल्स तक संरचनात्मक परिवर्तनों को स्वचालित रूप से लागू करने के लिए स्कीमा इवोल्यूशन प्रोपेगेशन को लागू करता है। फ्रेमवर्क वृद्धिशील डेटा सिंक्रोनाइज़ेशन और SQL लॉजिक का उपयोग करके क्रॉस-सोर्स डेटा गणना के लिए क्षमताएं प्रदान करता है। विश्वसनीयता को चेकपॉइंट-आधारित टास्क रिकवरी के माध्यम से प्रबंधित किया जाता है ताकि बाधित ट्रांसफर को फिर से शुरू किया जा सके और खराब डेटा प्रबंधन के लिए डेड-लेटर क्यूज़ का उपयोग किया जा सके ताकि विकृत रिकॉर्ड्स का ऑडिट किया जा सके। एकीकरण कार्यों को Docker के माध्यम से कंटेनरीकृत डिप्लॉयमेंट के समर्थन के साथ स्टैंडअलोन क्लस्टर्स, Yarn या Kubernetes वातावरण में डिप्लॉय किया जा सकता है।
Enables the definition of data integration and CDC workflows using SQL scripts compatible with streaming syntax.
Javabigdatadata-integrationflink
