Awesome GitHub RepositoriesBinary Log Streaming Tools

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

gh-ost is a triggerless online schema migration tool for MySQL. It functions as a replication client and table management utility that synchronizes data from a source table to a shadow table using binary logs, allowing for table structure modifications without locking original tables or causing downtime. The tool distinguishes itself by using binary-log-based replication instead of triggers to stream row-based events to a shadow table. It implements load-aware throttling and dynamic performance tuning to adjust migration speed based on server load and replication lag. Users can monitor and ad

go-mysql Go प्रोग्रामिंग भाषा के लिए एक टूलकिट है जिसे MySQL प्रोटोकॉल हैंडलर्स, बाइनरी लॉग रेप्लिकेशन सिस्टम, मॉक सर्वर्स और स्कीमा पार्सिंग यूटिलिटीज को लागू करने के लिए डिज़ाइन किया गया है। यह नेटिव नेटवर्क प्रोटोकॉल और बाइनरी लॉग स्ट्रीम के माध्यम से MySQL सर्वर्स के साथ इंटरैक्ट करने के लिए आवश्यक लाइब्रेरीज़ प्रदान करता है। यह प्रोजेक्ट लो-लेवल नेटवर्क पैकेट्स को पार्स और डिकोड करके कस्टम डेटाबेस प्रॉक्सी या मॉक सर्वर्स के निर्माण को सक्षम बनाता है। इसमें विभिन्न स्टोरेज सिस्टम्स में डेटा को सिंक्रोनाइज़ करने के लिए बाइनरी लॉग्स को स्ट्रीम और प्रोसेस करने के लिए एक रेप्लिकेशन टूल, और डेटाबेस संरचनात्मक परिभाषाओं को निकालने और विश्लेषण करने के लिए एक स्कीमा पार्सर भी शामिल है। टूलकिट डेटाबेस इंटीग्रेशन क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है, जिसमें कनेक्शन मैनेजमेंट, क्वेरी निष्पादन और रीयल-टाइम डेटा रेप्लिकेशन वर्कफ़्लो का प्रबंधन शामिल है। यह स्कीमा माइग्रेशन के ऑटोमेशन और बाहरी स्टोरेज सिस्टम्स में रिकॉर्ड्स के सिंक्रोनाइज़ेशन का भी समर्थन करता है।

This project is a MySQL database driver for Node.js that establishes network connections and executes SQL queries using a native communication protocol. It functions as an asynchronous SQL client, providing a promise-based query interface and support for async/await patterns to manage non-blocking database operations. The library includes a full MySQL protocol implementation, serving as a toolkit for building custom database servers, proxies, or clients. It also operates as a connection pool manager and an injection prevention tool, utilizing prepared statements and parameterized queries to s

WAL-G एक डेटाबेस क्लाउड बैकअप टूल और राइट-अहेड लॉग आर्काइवर है, जिसे डिजास्टर रिकवरी और पॉइंट-इन-टाइम रिकवरी के लिए डिज़ाइन किया गया है। यह डेटा की दीर्घकालिक सुरक्षा सुनिश्चित करने के लिए डेटाबेस स्टेट और ट्रांजेक्शन लॉग को क्लाउड स्टोरेज प्रोवाइडर्स में आर्काइव करता है। यह प्रोजेक्ट क्लाउड ऑब्जेक्ट स्टोरेज में संग्रहीत डेटाबेस बैकअप को कंप्रेस, एन्क्रिप्ट और प्रून (prune) करने के लिए एक मैनेजर प्रदान करता है। यह विशेष रूप से बेस बैकअप को फेच करके और ट्रांजेक्शन लॉग को रीप्ले करके डेटाबेस को एक विशिष्ट टाइमस्टैम्प पर रिस्टोर करने में सक्षम बनाता है। इस टूल की क्षमताओं में मल्टी-इंजन बैकअप और रिस्टोरेशन शामिल है, जिसमें फुल और डेल्टा बैकअप का निर्माण भी शामिल है। यह इन्वेंट्री ट्रैकिंग और स्वचालित प्रूनिंग नीतियों के माध्यम से बैकअप लाइफसाइकिल का प्रबंधन करता है, और इसमें लॉग आर्काइव और टेबल फाइलों की अखंडता को सत्यापित करने के लिए यूटिलिटीज शामिल हैं। बैकअप और रिस्टोर ऑपरेशंस के परीक्षण के लिए क्लाउड स्टोरेज API को एमुलेट करने हेतु एक लोकल प्रॉक्सी भी उपलब्ध है।