Awesome GitHub RepositoriesLog Processing Engines

Canal is a database replication middleware that performs change data capture by simulating a database replica. It monitors transaction logs to stream incremental data modifications to downstream systems in real time, acting as an event streaming infrastructure that transforms low-level binary logs into structured, consumable message streams. The project distinguishes itself through a high-throughput architecture that utilizes concurrent multi-threaded parsing and stateful log position tracking to ensure reliable data delivery. It employs a pluggable sink architecture that decouples data extra

This project serves as a comprehensive technical reference for the architecture and design of data-intensive applications. It provides a structured analysis of the fundamental principles required to build reliable, scalable, and maintainable software systems, covering the core trade-offs inherent in modern data infrastructure. The repository explores the mechanics of distributed data management, including strategies for replication, partitioning, and achieving consensus across multiple nodes. It details the design of storage engines, indexing techniques, and transaction management models, whi

NeDB is a JavaScript embedded NoSQL document store designed for Node.js and the browser. It functions as an in-memory data store with the option to persist documents to a local file system, ensuring data survives application restarts. The project utilizes a MongoDB-compatible API to perform data operations, allowing it to serve as a lightweight document indexing system and a persistent file database without requiring a separate database server. Capabilities include querying, inserting, updating, and deleting documents, as well as the ability to create indexes on specific fields to accelerate

ToyDB is a distributed SQL database that provides a system for storing and querying data across multiple nodes. It focuses on maintaining strong consistency and fault tolerance through the implementation of a distributed consensus algorithm. The project distinguishes itself by supporting historical data versioning, enabling time-travel queries to retrieve the state of the database from a specific point in the past. It utilizes multi-version concurrency control to manage ACID transactions and ensure data integrity during concurrent operations. The system covers relational data modeling with t

यह प्रोजेक्ट Raft सर्वसम्मति प्रोटोकॉल का विवरण देने वाले मूल शोध पत्र का चीनी भाषा अनुवाद है। यह एक तकनीकी शोध अनुवाद और सर्वसम्मति प्रोटोकॉल गाइड के रूप में कार्य करता है, जो Raft एल्गोरिदम के विनिर्देशों को चीनी भाषियों के लिए सुलभ बनाता है। दस्तावेज़ीकरण वितरित सिस्टम के मुख्य तंत्रों को कवर करता है, जिसमें लीडर इलेक्शन, लॉग रेप्लिकेशन और सुरक्षा प्रोटोकॉल शामिल हैं। यह दोष-सहिष्णु क्लस्टर प्रबंधन प्राप्त करने के लिए कई सर्वर्स पर सत्य का एक एकल स्रोत बनाए रखने के तरीके की विस्तृत व्याख्या प्रदान करता है। सामग्री वितरित स्टेट मशीन रेप्लिकेशन और लॉग प्रबंधन को संबोधित करती है। यह तकनीकी अवधारणाओं को कवर करती है जैसे हार्टबीट-संचालित लाइवनेस ट्रैकिंग, रैंडमाइज्ड टाइमआउट इलेक्शन, टर्म-आधारित स्थिरता वर्ज़निंग, और स्नैपशॉट-आधारित लॉग कॉम्पेक्शन।

m3 उच्च-रिज़ॉल्यूशन मेट्रिक्स और उच्च-कार्डिनैलिटी डेटा प्रबंधन के लिए डिज़ाइन किया गया एक वितरित टाइम सीरीज़ डेटाबेस है। यह एक स्केलेबल स्टोरेज सिस्टम और मल्टी-क्लस्टर क्वेरी इंजन के रूप में कार्य करता है, जो स्टोरेज में कमिट होने से पहले डेटा को डाउनसैंपल और सारांशित करने में सक्षम एक वितरित मेट्रिक्स एग्रीगेटर प्रदान करता है। यह प्रोजेक्ट नोड मेंबरशिप और शार्ड प्लेसमेंट के लिए etcd का उपयोग करके एक समन्वित क्लस्टर मॉडल के माध्यम से खुद को अलग करता है। यह Prometheus रिमोट राइट प्रोटोकॉल, InfluxDB लाइन प्रोटोकॉल और Graphite Carbon प्लेनटेक्स्ट प्रोटोकॉल सहित कई इंजेक्शन प्रोटोकॉल का समर्थन करता है, और PromQL व Graphite के लिए संगत क्वेरी इंटरफेस प्रदान करता है। यह सिस्टम कॉलम-आधारित टाइम सीरीज़ स्टोरेज, सिंक्रोनस डेटा रेप्लिकेशन और वितरित क्वेरी फैन-आउट सहित व्यापक क्षमता क्षेत्रों को कवर करता है। इसमें डेटा लाइफसाइकिल ऑटोमेशन, कोरम-आधारित कंसिस्टेंसी ट्यूनिंग और अलग-अलग नेमस्पेस में डेटा अखंडता व पुनर्प्राप्ति गति बनाए रखने के लिए टैग-आधारित सीरीज़ इंडेक्सिंग शामिल है। क्लस्टर ऑर्केस्ट्रेशन और कंपोनेंट प्लेसमेंट को उच्च उपलब्धता और संतुलित डेटा वितरण सुनिश्चित करने के लिए ऑटोमेटेड टूल्स और ऑपरेटर्स के माध्यम से प्रबंधित किया जाता है।

braft is an embeddable C++ library that implements the Raft consensus algorithm, providing a distributed consensus engine for building fault-tolerant, replicated state machines. At its core, it manages leader election, log replication, cluster membership changes, and state machine synchronization across a cluster of nodes, ensuring strong consistency and data durability even in the face of node failures. The library distinguishes itself through a comprehensive set of mechanisms for reliable distributed coordination. It uses a randomized timeout-based leader election process with term manageme

sofa-jraft is a Java implementation of the Raft consensus algorithm. It serves as a distributed consensus engine and linearizable state machine designed to ensure high availability and data consistency across a cluster of nodes. The project provides a replicated key-value store and a coordination engine for managing distributed state. It distinguishes itself through support for multi-group consensus sharding to distribute traffic and a service provider interface that allows for custom log storage and entry encoding implementations. The system covers a wide range of distributed capabilities,

NutsDB is an ACID-compliant, embedded transactional storage engine that functions as both a disk-backed key-value store and an in-memory data structure store. It provides atomic and serializable transactions with commit and rollback capabilities to ensure strict data consistency for applications requiring a lightweight persistence layer. The engine distinguishes itself by supporting a variety of complex data types, including lists, sets, and sorted sets, alongside standard byte-slice storage. It implements a transactional storage model featuring hot backups and a compaction algorithm to maint