Awesome GitHub RepositoriesSegmented Storage Architectures

Elasticsearch is a distributed search engine and NoSQL document store designed for full-text search and real-time data retrieval. It functions as a RESTful data indexer and vector database, allowing for the storage and management of structured JSON documents across multiple nodes. The system distinguishes itself through its ability to serve as a log analytics platform for monitoring system health and security events. It incorporates vector search implementation using mathematical embeddings to support generative AI and augmented generation applications. The platform covers a broad range of c

Qdrant is a high-performance vector similarity database designed to store, index, and search high-dimensional vectors alongside structured metadata. It functions as a distributed search engine that manages large-scale data clusters, providing low-latency retrieval and complex filtering capabilities. The system is built to serve as a specialized middleware layer, connecting machine learning pipelines and AI agents to persistent storage for intelligent information retrieval and recommendation tasks. The platform distinguishes itself through advanced retrieval techniques, including support for h

Tantivy is a library for building full-text search engines and indexing frameworks. It provides the core components necessary to organize large collections of text data into searchable structures, enabling the execution of complex queries and the retrieval of information across structured document sets. The engine utilizes an inverted index architecture to map terms to document identifiers, supported by a segment-based storage model that balances search performance with write throughput. It incorporates specialized data structures, including finite state transducers for term dictionaries and

Apache Pulsar is a cloud-native message queue and distributed publish-subscribe messaging system. It serves as a multi-tenant event streaming platform designed to route data streams for asynchronous communication between producers and consumers. The system distinguishes itself through geo-replication, synchronizing data across multiple geographic regions to ensure high availability and low latency. It implements a multi-tenant architecture that provides isolation and resource management for millions of independent topics. The platform covers high-throughput data streaming and event-driven da

Apache Druid is a real-time OLAP database and distributed analytics engine. It functions as a columnar time-series database designed for high-performance analytical queries and the real-time ingestion of streaming and batch datasets. The system provides a framework for high-concurrency analytics, allowing multiple simultaneous users to execute SQL and native queries across large-scale data. It supports mixed data ingestion, combining real-time streaming and batch loading into a single system for unified analysis. The platform includes capabilities for distributed cluster management, enabling

Bleve is a search indexing engine library written in Go, designed to provide full-text search and document retrieval capabilities for embedded application data. It functions as a framework for indexing structured or unstructured information, allowing developers to build searchable collections that support complex query logic and data analysis. The engine distinguishes itself through a pluggable analysis pipeline that normalizes text before indexing, alongside support for vector similarity search to identify semantically related content. It utilizes finite-state transducer automata for efficie

This is a Chinese text segmentation library that converts Chinese characters into their phonetic pinyin representation. It functions as a polyphone disambiguation tool, resolving ambiguous pronunciations for multi-sound characters using word segmentation and context analysis, and also serves as a pinyin sorting utility for ordering Chinese strings alphabetically. The library distinguishes itself through surname-aware pronunciation switching, applying specialized phonetic rules for Chinese surnames with non-standard pronunciations in name contexts. It supports pluggable word segmentation algor

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

Reth is a modular, high-performance Ethereum execution layer client written in Rust. It serves as a full Ethereum node that syncs, validates, and serves blockchain data, functioning as an archive node implementation, a high-throughput RPC node server, and a snapshot sync tool. The project is built around a modular component architecture that allows assembling custom node behavior by swapping independent Rust crates for consensus, execution, mempool, and networking. The client distinguishes itself through a staged sync pipeline that downloads headers and bodies online before processing the res

BililiveRecorder, Bilibili से लाइव प्रसारण और संबंधित चैट लॉग्स को स्वचालित रूप से कैप्चर करने और लोकल स्टोरेज में सहेजने के लिए एक टूल है। यह एक लाइव स्ट्रीम ऑटोमेशन बॉट के रूप में कार्य करता है जो बिना मैनुअल हस्तक्षेप के रिकॉर्डिंग कार्यों को ट्रिगर करने के लिए रियल टाइम में चैनल स्टेटस की निगरानी करता है। यह प्रोजेक्ट कैप्चर सेटिंग्स को कॉन्फ़िगर करने और टारगेट चैनल्स को मैनेज करने के लिए एक वेब-आधारित रिकॉर्डिंग मैनेजर और एक ग्राफिकल इंटरफेस प्रदान करता है। यह कई समवर्ती प्रसारणों को रिकॉर्ड करने को सपोर्ट करता है और सर्वर-साइड रुकावटों के कारण खराब हुई मीडिया को रिकवर करने के लिए एक समर्पित सिस्टम शामिल करता है। यह एप्लिकेशन मल्टी-प्रोसेस टास्क आइसोलेशन और डेटा हानि को रोकने के लिए सेगमेंटेड फाइल स्टोरेज के माध्यम से रिकॉर्डिंग को मैनेज करता है। इसमें चैट संदेशों को ब्राउज़र-संगत फाइलों के रूप में कैप्चर करने की क्षमताएं शामिल हैं और क्रॉस-प्लेटफॉर्म स्थिरता के लिए कंटेनराइज्ड डिप्लॉयमेंट प्रदान करता है।

WAL-G एक डेटाबेस क्लाउड बैकअप टूल और राइट-अहेड लॉग आर्काइवर है, जिसे डिजास्टर रिकवरी और पॉइंट-इन-टाइम रिकवरी के लिए डिज़ाइन किया गया है। यह डेटा की दीर्घकालिक सुरक्षा सुनिश्चित करने के लिए डेटाबेस स्टेट और ट्रांजेक्शन लॉग को क्लाउड स्टोरेज प्रोवाइडर्स में आर्काइव करता है। यह प्रोजेक्ट क्लाउड ऑब्जेक्ट स्टोरेज में संग्रहीत डेटाबेस बैकअप को कंप्रेस, एन्क्रिप्ट और प्रून (prune) करने के लिए एक मैनेजर प्रदान करता है। यह विशेष रूप से बेस बैकअप को फेच करके और ट्रांजेक्शन लॉग को रीप्ले करके डेटाबेस को एक विशिष्ट टाइमस्टैम्प पर रिस्टोर करने में सक्षम बनाता है। इस टूल की क्षमताओं में मल्टी-इंजन बैकअप और रिस्टोरेशन शामिल है, जिसमें फुल और डेल्टा बैकअप का निर्माण भी शामिल है। यह इन्वेंट्री ट्रैकिंग और स्वचालित प्रूनिंग नीतियों के माध्यम से बैकअप लाइफसाइकिल का प्रबंधन करता है, और इसमें लॉग आर्काइव और टेबल फाइलों की अखंडता को सत्यापित करने के लिए यूटिलिटीज शामिल हैं। बैकअप और रिस्टोर ऑपरेशंस के परीक्षण के लिए क्लाउड स्टोरेज API को एमुलेट करने हेतु एक लोकल प्रॉक्सी भी उपलब्ध है।