Awesome GitHub RepositoriesObject-Storage Persistence

Thanos is a distributed metrics query engine and monitoring scalability suite designed to provide a unified interface for aggregating data from multiple Prometheus servers and clusters. It functions as a high availability monitoring backend that eliminates single points of failure by deduplicating data from replicated instances. The system enables long-term retention by persisting time-series data to cloud-native object storage, allowing for unlimited historical archiving beyond the limits of local disks. It further optimizes this storage through a downsampling and retention manager that comp

Lance is a versioned columnar data format and storage engine designed as a multimodal AI lakehouse. It serves as a vector database storage engine and a cloud object store dataset manager, organizing images, video, audio, and embeddings into a unified format optimized for machine learning workflows. The project distinguishes itself by combining a columnar layout for structured data with a specialized blob store for large multimodal tensors. It implements a hybrid search engine that integrates vector similarity search, full-text search, and SQL analytics on a single dataset, supported by a stor

Mimir एक मल्टी-टेनेंट टाइम सीरीज़ डेटाबेस और वितरित मेट्रिक्स स्टोर है जिसे स्केलेबल टेलीमेट्री के लिए डिज़ाइन किया गया है। यह एक Prometheus संगत बैकएंड के रूप में कार्य करता है, जो टाइम-सीरीज़ डेटा की विशाल मात्रा के लिए दीर्घकालिक स्टोरेज और एक स्केलेबल क्वेरी इंजन प्रदान करता है। यह सिस्टम मल्टी-टेनेंट ऑब्जर्वेबिलिटी के लिए बनाया गया है, जो एक ही क्लस्टर के भीतर स्वतंत्र टीमों या संगठनों के लिए टेलीमेट्री डेटा और संसाधन सीमाओं को अलग करता है। यह बाहरी डेटाबेस निर्भरता को खत्म करने के लिए पर्सिस्टेंस के लिए ऑब्जेक्ट स्टोरेज का उपयोग करके, वितरित क्लस्टर में डेटा को शार्डिंग और रेप्लिकेट करके उच्च उपलब्धता और स्थायित्व सुनिश्चित करता है। यह प्रोजेक्ट क्रॉस-रीजन विश्लेषण के लिए ग्लोबल मेट्रिक्स एग्रीगेशन और पैरेललाइज़ेशन और कैशिंग का उपयोग करके वितरित क्वेरी निष्पादन सहित व्यापक क्षमताओं को कवर करता है। यह फेडरेटेड अलर्टिंग, सिंथेटिक मॉनिटरिंग और समस्या निवारण में तेज़ी लाने के लिए AI-संचालित घटना समाधान वर्कफ़्लो जैसे ऑब्जर्वेबिलिटी टूलिंग को भी एकीकृत करता है। प्रशासनिक नियंत्रणों में टेनेंट संसाधन कोटा, प्रति-उपयोगकर्ता संसाधन ओवरराइड और वर्कलोड अलगाव के लिए शफल-शार्डिंग शामिल हैं।

Helix DB is a distributed graph database and knowledge graph platform that persists nodes and edges on object storage for durable and unlimited scaling. It operates as an ACID-compliant system, ensuring data consistency through serializable snapshot isolation during concurrent operations. The project distinguishes itself by combining a vector search engine and a property graph, utilizing hybrid vector and full-text search to locate entry points for graph traversals. It enables dynamic graph querying through a domain-specific language, allowing complex logic and recursive queries to be execute

SlateDB is a cloud-native key-value store and distributed database engine that utilizes a log-structured merge-tree architecture. It serves as a transactional storage layer designed to persist data directly to cloud object storage. The engine differentiates itself by optimizing read performance for remote storage through the use of bloom filters and multi-level block caching. It employs a single-writer multi-reader model and provides the ability to create zero-copy clones via copy-on-write checkpointing. The system supports atomic transactions, range queries, and snapshot-based concurrency c

Serverless Registry is a container registry service implemented as a serverless application. It provides a platform for hosting and managing container images by leveraging distributed object storage and edge computing to handle image layers and metadata. The project distinguishes itself by utilizing edge-side request proxying and lazy pull-through caching to manage external image dependencies. By fetching and persisting remote images on demand, it improves availability and access speeds for container runtimes. The system also employs chunked stream processing to manage large image layers, ens