Awesome GitHub RepositoriesSorted Indexing

This project serves as a comprehensive technical reference for the architecture and design of data-intensive applications. It provides a structured analysis of the fundamental principles required to build reliable, scalable, and maintainable software systems, covering the core trade-offs inherent in modern data infrastructure. The repository explores the mechanics of distributed data management, including strategies for replication, partitioning, and achieving consensus across multiple nodes. It details the design of storage engines, indexing techniques, and transaction management models, whi

Badger is an embeddable key-value store written in Go that provides persistent data storage for byte keys and values. It is a persistent database that utilizes a tiered LSM tree storage model to optimize disk storage and retrieval efficiency. The system features an ACID transaction engine that ensures data integrity through serializable snapshot isolation and multi-version concurrency control. It also provides an encrypted key-value store with data-at-rest encryption and a managed encrypted key registry to secure stored information. The engine covers a broad set of capabilities including hig

Bolt is a single-file embedded key-value store for Go applications. It is an ACID transactional database that organizes data in B+trees on disk to provide efficient sorted key retrieval and range scans. The system uses a memory-mapped model to map the database file directly into the process address space for fast random-access reads. The project distinguishes itself through a multi-version concurrency control architecture that allows multiple simultaneous readers to access a consistent snapshot of data without blocking a writer. It employs a single-writer multi-reader locking model and uses a

This project is a comprehensive reference for algorithms and data structures used to solve complex computational problems in competitive programming. It serves as a technical resource for implementing advanced mathematical programming, computational geometry, and graph theory. The repository provides detailed implementation guides for diversifying algorithmic techniques, including top-down and bottom-up dynamic programming optimization, number theory, and linear algebra. It features specific guides for complex tasks such as constructing planar graphs, solving linear Diophantine equations, and

RedisInsight is a graphical user interface and management tool for browsing, analyzing, and administering Redis databases. It provides a visual environment for exploring key-value data structures, managing database instances, and performing data analysis across different operating systems and deployments. The tool distinguishes itself by providing dedicated visual managers for complex operations, including a vector database manager for configuring embeddings and similarity searches, a query workbench for executing raw commands and Lua scripts, and a performance monitoring dashboard for tracki

Lance is a versioned columnar data format and storage engine designed as a multimodal AI lakehouse. It serves as a vector database storage engine and a cloud object store dataset manager, organizing images, video, audio, and embeddings into a unified format optimized for machine learning workflows. The project distinguishes itself by combining a columnar layout for structured data with a specialized blob store for large multimodal tensors. It implements a hybrid search engine that integrates vector similarity search, full-text search, and SQL analytics on a single dataset, supported by a stor

goleveldb Go के लिए एक एम्बेडेड की-वैल्यू स्टोरेज डेटाबेस है। यह स्थानीय डेटा पर्सिस्टेंस और इंडेक्सिंग प्रदान करता है, जिससे एप्लिकेशन्स को अलग सर्वर की आवश्यकता के बिना अद्वितीय कुंजियों (keys) का उपयोग करके जानकारी स्टोर और पुनः प्राप्त करने की अनुमति मिलती है। डेटाबेस लॉग-स्ट्रक्चर्ड मर्ज-ट्री और लेक्सिकोग्राफिकल ऑर्डर में पर्सिस्टेंट इंडेक्सिंग का उपयोग करके डेटा को व्यवस्थित करता है। यह संरचना कुशल रेंज स्कैन और प्रीफिक्स-आधारित सर्च का समर्थन करती है। सिस्टम में डेटा स्थिरता सुनिश्चित करने और आंशिक अपडेट से बचने के लिए एटॉमिक बैच राइट्स की क्षमताएं शामिल हैं। प्रदर्शन को राइट-अहेड लॉगिंग, मेमोरी-आधारित बफरिंग और अनावश्यक डिस्क इनपुट और आउटपुट को कम करने के लिए ब्लूम फिल्टर्स के माध्यम से प्रबंधित किया जाता है।

RediSearch is a Redis module that adds secondary indexing, full-text search, aggregation, and vector similarity search directly into the in-memory data store. It operates as an in-process search engine, extending the core key-value store with capabilities for indexing hash and JSON documents, enabling fast field-level lookups beyond primary key access. The module provides a full-text search engine built on inverted indexes, supporting stemming, fuzzy matching, and relevance scoring via tf-idf. It also includes a vector similarity search engine using a Hierarchical Navigable Small World graph

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

GDAL एक MIT-लाइसेंस प्राप्त ओपन सोर्स ट्रांसलेटर लाइब्रेरी है जो सैकड़ों फ़ाइल प्रारूपों में भू-स्थानिक रैस्टर और वेक्टर डेटा को पढ़ने और लिखने के लिए एक एकीकृत अमूर्त डेटा मॉडल प्रदान करती है। यह एक मूलभूत भू-स्थानिक डेटा अनुवाद लाइब्रेरी के रूप में कार्य करती है, जो एक एकल, सुसंगत इंटरफेस के माध्यम से विविध भू-स्थानिक डेटा प्रारूपों तक पहुंच को सक्षम बनाती है। लाइब्रेरी अपनी मुख्य कार्यक्षमता को कमांड-लाइन यूटिलिटीज के माध्यम से उजागर करती है जो उपयोगकर्ताओं को प्रारूपों के बीच भू-स्थानिक डेटा का अनुवाद, रूपांतरण और प्रसंस्करण करने की अनुमति देती है। एक कोऑर्डिनेट ट्रांसफॉर्मेशन इंजन स्थानिक संदर्भ प्रणालियों के बीच रूपांतरणों को संभालता है, जबकि एक प्रारूप ड्राइवर प्लगइन सिस्टम रनटाइम पर प्रारूप-विशिष्ट पढ़ने और लिखने के लॉजिक को लोड करता है। वर्चुअल फ़ाइल सिस्टम लेयर स्थानीय फ़ाइलों, HTTP, क्लाउड स्टोरेज और संपीड़ित अभिलेखागार में समान I/O एक्सेस प्रदान करती है, और एक रैस्टर ब्लॉक कैश I/O ऑपरेशंस को कम करने के लिए इन-मेमोरी टाइल कैशिंग का प्रबंधन करता है। GDAL रैस्टर और वेक्टर भू-स्थानिक डेटा दोनों को पढ़ने और लिखने का समर्थन करता है, वेक्टर फीचर इटरेशन के साथ जो पूरे डेटासेट को मेमोरी में लोड किए बिना व्यक्तिगत रूप से सुविधाओं को स्ट्रीम करता है। यह प्रोजेक्ट अपने व्यापक प्रारूप समर्थन के माध्यम से विभिन्न भू-स्थानिक सॉफ्टवेयर पारिस्थितिकी प्रणालियों के बीच डेटा विनिमय का समर्थन करके क्रॉस-प्रारूप भू-स्थानिक इंटरऑपरेबिलिटी को सक्षम बनाता है।

Pebble is an embedded key-value storage engine written in Go, designed as a library that provides durable, write-optimized data persistence directly within applications. It organizes data using a log-structured merge-tree (LSM-tree) structure, where writes are first buffered in an in-memory skiplist memtable and persisted to a write-ahead log before being flushed to block-based SSTable files on disk. The engine supports atomic batch commits, configurable write synchronization, and automatic background compaction that merges and rewrites sorted runs to reclaim space and maintain read performanc

m3 उच्च-रिज़ॉल्यूशन मेट्रिक्स और उच्च-कार्डिनैलिटी डेटा प्रबंधन के लिए डिज़ाइन किया गया एक वितरित टाइम सीरीज़ डेटाबेस है। यह एक स्केलेबल स्टोरेज सिस्टम और मल्टी-क्लस्टर क्वेरी इंजन के रूप में कार्य करता है, जो स्टोरेज में कमिट होने से पहले डेटा को डाउनसैंपल और सारांशित करने में सक्षम एक वितरित मेट्रिक्स एग्रीगेटर प्रदान करता है। यह प्रोजेक्ट नोड मेंबरशिप और शार्ड प्लेसमेंट के लिए etcd का उपयोग करके एक समन्वित क्लस्टर मॉडल के माध्यम से खुद को अलग करता है। यह Prometheus रिमोट राइट प्रोटोकॉल, InfluxDB लाइन प्रोटोकॉल और Graphite Carbon प्लेनटेक्स्ट प्रोटोकॉल सहित कई इंजेक्शन प्रोटोकॉल का समर्थन करता है, और PromQL व Graphite के लिए संगत क्वेरी इंटरफेस प्रदान करता है। यह सिस्टम कॉलम-आधारित टाइम सीरीज़ स्टोरेज, सिंक्रोनस डेटा रेप्लिकेशन और वितरित क्वेरी फैन-आउट सहित व्यापक क्षमता क्षेत्रों को कवर करता है। इसमें डेटा लाइफसाइकिल ऑटोमेशन, कोरम-आधारित कंसिस्टेंसी ट्यूनिंग और अलग-अलग नेमस्पेस में डेटा अखंडता व पुनर्प्राप्ति गति बनाए रखने के लिए टैग-आधारित सीरीज़ इंडेक्सिंग शामिल है। क्लस्टर ऑर्केस्ट्रेशन और कंपोनेंट प्लेसमेंट को उच्च उपलब्धता और संतुलित डेटा वितरण सुनिश्चित करने के लिए ऑटोमेटेड टूल्स और ऑपरेटर्स के माध्यम से प्रबंधित किया जाता है।

MiniOB is an open-source educational relational database kernel designed for learning the internals of database systems. It implements a dual-engine storage architecture combining B+ Tree and LSM-Tree, supports SQL parsing and query execution, and provides transactional processing with multi-version concurrency control. The system communicates with clients using the MySQL wire protocol and includes a vector database extension for storing and querying high-dimensional vectors. The project distinguishes itself through its comprehensive coverage of core database concepts in a single, learnable c

This is a Python library providing sorted list, set, and dictionary data structures that maintain their order automatically during insertions and deletions. The library provides a sorted list for fast random access and logarithmic lookups, a sorted set for unique elements and set-theoretic operations, and a sorted dictionary for managing key-value pairs where keys remain sorted. These collections support custom sorting logic through user-defined key functions to determine the order of elements. Core capabilities include positional indexing, range queries, and the use of bisection methods to

FalkorDB is a high-performance graph database management system and vector graph database. It serves as a knowledge graph construction tool and a GraphRAG knowledge store, integrating structured property graphs with vector search to provide grounded context for large language models. The engine is designed as a multi-tenant graph engine, capable of hosting thousands of isolated datasets within a single instance. The system distinguishes itself by using linear algebra for query execution, treating relationship tensors as matrix multiplications to achieve low-latency multi-hop traversals. It ut

hl is a set of command-line interface tools for filtering, aggregating, streaming, and visualizing structured log data across multiple sources. It functions as a log filter, file aggregator, real-time streamer, and structured log viewer. The project specializes in transforming JSON and logfmt data into human-readable formats for visual analysis. It enables the merging of multiple log files and compressed archives into a single chronologically sorted stream, while supporting live tracking of multiple sources into a unified real-time view. Capabilities include field-based filtering via key-val

This project is a comprehensive study guide and reference repository designed to prepare software engineers for technical interviews. It provides a structured collection of fundamental computer science concepts, algorithm implementations, and system design principles, serving as a centralized resource for reviewing the core knowledge required for engineering assessments. The repository distinguishes itself by offering language-agnostic concept modeling and modular knowledge categorization, which allows candidates to navigate complex topics efficiently. It covers a broad spectrum of technical

PalDB उच्च-प्रदर्शन डेटा पुनर्प्राप्ति के लिए डिज़ाइन किया गया Java के लिए एक एम्बेडेबल की-वैल्यू स्टोरेज इंजन है। यह एक लाइब्रेरी के रूप में कार्य करता है जो डेटा को एक एकल, अपरिवर्तनीय बाइनरी फ़ाइल में पर्सिस्ट करता है, जो राइट-वन्स वर्कलोड के लिए एक स्टोरेज समाधान प्रदान करता है जिसे मानक इन-मेमोरी संग्रहों की तुलना में न्यूनतम मेमोरी ओवरहेड की आवश्यकता होती है। यह सिस्टम एक राइट-वन्स डेटा लेआउट के माध्यम से खुद को अलग बनाता है जो समवर्ती रीड ऑपरेशंस के दौरान लॉकिंग तंत्र की आवश्यकता को समाप्त करता है। मेमोरी-मैप्ड फ़ाइल एक्सेस और सॉर्ट किए गए की इंडेक्सिंग का उपयोग करके, इंजन सीधे प्रोसेस एड्रेस स्पेस के भीतर त्वरित लुकअप को सक्षम बनाता है। यह आर्किटेक्चर स्टैटिक डेटासेट के वितरण को रीड-ओनली फ़ाइलों के रूप में समर्थन करता है जिन्हें कई एप्लिकेशन इंस्टेंस द्वारा एम्बेड और एक्सेस किया जा सकता है। लाइब्रेरी में उच्च-प्रदर्शन डेटा सीरियलाइज़ेशन के लिए एक फ्रेमवर्क शामिल है, जो डेवलपर्स को जटिल ऑब्जेक्ट्स को कॉम्पैक्ट बाइनरी स्ट्रीम में बदलने के लिए कस्टम लॉजिक को परिभाषित करने की अनुमति देता है। यह विस्तारशीलता सुनिश्चित करती है कि अद्वितीय डेटा संरचनाओं को स्थानीय एप्लिकेशन वातावरण के भीतर कुशलतापूर्वक संग्रहीत और पुनर्प्राप्त किया जा सके।