Awesome GitHub RepositoriesVersioned Datasets

Noms is a distributed version control database and content-addressable data store. It identifies data by cryptographic hashes to ensure integrity and deduplication, while tracking dataset state changes through a sequence of immutable commits to enable branching, forking, and historical recovery. The system functions as a peer-to-peer data synchronizer, reconciling state between disconnected database instances to ensure all nodes converge on the same data. It distinguishes itself as a schema-flexible document store that supports self-describing types, allowing schemas to evolve and widen as ne

Lance is a columnar data format and storage layer designed for high-performance random access and the persistence of multimodal data. It functions as a vector database storage system, a multimodal data store, and a versioned dataset manager. The project distinguishes itself as a hybrid search engine that combines vector similarity search and full-text indexing on a single dataset. It provides unified storage for diverse data types including images, audio, and video, utilizing a system that lazy-loads large binary objects only when requested. The system manages dataset evolution through schem

lakeFS is a data lake versioning system that provides Git-like branching and commits for large datasets stored in object storage. It functions as a version control layer, enabling the creation of immutable snapshots, atomic commits, and zero-copy branching to create isolated environments for data experimentation without duplicating physical files. The system serves as an S3-compatible storage gateway and an Iceberg REST catalog, allowing standard cloud storage protocols and compatible clients to manage versioned tables. It acts as a data quality gatekeeper by using an event-driven hook system

यह प्रोजेक्ट एक AI-संचालित सार्वजनिक व्यय ऑडिटर और सामाजिक नियंत्रण प्लेटफॉर्म है जिसे सार्वजनिक प्रशासन की निगरानी करने और संदिग्ध वित्तीय गतिविधियों को चिह्नित करने के लिए डिज़ाइन किया गया है। यह एक ऑटोमेटेड फ्रॉड डिटेक्शन टूल के रूप में कार्य करता है जो सरकारी खर्च के रिकॉर्ड में अनियमितताओं की पहचान करने के लिए पैटर्न रिकग्निशन का उपयोग करता है। यह सिस्टम डेटा पाइपलाइन के माध्यम से रॉ सार्वजनिक व्यय फाइलों को स्ट्रक्चर्ड डेटासेट में बदलता है, और विविध सरकारी डेटा फॉर्मेट्स को एक मानकीकृत रिलेशनल मॉडल में मैप करता है। यह ऑडिटर्स द्वारा मैन्युअल समीक्षा को प्राथमिकता देने के लिए एक ऑटोमेटेड फ्लैगिंग सिस्टम का उपयोग करता है और स्वतंत्र सत्यापन के लिए पुनरुत्पादन सुनिश्चित करने हेतु वर्ज़न्ड, स्नैपशॉट-आधारित डेटासेट एक्सपोर्ट जनरेट करता है। प्लेटफॉर्म में एक पब्लिक-फेसिंग डेटा विज़ुअलाइज़ेशन इंटरफेस शामिल है जो नागरिकों को विस्तृत व्यय रिकॉर्ड का पता लगाने और सत्यापित करने की अनुमति देता है। यह क्षमता ऑटोमेटेड विश्लेषण के दौरान पाए गए पैटर्न को उजागर करके सार्वजनिक क्षेत्र की जवाबदेही का समर्थन करती है।