Awesome GitHub RepositoriesVersioned Datasets

Noms is a distributed version control database and content-addressable data store. It identifies data by cryptographic hashes to ensure integrity and deduplication, while tracking dataset state changes through a sequence of immutable commits to enable branching, forking, and historical recovery. The system functions as a peer-to-peer data synchronizer, reconciling state between disconnected database instances to ensure all nodes converge on the same data. It distinguishes itself as a schema-flexible document store that supports self-describing types, allowing schemas to evolve and widen as ne

Lance is a columnar data format and storage layer designed for high-performance random access and the persistence of multimodal data. It functions as a vector database storage system, a multimodal data store, and a versioned dataset manager. The project distinguishes itself as a hybrid search engine that combines vector similarity search and full-text indexing on a single dataset. It provides unified storage for diverse data types including images, audio, and video, utilizing a system that lazy-loads large binary objects only when requested. The system manages dataset evolution through schem

lakeFS is a data lake versioning system that provides Git-like branching and commits for large datasets stored in object storage. It functions as a version control layer, enabling the creation of immutable snapshots, atomic commits, and zero-copy branching to create isolated environments for data experimentation without duplicating physical files. The system serves as an S3-compatible storage gateway and an Iceberg REST catalog, allowing standard cloud storage protocols and compatible clients to manage versioned tables. It acts as a data quality gatekeeper by using an event-driven hook system

Acest proiect este o platformă de audit al cheltuielilor publice și control social bazată pe AI, concepută pentru a monitoriza administrația publică și a semnala activitățile financiare suspecte. Funcționează ca un instrument automatizat de detectare a fraudelor care utilizează recunoașterea modelelor pentru a identifica nereguli în înregistrările cheltuielilor guvernamentale. Sistemul transformă fișierele brute de cheltuieli publice în seturi de date structurate printr-un pipeline de date, mapând diverse formate guvernamentale într-un model relațional standardizat. Utilizează un sistem automat de marcare pentru a prioritiza revizuirea manuală de către auditori și generează exporturi de seturi de date versionate, bazate pe snapshot-uri, pentru a asigura reproductibilitatea în vederea verificării independente. Platforma include o interfață de vizualizare a datelor destinată publicului, care permite cetățenilor să exploreze și să valideze înregistrările detaliate ale cheltuielilor. Această capacitate susține responsabilitatea sectorului public prin expunerea tiparelor identificate în timpul analizei automatizate.