Awesome GitHub RepositoriesVersioned Datasets

Noms is a distributed version control database and content-addressable data store. It identifies data by cryptographic hashes to ensure integrity and deduplication, while tracking dataset state changes through a sequence of immutable commits to enable branching, forking, and historical recovery. The system functions as a peer-to-peer data synchronizer, reconciling state between disconnected database instances to ensure all nodes converge on the same data. It distinguishes itself as a schema-flexible document store that supports self-describing types, allowing schemas to evolve and widen as ne

Lance is a columnar data format and storage layer designed for high-performance random access and the persistence of multimodal data. It functions as a vector database storage system, a multimodal data store, and a versioned dataset manager. The project distinguishes itself as a hybrid search engine that combines vector similarity search and full-text indexing on a single dataset. It provides unified storage for diverse data types including images, audio, and video, utilizing a system that lazy-loads large binary objects only when requested. The system manages dataset evolution through schem

lakeFS 是一个数据湖版本控制系统，为存储在对象存储中的大型数据集提供类似 Git 的分支和提交功能。它作为一个版本控制层，支持创建不可变快照、原子提交和零拷贝分支，从而在不复制物理文件的情况下为数据实验创建隔离环境。 该系统充当 S3 兼容的存储网关和 Iceberg REST 目录，允许标准云存储协议和兼容客户端管理版本化表。它通过使用事件驱动的钩子系统在更改合并到生产环境之前根据治理策略验证数据集，从而充当数据质量守门人。 该平台涵盖了广泛的数据治理功能，包括 Pull Request 协作、基于角色的访问控制和数据血缘追踪。它为工作流编排、机器学习管线和各种大数据计算引擎提供了集成，支持多云存储连接以及通过 SSO 和 SCIM 进行身份同步。 该软件可以使用二进制文件、容器或 Helm Chart 安装，以便在 Kubernetes 上部署。

该项目是一个 AI 驱动的公共支出审计和社会监督平台，旨在监控公共行政并标记可疑的财务活动。它作为一个自动化欺诈检测工具，利用模式识别来识别政府支出记录中的异常情况。 该系统通过数据流水线将原始公共支出文件转换为结构化数据集，将多样的政府数据格式映射为标准化的关系模型。它利用自动化标记系统来优先处理审计员的人工审查，并生成版本化的、基于快照的数据集导出，以确保独立验证的可重复性。 该平台包含一个面向公众的数据可视化界面，允许公民探索和验证详细的支出记录。此功能通过揭示自动化分析过程中发现的模式，支持公共部门的问责制。