Awesome GitHub RepositoriesSQL Metadata Search

lakeFS 是一个数据湖版本控制系统，为存储在对象存储中的大型数据集提供类似 Git 的分支和提交功能。它作为一个版本控制层，支持创建不可变快照、原子提交和零拷贝分支，从而在不复制物理文件的情况下为数据实验创建隔离环境。 该系统充当 S3 兼容的存储网关和 Iceberg REST 目录，允许标准云存储协议和兼容客户端管理版本化表。它通过使用事件驱动的钩子系统在更改合并到生产环境之前根据治理策略验证数据集，从而充当数据质量守门人。 该平台涵盖了广泛的数据治理功能，包括 Pull Request 协作、基于角色的访问控制和数据血缘追踪。它为工作流编排、机器学习管线和各种大数据计算引擎提供了集成，支持多云存储连接以及通过 SSO 和 SCIM 进行身份同步。 该软件可以使用二进制文件、容器或 Helm Chart 安装，以便在 Kubernetes 上部署。

fsql 是一个命令行界面工具，提供了一种类似 SQL 的查询语言，用于查找本地磁盘上的文件和目录。它作为文件系统查询引擎，允许用户通过针对元数据执行结构化语句来隔离文件，而不是使用标准的命令行标志。 该工具具有交互式读取-求值-输出循环 (REPL)，支持多行查询和递归子查询，其中嵌套搜索操作的结果作为外部查询的条件。搜索范围可通过绝对路径、相对路径、环境变量和 glob 模式的解析进行配置。 该系统将代数运算符、正则表达式和逻辑过滤器应用于文件属性，如哈希、大小和修改时间。它包括数据转换实用程序，用于将这些属性格式化为人类可读的时间戳和标准化的大小单位。