1 个仓库
Awesome GitHub RepositoriesDifferential Processing
Processing only the changes between two versions of a dataset to optimize updates.
Distinct from Data Processing: Distinct from general data processing by focusing specifically on the delta between two commits.
Explore 1 awesome GitHub repository matching data & databases · Differential Processing. Refine with filters or upvote what's useful.
Awesome Differential Processing GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- treeverse/lakefs
treeverse/lakeFS
5,406在 GitHub 上查看lakeFS 是一个数据湖版本控制系统，为存储在对象存储中的大型数据集提供类似 Git 的分支和提交功能。它作为一个版本控制层，支持创建不可变快照、原子提交和零拷贝分支，从而在不复制物理文件的情况下为数据实验创建隔离环境。 该系统充当 S3 兼容的存储网关和 Iceberg REST 目录，允许标准云存储协议和兼容客户端管理版本化表。它通过使用事件驱动的钩子系统在更改合并到生产环境之前根据治理策略验证数据集，从而充当数据质量守门人。 该平台涵盖了广泛的数据治理功能，包括 Pull Request 协作、基于角色的访问控制和数据血缘追踪。它为工作流编排、机器学习管线和各种大数据计算引擎提供了集成，支持多云存储连接以及通过 SSO 和 SCIM 进行身份同步。 该软件可以使用二进制文件、容器或 Helm Chart 安装，以便在 Kubernetes 上部署。
Updates embeddings by processing only the added, removed, or modified data between two commits.
Go
