1 个仓库
Awesome GitHub RepositoriesProduction Data Engineering
The practice of managing the lifecycle, versioning, and monitoring of data pipelines in production environments.
Distinct from Data Product Deployers: None of the candidates cover the holistic management of deployment, version control, and monitoring for production data pipelines.
Explore 1 awesome GitHub repository matching data & databases · Production Data Engineering. Refine with filters or upvote what's useful.
Awesome Production Data Engineering GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- mage-ai/mage-ai
mage-ai/mage-ai
8,759在 GitHub 上查看Mage AI 是一个基于 Python 的数据流水线编排器和自托管数据集成开发环境。它旨在通过基于块的流水线设计和交互式笔记本界面来构建、调度和监控数据工作流。 该平台通过集成生成式 AI 功能脱颖而出，允许用户通过 API 连接大语言模型提供商，将人工智能纳入自动化数据流中。它还作为一个 Apache Spark 数据处理器，管理高性能分析和大规模数据处理所需的内核和基础设施。 该系统涵盖了广泛的数据工程功能，包括 ETL 工作流自动化、dbt 模型管理和数据流发现。它提供了通过 Git 进行版本控制集成、容器化部署以及基于角色的访问控制的工具，以管理跨开发和生产环境的流水线。监控通过系统性能遥测和流水线执行调试进行处理。
Manages the full lifecycle of data pipelines, including versioning and monitoring in production environments.
Python
