1 个仓库
Retrieves the structural metadata and format definitions for incoming data streams.
Distinct from Extraction Data Structures: Focuses on retrieving the existing schema of a stream rather than defining a format for internal processing.
Explore 1 awesome GitHub repository matching data & databases · Stream Schema Extractions. Refine with filters or upvote what's useful.
Mage AI 是一个基于 Python 的数据流水线编排器和自托管数据集成开发环境。它旨在通过基于块的流水线设计和交互式笔记本界面来构建、调度和监控数据工作流。 该平台通过集成生成式 AI 功能脱颖而出,允许用户通过 API 连接大语言模型提供商,将人工智能纳入自动化数据流中。它还作为一个 Apache Spark 数据处理器,管理高性能分析和大规模数据处理所需的内核和基础设施。 该系统涵盖了广泛的数据工程功能,包括 ETL 工作流自动化、dbt 模型管理和数据流发现。它提供了通过 Git 进行版本控制集成、容器化部署以及基于角色的访问控制的工具,以管理跨开发和生产环境的流水线。监控通过系统性能遥测和流水线执行调试进行处理。
Retrieves structural metadata for selected data streams to define the format of all incoming information.