Awesome GitHub RepositoriesProduction Data Engineering

Mage AI es un orquestador de pipelines de datos basado en Python y un entorno de desarrollo integrado (IDE) de datos autohospedado. Está diseñado para construir, programar y monitorear flujos de trabajo de datos utilizando un diseño de pipeline basado en bloques y una interfaz de cuaderno interactiva. La plataforma se distingue por integrar capacidades de IA generativa, permitiendo a los usuarios conectar proveedores de grandes modelos de lenguaje mediante API para incorporar inteligencia artificial en flujos de datos automatizados. También funciona como un procesador de datos de Apache Spark, gestionando los kernels y la infraestructura necesarios para análisis de alto volumen y procesamiento de datos a gran escala. El sistema cubre una amplia gama de capacidades de ingeniería de datos, incluyendo la automatización de flujos de trabajo ETL, la gestión de modelos dbt y el descubrimiento de flujos de datos. Proporciona herramientas para la integración de control de versiones mediante Git, despliegue en contenedores y control de acceso basado en roles para gestionar pipelines en entornos de desarrollo y producción. El monitoreo se maneja a través de telemetría de rendimiento del sistema y depuración de ejecución de pipelines.