Awesome GitHub RepositoriesPython Data Pipeline Frameworks

This project is a Python workflow orchestration platform and programmatic data pipeline engine used to author, schedule, and monitor complex data pipelines. It functions as a directed acyclic graph manager and scheduler, allowing users to define data movement and transformation tasks as code to ensure precise execution order and maintainability. The platform distinguishes itself by treating workflows as code, enabling pipelines to be versioned and tested through a standard programming language. It utilizes a system of extensible operators to encapsulate integration logic and employs a templat

Luigi is a Python framework designed for building and managing complex batch data pipelines. It functions as a workflow orchestration engine that organizes tasks into directed acyclic graphs, ensuring that jobs execute in the correct logical order based on their dependencies. By utilizing a centralized scheduler, the system coordinates task execution across distributed environments, tracks global workflow state, and prevents redundant processing by verifying the existence of output targets before triggering any work. The project distinguishes itself through a robust state-tracking mechanism t

Grist is a relational spreadsheet platform that combines the flexibility of a spreadsheet with the power of a relational database. At its core, it manages structured data across multiple linked tables, using a relational database engine to organize information while providing a familiar grid interface. The platform supports Python-based formulas for complex calculations and data transformations, with automatic recalculation when referenced cells change. The system is designed for self-hosted deployment, storing data in either portable SQLite files or enterprise-grade PostgreSQL databases. It

Kedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje

Mage AI es un orquestador de pipelines de datos basado en Python y un entorno de desarrollo integrado (IDE) de datos autohospedado. Está diseñado para construir, programar y monitorear flujos de trabajo de datos utilizando un diseño de pipeline basado en bloques y una interfaz de cuaderno interactiva. La plataforma se distingue por integrar capacidades de IA generativa, permitiendo a los usuarios conectar proveedores de grandes modelos de lenguaje mediante API para incorporar inteligencia artificial en flujos de datos automatizados. También funciona como un procesador de datos de Apache Spark, gestionando los kernels y la infraestructura necesarios para análisis de alto volumen y procesamiento de datos a gran escala. El sistema cubre una amplia gama de capacidades de ingeniería de datos, incluyendo la automatización de flujos de trabajo ETL, la gestión de modelos dbt y el descubrimiento de flujos de datos. Proporciona herramientas para la integración de control de versiones mediante Git, despliegue en contenedores y control de acceso basado en roles para gestionar pipelines en entornos de desarrollo y producción. El monitoreo se maneja a través de telemetría de rendimiento del sistema y depuración de ejecución de pipelines.

Tensorpack es un framework de redes neuronales de alto nivel para TensorFlow y una librería de investigación diseñada para construir y entrenar modelos de deep learning. Proporciona una colección de arquitecturas de redes neuronales reproducibles para visión artificial, tareas generativas, aprendizaje por refuerzo y procesamiento de lenguaje natural. El proyecto se distingue por un pipeline de datos de deep learning especializado que utiliza Python puro para la carga y transmisión de datos en paralelo. Incluye un orquestador de entrenamiento multi-GPU para distribuir cargas de trabajo mediante estrategias de paralelismo de datos y un toolkit de interpretabilidad dedicado para visualizar la relevancia del modelo y los mapas de activación. El framework cubre una amplia gama de capacidades, incluyendo pipelines de visión artificial para detección de objetos y segmentación semántica, modelado de secuencias para voz y texto, y desarrollo de agentes de aprendizaje por refuerzo. También proporciona herramientas de optimización de modelos para cuantización de pesos y entrenamiento de baja precisión, junto con utilidades para reproducir artículos de investigación académica y convertir pesos de modelos Caffe heredados.

Toolz is a Python library that implements functional programming utilities for iterable transformation, dictionary manipulation, function composition, and lazy evaluation. It provides a set of pure functions designed to work with Python's built-in data structures, enabling concise and composable data processing workflows. What distinguishes toolz is its support for curried partial application, allowing functions to be incrementally applied and reused. It includes dictionary-centric operations that handle nested structures, and offers iterable chain transformers that combine mapping, filtering

Este proyecto es una librería de integración de pandas con AWS y un framework de pipeline de datos diseñado para simplificar el movimiento y la transformación de datos entre la memoria local y los servicios de almacenamiento y análisis de AWS. Funciona como un toolkit de data lake en la nube y gestor de archivos de almacenamiento, permitiendo a los usuarios leer, escribir y transformar datos estructurados a través de varios entornos en la nube. La librería se distingue como un orquestador de cómputo distribuido capaz de gestionar clusters en entornos como EMR para procesar datasets que exceden los límites de memoria de una sola máquina. También proporciona capacidades especializadas para gestionar índices vectoriales y realizar búsquedas de similitud dentro de buckets de almacenamiento en la nube. Su superficie de capacidad más amplia cubre ETL de bases de datos en la nube para servicios como DynamoDB, RDS y Timestream, así como la gestión de catálogos de datos en la nube a través de AWS Glue. Admite análisis de datos sin servidor a través de Athena y Redshift, y proporciona utilidades para gestionar objetos S3, indexar documentos en OpenSearch y analizar registros de CloudWatch.

Este proyecto es una colección de Jupyter notebooks interactivos diseñados para enseñar los fundamentos de machine learning y deep learning a través de ejercicios prácticos de codificación. Proporciona un plan de estudios estructurado que guía a los usuarios a través del ciclo de vida completo de la ciencia de datos, cubriendo desde el preprocesamiento inicial de datos hasta la evaluación final del modelo. El repositorio se distingue por tender un puente entre los conceptos teóricos de ciencia de datos y la implementación práctica utilizando librerías estándar de la industria. Cuenta con una serie de tutoriales que demuestran cómo construir y entrenar modelos predictivos y arquitecturas de redes neuronales complejas, incluyendo modelos convolucionales y recurrentes, dentro de un entorno unificado y ejecutable. El plan de estudios abarca la aplicación de patrones de estimadores estándar para flujos de trabajo de machine learning y la construcción de redes neuronales mediante composición modular basada en capas. Estos materiales están organizados para ayudar a los estudiantes a dominar las abstracciones matemáticas y de programación necesarias para el reconocimiento de patrones y tareas de decisión.