Awesome GitHub RepositoriesPython Data Pipeline Frameworks

This project is a Python workflow orchestration platform and programmatic data pipeline engine used to author, schedule, and monitor complex data pipelines. It functions as a directed acyclic graph manager and scheduler, allowing users to define data movement and transformation tasks as code to ensure precise execution order and maintainability. The platform distinguishes itself by treating workflows as code, enabling pipelines to be versioned and tested through a standard programming language. It utilizes a system of extensible operators to encapsulate integration logic and employs a templat

Luigi is a Python framework designed for building and managing complex batch data pipelines. It functions as a workflow orchestration engine that organizes tasks into directed acyclic graphs, ensuring that jobs execute in the correct logical order based on their dependencies. By utilizing a centralized scheduler, the system coordinates task execution across distributed environments, tracks global workflow state, and prevents redundant processing by verifying the existence of output targets before triggering any work. The project distinguishes itself through a robust state-tracking mechanism t

Grist is a relational spreadsheet platform that combines the flexibility of a spreadsheet with the power of a relational database. At its core, it manages structured data across multiple linked tables, using a relational database engine to organize information while providing a familiar grid interface. The platform supports Python-based formulas for complex calculations and data transformations, with automatic recalculation when referenced cells change. The system is designed for self-hosted deployment, storing data in either portable SQLite files or enterprise-grade PostgreSQL databases. It

Kedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje

Mage AI ist ein Python-basierter Daten-Pipeline-Orchestrator und eine selbstgehostete integrierte Entwicklungsumgebung (IDE) für Daten. Er ist darauf ausgelegt, Daten-Workflows mittels eines blockbasierten Pipeline-Designs und einer interaktiven Notebook-Schnittstelle zu erstellen, zu planen und zu überwachen. Die Plattform zeichnet sich durch die Integration generativer KI-Funktionen aus, die es Benutzern ermöglichen, Anbieter großer Sprachmodelle (LLMs) per API anzubinden, um künstliche Intelligenz in automatisierte Datenströme einzubinden. Sie fungiert zudem als Apache Spark-Datenprozessor und verwaltet die Kernels und die Infrastruktur, die für hochvolumige Analysen und groß angelegte Datenverarbeitung erforderlich sind. Das System deckt ein breites Spektrum an Data-Engineering-Funktionen ab, einschließlich ETL-Workflow-Automatisierung, dbt-Modellverwaltung und Datenstrom-Discovery. Es bietet Werkzeuge für die Versionskontrollintegration via Git, containerisierte Bereitstellung und rollenbasierte Zugriffskontrolle zur Verwaltung von Pipelines in Entwicklungs- und Produktionsumgebungen. Die Überwachung erfolgt durch System-Performance-Telemetrie und Pipeline-Ausführungs-Debugging.

Tensorpack ist ein High-Level-TensorFlow-Framework für neuronale Netze und eine Forschungsbibliothek für den Aufbau und das Training von Deep-Learning-Modellen. Es bietet eine Sammlung reproduzierbarer Architekturen neuronaler Netze für Computer Vision, generative Aufgaben, Reinforcement Learning und Natural Language Processing. Das Projekt zeichnet sich durch eine spezialisierte Deep-Learning-Daten-Pipeline aus, die reines Python für paralleles Datenladen und Streaming verwendet. Es enthält einen Multi-GPU-Trainings-Orchestrator zur Verteilung von Workloads mittels Data-Parallel-Strategien und ein dediziertes Interpretierbarkeits-Toolkit zur Visualisierung von Modell-Saliency- und Aktivierungskarten. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich Computer-Vision-Pipelines für Objekterkennung und semantische Segmentierung, Sequenzmodellierung für Sprache und Text sowie die Entwicklung von Reinforcement-Learning-Agenten. Es bietet zudem Modelloptimierungstools für Gewichtsquantisierung und Low-Bitwidth-Training sowie Utilities zur Reproduktion akademischer Forschungsarbeiten und zur Konvertierung von Legacy-Caffe-Modellgewichten.

Toolz is a Python library that implements functional programming utilities for iterable transformation, dictionary manipulation, function composition, and lazy evaluation. It provides a set of pure functions designed to work with Python's built-in data structures, enabling concise and composable data processing workflows. What distinguishes toolz is its support for curried partial application, allowing functions to be incrementally applied and reused. It includes dictionary-centric operations that handle nested structures, and offers iterable chain transformers that combine mapping, filtering

Dieses Projekt ist eine AWS-Pandas-Integrationsbibliothek und ein Daten-Pipeline-Framework, das entwickelt wurde, um die Bewegung und Transformation von Daten zwischen lokalem Speicher und AWS-Speicher- und Analysediensten zu vereinfachen. Es fungiert als Cloud-Data-Lake-Toolkit und Storage-File-Manager, der es Nutzern ermöglicht, strukturierte Daten über verschiedene Cloud-Umgebungen hinweg zu lesen, zu schreiben und zu transformieren. Die Bibliothek zeichnet sich als verteilter Compute-Orchestrator aus, der Cluster in Umgebungen wie EMR verwalten kann, um Datensätze zu verarbeiten, die die Speichergrenzen einer einzelnen Maschine überschreiten. Sie bietet zudem spezialisierte Funktionen zur Verwaltung von Vektor-Indizes und zur Durchführung von Ähnlichkeitssuchen innerhalb von Cloud-Storage-Buckets. Die breiteren Funktionen umfassen Cloud-Datenbank-ETL für Dienste wie DynamoDB, RDS und Timestream sowie Cloud-Data-Catalog-Management via AWS Glue. Sie unterstützt serverlose Datenanalyse durch Athena und Redshift und bietet Utilities zur Verwaltung von S3-Objekten, zur Indexierung von Dokumenten in OpenSearch und zur Analyse von CloudWatch-Logs.

Dieses Projekt ist eine Sammlung interaktiver Jupyter Notebooks, die darauf ausgelegt sind, Grundlagen des Machine Learning und Deep Learning durch praktische Programmierübungen zu vermitteln. Es bietet einen strukturierten Lehrplan, der Benutzer durch den gesamten Data-Science-Lebenszyklus führt – von der anfänglichen Datenvorverarbeitung bis zur abschließenden Modellevaluierung. Das Repository zeichnet sich dadurch aus, dass es theoretische Data-Science-Konzepte mit praktischer Implementierung unter Verwendung von Standard-Industriebibliotheken verbindet. Es enthält eine Reihe von Tutorials, die zeigen, wie man prädiktive Modelle und komplexe neuronale Netzwerkarchitekturen, einschließlich konvolutionsbasierter und rekurrenter Modelle, in einer einheitlichen, ausführbaren Umgebung erstellt und trainiert. Der Lehrplan umfasst die Anwendung von Standard-Estimator-Mustern für Machine-Learning-Workflows und die Konstruktion neuronaler Netze durch modulare, schichtbasierte Komposition. Diese Materialien sind so organisiert, dass sie Lernende dabei unterstützen, die mathematischen und programmiertechnischen Abstraktionen zu beherrschen, die für Mustererkennungs- und Entscheidungsaufgaben erforderlich sind.