Awesome GitHub RepositoriesPython Data Pipeline Frameworks

This project is a Python workflow orchestration platform and programmatic data pipeline engine used to author, schedule, and monitor complex data pipelines. It functions as a directed acyclic graph manager and scheduler, allowing users to define data movement and transformation tasks as code to ensure precise execution order and maintainability. The platform distinguishes itself by treating workflows as code, enabling pipelines to be versioned and tested through a standard programming language. It utilizes a system of extensible operators to encapsulate integration logic and employs a templat

Luigi is a Python framework designed for building and managing complex batch data pipelines. It functions as a workflow orchestration engine that organizes tasks into directed acyclic graphs, ensuring that jobs execute in the correct logical order based on their dependencies. By utilizing a centralized scheduler, the system coordinates task execution across distributed environments, tracks global workflow state, and prevents redundant processing by verifying the existence of output targets before triggering any work. The project distinguishes itself through a robust state-tracking mechanism t

Grist is a relational spreadsheet platform that combines the flexibility of a spreadsheet with the power of a relational database. At its core, it manages structured data across multiple linked tables, using a relational database engine to organize information while providing a familiar grid interface. The platform supports Python-based formulas for complex calculations and data transformations, with automatic recalculation when referenced cells change. The system is designed for self-hosted deployment, storing data in either portable SQLite files or enterprise-grade PostgreSQL databases. It

Kedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje

Mage AI est un orchestrateur de pipelines de données basé sur Python et un environnement de développement intégré (IDE) de données auto-hébergé. Il est conçu pour construire, planifier et surveiller des workflows de données en utilisant une conception de pipeline par blocs et une interface de notebook interactive. La plateforme se distingue en intégrant des capacités d'IA générative, permettant aux utilisateurs de connecter des fournisseurs de grands modèles de langage via API pour incorporer l'intelligence artificielle dans des flux de données automatisés. Elle fonctionne également comme un processeur de données Apache Spark, gérant les kernels et l'infrastructure requis pour l'analytique à haut volume et le traitement de données à grande échelle. Le système couvre un large éventail de capacités d'ingénierie de données, incluant l'automatisation de workflows ETL, la gestion de modèles dbt et la découverte de flux de données. Il fournit des outils pour l'intégration du contrôle de version via Git, le déploiement conteneurisé et le contrôle d'accès basé sur les rôles pour gérer les pipelines dans les environnements de développement et de production. La surveillance est gérée via la télémétrie des performances système et le débogage de l'exécution des pipelines.

Tensorpack est un framework de réseau de neurones TensorFlow de haut niveau et une bibliothèque de recherche conçue pour construire et entraîner des modèles de deep learning. Il fournit une collection d'architectures de réseaux de neurones reproductibles pour la vision par ordinateur, les tâches génératives, l'apprentissage par renforcement et le traitement du langage naturel. Le projet se distingue par un pipeline de données de deep learning spécialisé qui utilise du Python pur pour le chargement et le streaming de données en parallèle. Il inclut un orchestrateur d'entraînement multi-GPU pour distribuer les charges de travail via des stratégies de parallélisme de données et un toolkit d'interprétabilité dédié pour visualiser la saillance des modèles et les cartes d'activation. Le framework couvre un large éventail de capacités, incluant des pipelines de vision par ordinateur pour la détection d'objets et la segmentation sémantique, la modélisation de séquences pour la parole et le texte, et le développement d'agents d'apprentissage par renforcement. Il fournit également des outils d'optimisation de modèle pour la quantification des poids et l'entraînement en faible précision, ainsi que des utilitaires pour reproduire des articles de recherche académique et convertir des poids de modèles Caffe legacy.

Toolz is a Python library that implements functional programming utilities for iterable transformation, dictionary manipulation, function composition, and lazy evaluation. It provides a set of pure functions designed to work with Python's built-in data structures, enabling concise and composable data processing workflows. What distinguishes toolz is its support for curried partial application, allowing functions to be incrementally applied and reused. It includes dictionary-centric operations that handle nested structures, and offers iterable chain transformers that combine mapping, filtering

Ce projet est une bibliothèque d'intégration AWS pandas et un framework de pipeline de données conçu pour simplifier le mouvement et la transformation des données entre la mémoire locale et les services de stockage et d'analyse AWS. Il fonctionne comme une boîte à outils de lac de données cloud et un gestionnaire de fichiers de stockage, permettant aux utilisateurs de lire, écrire et transformer des données structurées à travers divers environnements cloud. La bibliothèque se distingue comme un orchestrateur de calcul distribué capable de gérer des clusters dans des environnements tels qu'EMR pour traiter des jeux de données qui dépassent les limites de mémoire d'une seule machine. Elle fournit également des capacités spécialisées pour gérer des indices vectoriels et effectuer des recherches de similarité au sein de buckets de stockage cloud. Sa surface de capacité plus large couvre l'ETL de base de données cloud pour des services comme DynamoDB, RDS et Timestream, ainsi que la gestion de catalogue de données cloud via AWS Glue. Elle prend en charge l'analyse de données sans serveur via Athena et Redshift, et fournit des utilitaires pour gérer les objets S3, indexer des documents dans OpenSearch et analyser les journaux CloudWatch.

Ce projet est une collection de Jupyter notebooks interactifs conçus pour enseigner les fondamentaux du machine learning et du deep learning par le biais d'exercices de codage pratiques. Il fournit un programme structuré qui guide les utilisateurs à travers le cycle de vie complet de la science des données, couvrant tout, du prétraitement initial des données à l'évaluation finale du modèle. Le dépôt se distingue en reliant les concepts théoriques de la science des données à une implémentation pratique utilisant des bibliothèques industrielles standard. Il propose une série de tutoriels qui démontrent comment construire et entraîner des modèles prédictifs et des architectures de réseaux de neurones complexes, y compris des modèles convolutifs et récurrents, au sein d'un environnement unifié et exécutable. Le programme englobe l'application de modèles d'estimateurs standard pour les flux de travail de machine learning et la construction de réseaux de neurones par composition modulaire basée sur les couches. Ces supports sont organisés pour aider les apprenants à maîtriser les abstractions mathématiques et de programmation nécessaires pour les tâches de reconnaissance de formes et de décision.