Awesome GitHub RepositoriesPython Data Pipeline Frameworks

This project is a Python workflow orchestration platform and programmatic data pipeline engine used to author, schedule, and monitor complex data pipelines. It functions as a directed acyclic graph manager and scheduler, allowing users to define data movement and transformation tasks as code to ensure precise execution order and maintainability. The platform distinguishes itself by treating workflows as code, enabling pipelines to be versioned and tested through a standard programming language. It utilizes a system of extensible operators to encapsulate integration logic and employs a templat

Luigi is a Python framework designed for building and managing complex batch data pipelines. It functions as a workflow orchestration engine that organizes tasks into directed acyclic graphs, ensuring that jobs execute in the correct logical order based on their dependencies. By utilizing a centralized scheduler, the system coordinates task execution across distributed environments, tracks global workflow state, and prevents redundant processing by verifying the existence of output targets before triggering any work. The project distinguishes itself through a robust state-tracking mechanism t

Grist is a relational spreadsheet platform that combines the flexibility of a spreadsheet with the power of a relational database. At its core, it manages structured data across multiple linked tables, using a relational database engine to organize information while providing a familiar grid interface. The platform supports Python-based formulas for complex calculations and data transformations, with automatic recalculation when referenced cells change. The system is designed for self-hosted deployment, storing data in either portable SQLite files or enterprise-grade PostgreSQL databases. It

Kedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje

Mage AI este un orchestrator de pipeline-uri de date bazat pe Python și un mediu de dezvoltare integrat (IDE) pentru date, self-hosted. Este conceput pentru construirea, programarea și monitorizarea workflow-urilor de date folosind un design de pipeline bazat pe blocuri și o interfață de notebook interactivă. Platforma se distinge prin integrarea capabilităților de AI generativ, permițând utilizatorilor să conecteze furnizori de modele de limbaj mari (LLM) prin API pentru a încorpora inteligența artificială în fluxurile de date automatizate. De asemenea, funcționează ca un procesor de date Apache Spark, gestionând kernel-urile și infrastructura necesară pentru analize de mare volum și procesarea datelor la scară largă. Sistemul acoperă o gamă largă de capabilități de inginerie a datelor, inclusiv automatizarea workflow-urilor ETL, gestionarea modelelor dbt și descoperirea fluxurilor de date. Oferă instrumente pentru integrarea controlului versiunilor prin Git, deployment containerizat și controlul accesului bazat pe roluri pentru a gestiona pipeline-urile în medii de dezvoltare și producție. Monitorizarea este gestionată prin telemetria performanței sistemului și debugging-ul execuției pipeline-urilor.

Tensorpack este un framework de rețele neuronale TensorFlow de nivel înalt și o bibliotecă de cercetare concepută pentru construirea și antrenarea modelelor de deep learning. Oferă o colecție de arhitecturi de rețele neuronale reproductibile pentru viziune artificială, sarcini generative, învățare prin consolidare și procesarea limbajului natural. Proiectul se distinge printr-un pipeline de date de deep learning specializat care utilizează Python pur pentru încărcarea și streaming-ul datelor în paralel. Include un orchestrator de antrenare multi-GPU pentru distribuirea sarcinilor de lucru prin strategii de paralelizare a datelor și un toolkit de interpretabilitate dedicat pentru vizualizarea hărților de activare și saliency ale modelului. Framework-ul acoperă o gamă largă de capabilități, inclusiv pipeline-uri de viziune artificială pentru detectarea obiectelor și segmentarea semantică, modelarea secvențială pentru vorbire și text, și dezvoltarea de agenți de învățare prin consolidare. Oferă, de asemenea, instrumente de optimizare a modelelor pentru cuantizarea ponderilor și antrenarea pe biți puțini, alături de utilitare pentru reproducerea lucrărilor de cercetare academică și conversia ponderilor modelelor Caffe legacy.

Toolz is a Python library that implements functional programming utilities for iterable transformation, dictionary manipulation, function composition, and lazy evaluation. It provides a set of pure functions designed to work with Python's built-in data structures, enabling concise and composable data processing workflows. What distinguishes toolz is its support for curried partial application, allowing functions to be incrementally applied and reused. It includes dictionary-centric operations that handle nested structures, and offers iterable chain transformers that combine mapping, filtering

Acest proiect este o bibliotecă de integrare AWS pandas și framework de pipeline de date conceput pentru a simplifica mișcarea și transformarea datelor între memoria locală și serviciile de stocare și analiză AWS. Acesta funcționează ca un toolkit de data lake cloud și manager de fișiere de stocare, permițând utilizatorilor să citească, să scrie și să transforme date structurate în diverse medii cloud. Biblioteca se distinge ca un orchestrator de calcul distribuit capabil să gestioneze clustere în medii precum EMR pentru a procesa seturi de date care depășesc limitele de memorie ale unei singure mașini. Oferă, de asemenea, capabilități specializate pentru gestionarea indicilor vectoriali și efectuarea căutărilor de similaritate în bucket-urile de stocare cloud. Suprafața sa mai largă de capabilități acoperă ETL pentru baze de date cloud pentru servicii precum DynamoDB, RDS și Timestream, precum și gestionarea catalogului de date cloud prin AWS Glue. Suportă analiza datelor serverless prin Athena și Redshift și oferă utilitare pentru gestionarea obiectelor S3, indexarea documentelor în OpenSearch și analizarea log-urilor CloudWatch.

Acest proiect este o colecție de Jupyter notebooks interactive concepute pentru a preda fundamentele machine learning și deep learning prin exerciții practice de programare. Oferă un curriculum structurat care ghidează utilizatorii prin întregul ciclu de viață al data science, acoperind totul, de la preprocesarea inițială a datelor până la evaluarea finală a modelului. Repository-ul se distinge prin conectarea conceptelor teoretice de data science cu implementarea practică folosind biblioteci standard din industrie. Include o serie de tutoriale care demonstrează cum să construiești și să antrenezi modele predictive și arhitecturi complexe de rețele neuronale, inclusiv modele convoluționale și recurente, într-un mediu unificat și executabil. Curriculum-ul cuprinde aplicarea tiparelor standard de estimare pentru fluxurile de lucru de machine learning și construcția rețelelor neuronale prin compoziție modulară, bazată pe straturi. Aceste materiale sunt organizate pentru a sprijini cursanții în stăpânirea abstracțiunilor matematice și de programare necesare pentru recunoașterea tiparelor și sarcinile de decizie.