Awesome GitHub RepositoriesData Workflow Execution

Kedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Ce projet est un moteur de workflow d'apprentissage automatique conteneurisé et un orchestrateur conçu pour automatiser le cycle de vie complet des modèles d'apprentissage automatique sur des clusters Kubernetes. Il fonctionne comme un compilateur de pipeline MLOps qui transforme un langage spécifique au domaine en spécifications structurées pour un déploiement portable et évolutif. La plateforme fournit un environnement multi-tenant avec des espaces de noms isolés et une authentification par fournisseur d'identité. Elle se distingue par une combinaison d'isolation des tâches basée sur des conteneurs, une gestion des artefacts fortement typée pour le passage de données et une mise en cache des résultats adressable par contenu pour éviter les calculs redondants. Le système couvre l'orchestration complète des workflows, incluant l'exécution parallèle des tâches, la planification récurrente des exécutions et la logique de branchement conditionnel. Il prend en outre en charge le suivi des expériences, la collecte des métriques de workflow et la gestion des composants de pipeline réutilisables, avec la possibilité de configurer des demandes de ressources matérielles spécifiques pour le CPU, la mémoire et le GPU. Le logiciel est distribué via un SDK Python et peut être déployé dans des environnements autonomes, locaux ou multi-tenant.

Nextflow is a dataflow workflow engine and distributed computing framework used to build and execute data-intensive pipelines. It serves as a scientific workflow language that allows users to define reproducible data processing sequences, supporting any scripting language through shebang declarations. The system functions as a containerized pipeline orchestrator, utilizing container technologies to ensure software dependencies remain consistent across different environments. It decouples workflow logic from the underlying infrastructure, enabling the same pipeline to run on local machines, cl