Awesome GitHub RepositoriesData Workflow Execution

Kedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Acest proiect este un motor de flux de lucru pentru machine learning containerizat și orchestrator conceput pentru a automatiza ciclul de viață end-to-end al modelelor de machine learning pe clustere Kubernetes. Funcționează ca un compilator de pipeline MLOps care transformă un limbaj specific domeniului în specificații structurate pentru implementare portabilă și scalabilă. Platforma oferă un mediu multi-tenant cu namespace-uri izolate și autentificare prin furnizor de identitate. Se distinge printr-o combinație de izolare a sarcinilor bazată pe containere, gestionarea artefactelor puternic tipizate pentru transferul de date și caching-ul rezultatelor adresabile prin conținut pentru a evita calculele redundante. Sistemul acoperă orchestrarea cuprinzătoare a fluxului de lucru, inclusiv execuția sarcinilor în paralel, programarea recurentă a rulărilor și logica de ramificare condiționată. De asemenea, suportă urmărirea experimentelor, colectarea metricilor fluxului de lucru și gestionarea componentelor de pipeline reutilizabile, cu posibilitatea de a configura cerințe specifice de resurse hardware pentru CPU, memorie și GPU. Software-ul este distribuit printr-un SDK Python și poate fi implementat în medii standalone, locale sau multi-tenant.

Nextflow is a dataflow workflow engine and distributed computing framework used to build and execute data-intensive pipelines. It serves as a scientific workflow language that allows users to define reproducible data processing sequences, supporting any scripting language through shebang declarations. The system functions as a containerized pipeline orchestrator, utilizing container technologies to ensure software dependencies remain consistent across different environments. It decouples workflow logic from the underlying infrastructure, enabling the same pipeline to run on local machines, cl