1 Repo
Awesome GitHub RepositoriesWorkflow Parameter Propagation
Systems that define parameters at a high level and propagate them down to all constituent tasks.
Distinct from Atomic Job Flow Creation: None of the candidates address the concept of hierarchical parameter propagation within a job flow.
Explore 1 awesome GitHub repository matching devops & infrastructure · Workflow Parameter Propagation. Refine with filters or upvote what's useful.
Awesome Workflow Parameter Propagation GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- azkaban/azkaban
azkaban/azkaban
4,504Auf GitHub ansehenAzkaban ist ein verteilter Workflow-Manager und ein DAG-basierter Job-Orchestrator, der als Enterprise-Batch-Prozessor konzipiert ist. Er dient als Java-basierte Workflow-Engine, die komplexe Job-Sequenzen über einen Cluster von Executor-Servern plant und ausführt, mit spezifischer Funktionalität zur Verwaltung von Big-Data-Workloads auf Hadoop-Clustern. Das System zeichnet sich durch ein verteiltes Executor-Modell aus, das den Status über eine gemeinsame Datenbank koordiniert, um eine hohe Verfügbarkeit sicherzustellen. Es verwendet eine plugin-basierte Architektur, die benutzerdefinierte Job-Typen und Systemfunktionserweiterungen ermöglicht, einschließlich der Fähigkeit, Plugins ohne Neustart der Executor-Server neu zu laden. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich Daten-Pipeline-Orchestrierung mit bedingter Logik, periodischer und ereignisgesteuerter Planung sowie Enterprise-Monitoring mit SLA-Tracking. Sie bietet granulare Zugriffskontrolle und Benutzer-Impersonation für sichere Ausführung, neben Traffic-Management-Tools für Executor-Load-Balancing und Ressourcenquoten. Benutzer können Workflows über eine webbasierte Schnittstelle oder programmatisch über eine Workflow-Execution-API verwalten.
Defines parameters at the flow level that automatically propagate to all contained jobs.
Java
