Awesome GitHub RepositoriesWorkflow Conditional Logic

Azkaban ist ein verteilter Workflow-Manager und ein DAG-basierter Job-Orchestrator, der als Enterprise-Batch-Prozessor konzipiert ist. Er dient als Java-basierte Workflow-Engine, die komplexe Job-Sequenzen über einen Cluster von Executor-Servern plant und ausführt, mit spezifischer Funktionalität zur Verwaltung von Big-Data-Workloads auf Hadoop-Clustern. Das System zeichnet sich durch ein verteiltes Executor-Modell aus, das den Status über eine gemeinsame Datenbank koordiniert, um eine hohe Verfügbarkeit sicherzustellen. Es verwendet eine plugin-basierte Architektur, die benutzerdefinierte Job-Typen und Systemfunktionserweiterungen ermöglicht, einschließlich der Fähigkeit, Plugins ohne Neustart der Executor-Server neu zu laden. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich Daten-Pipeline-Orchestrierung mit bedingter Logik, periodischer und ereignisgesteuerter Planung sowie Enterprise-Monitoring mit SLA-Tracking. Sie bietet granulare Zugriffskontrolle und Benutzer-Impersonation für sichere Ausführung, neben Traffic-Management-Tools für Executor-Load-Balancing und Ressourcenquoten. Benutzer können Workflows über eine webbasierte Schnittstelle oder programmatisch über eine Workflow-Execution-API verwalten.

Dieses Projekt ist eine containerisierte Machine-Learning-Workflow-Engine und ein Orchestrator, der darauf ausgelegt ist, den End-to-End-Lebenszyklus von Machine-Learning-Modellen auf Kubernetes-Clustern zu automatisieren. Es fungiert als MLOps-Pipeline-Compiler, der eine domänenspezifische Sprache in strukturierte Spezifikationen für eine portable und skalierbare Bereitstellung umwandelt. Die Plattform bietet eine Multi-Tenant-Umgebung mit isolierten Namespaces und Identitätsanbieter-Authentifizierung. Sie zeichnet sich durch eine Kombination aus containerbasierter Aufgabenisolierung, stark typisiertem Artefaktmanagement für die Datenübergabe und inhaltsadressierbarem Ergebnis-Caching aus, um redundante Berechnungen zu vermeiden. Das System deckt eine umfassende Workflow-Orchestrierung ab, einschließlich paralleler Aufgabenausführung, wiederkehrender Laufplanung und bedingter Verzweigungslogik. Es unterstützt zudem Experiment-Tracking, Workflow-Metrikerfassung und das Management wiederverwendbarer Pipeline-Komponenten, mit der Möglichkeit, spezifische Hardware-Ressourcenanforderungen für CPU, Speicher und GPU zu konfigurieren. Die Software wird über ein Python-SDK vertrieben und kann in eigenständigen, lokalen oder Multi-Tenant-Umgebungen bereitgestellt werden.