1 Repo
Awesome GitHub RepositoriesExecutor Load Balancers
Systems that distribute workflow execution load across a cluster of executor servers based on resource metrics.
Distinct from Load Balancing: Distinct from Load Balancing: specifically applies to the distribution of batch jobs across executor nodes using CPU/memory filters.
Explore 1 awesome GitHub repository matching devops & infrastructure · Executor Load Balancers. Refine with filters or upvote what's useful.
Awesome Executor Load Balancers GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- azkaban/azkaban
azkaban/azkaban
4,504Auf GitHub ansehenAzkaban ist ein verteilter Workflow-Manager und ein DAG-basierter Job-Orchestrator, der als Enterprise-Batch-Prozessor konzipiert ist. Er dient als Java-basierte Workflow-Engine, die komplexe Job-Sequenzen über einen Cluster von Executor-Servern plant und ausführt, mit spezifischer Funktionalität zur Verwaltung von Big-Data-Workloads auf Hadoop-Clustern. Das System zeichnet sich durch ein verteiltes Executor-Modell aus, das den Status über eine gemeinsame Datenbank koordiniert, um eine hohe Verfügbarkeit sicherzustellen. Es verwendet eine plugin-basierte Architektur, die benutzerdefinierte Job-Typen und Systemfunktionserweiterungen ermöglicht, einschließlich der Fähigkeit, Plugins ohne Neustart der Executor-Server neu zu laden. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich Daten-Pipeline-Orchestrierung mit bedingter Logik, periodischer und ereignisgesteuerter Planung sowie Enterprise-Monitoring mit SLA-Tracking. Sie bietet granulare Zugriffskontrolle und Benutzer-Impersonation für sichere Ausführung, neben Traffic-Management-Tools für Executor-Load-Balancing und Ressourcenquoten. Benutzer können Workflows über eine webbasierte Schnittstelle oder programmatisch über eine Workflow-Execution-API verwalten.
Balances workflow load across executor servers using filters based on memory, CPU, and flow size.
Java
