1 个仓库
Systems that distribute workflow execution load across a cluster of executor servers based on resource metrics.
Distinct from Load Balancing: Distinct from Load Balancing: specifically applies to the distribution of batch jobs across executor nodes using CPU/memory filters.
Explore 1 awesome GitHub repository matching devops & infrastructure · Executor Load Balancers. Refine with filters or upvote what's useful.
Azkaban 是一个分布式工作流管理器和基于 DAG 的作业编排器,设计为企业级批处理程序。它作为一个基于 Java 的工作流引擎,跨执行器服务器集群调度和执行复杂的作业序列,并具有管理 Hadoop 集群上大数据工作负载的特定功能。 该系统通过分布式执行器模型脱颖而出,该模型通过共享数据库协调状态以确保高可用性。它采用基于插件的架构,允许自定义作业类型和系统功能扩展,包括在不重启执行器服务器的情况下热重载插件的能力。 该平台涵盖了广泛的功能,包括具有条件逻辑的数据管道编排、定期和事件驱动的调度,以及具有 SLA 跟踪的企业监控。它提供细粒度的访问控制和用户模拟以实现安全执行,以及用于执行器负载均衡和资源配额的流量管理工具。 用户可以通过基于 Web 的界面或以编程方式通过工作流执行 API 管理工作流。
Balances workflow load across executor servers using filters based on memory, CPU, and flow size.