Awesome GitHub RepositoriesDataflow Dependency Scheduling

MXNet is a deep learning framework and distributed machine learning engine designed for training and deploying neural networks. It functions as a hardware-agnostic backend that allows for the development of deep learning models through a hybrid of symbolic and imperative programming. The system distinguishes itself through automatic distributed parallelism, which scales training workloads across multiple GPUs and machines. It features an extensible hardware backend interface that enables the integration of custom accelerators and proprietary libraries without modifying the core source code.

Azkaban 是一个分布式工作流管理器和基于 DAG 的作业编排器，设计为企业级批处理程序。它作为一个基于 Java 的工作流引擎，跨执行器服务器集群调度和执行复杂的作业序列，并具有管理 Hadoop 集群上大数据工作负载的特定功能。 该系统通过分布式执行器模型脱颖而出，该模型通过共享数据库协调状态以确保高可用性。它采用基于插件的架构，允许自定义作业类型和系统功能扩展，包括在不重启执行器服务器的情况下热重载插件的能力。 该平台涵盖了广泛的功能，包括具有条件逻辑的数据管道编排、定期和事件驱动的调度，以及具有 SLA 跟踪的企业监控。它提供细粒度的访问控制和用户模拟以实现安全执行，以及用于执行器负载均衡和资源配额的流量管理工具。 用户可以通过基于 Web 的界面或以编程方式通过工作流执行 API 管理工作流。