Awesome GitHub RepositoriesSecure Cluster Authentication

Azkaban es un gestor de flujos de trabajo distribuido y orquestador de trabajos basado en DAG, diseñado como un procesador de lotes empresarial. Sirve como un motor de flujo de trabajo basado en Java que programa y ejecuta secuencias complejas de trabajos a través de un cluster de servidores ejecutores, con funcionalidad específica para gestionar cargas de trabajo de big data en clusters Hadoop. El sistema se distingue por un modelo de ejecutor distribuido que coordina el estado a través de una base de datos compartida para asegurar la alta disponibilidad. Emplea una arquitectura basada en plugins que permite tipos de trabajo personalizados y extensiones de funcionalidad del sistema, incluyendo la capacidad de recargar plugins en caliente sin reiniciar los servidores ejecutores. La plataforma cubre una amplia gama de capacidades, incluyendo la orquestación de pipelines de datos con lógica condicional, programación periódica y basada en eventos, y monitoreo empresarial con seguimiento de SLA. Proporciona control de acceso granular y suplantación de identidad de usuario para una ejecución segura, junto con herramientas de gestión de tráfico para el balanceo de carga de ejecutores y cuotas de recursos. Los usuarios pueden gestionar los flujos de trabajo a través de una interfaz basada en web o programáticamente mediante una API de ejecución de flujos de trabajo.