Awesome GitHub RepositoriesEnterprise Batch Processors

Azkaban este un manager de fluxuri de lucru distribuit și un orchestrator de job-uri bazat pe DAG, conceput ca un procesor batch enterprise. Servește ca un motor de flux de lucru bazat pe Java care programează și execută secvențe complexe de job-uri într-un cluster de servere executor, cu funcționalitate specifică pentru gestionarea workload-urilor big data pe clustere Hadoop. Sistemul se distinge printr-un model de executor distribuit care coordonează starea printr-o bază de date partajată pentru a asigura disponibilitatea ridicată. Utilizează o arhitectură bazată pe plugin-uri care permite tipuri de job-uri personalizate și extensii de funcționalitate a sistemului, inclusiv capacitatea de a reîncărca plugin-urile fără a reporni serverele executor. Platforma acoperă o gamă largă de capabilități, inclusiv orchestrarea pipeline-urilor de date cu logică condițională, programare periodică și bazată pe evenimente, și monitorizare enterprise cu urmărire SLA. Oferă control granular al accesului și impersonarea utilizatorului pentru execuție securizată, alături de instrumente de gestionare a traficului pentru load balancing-ul executorilor și cote de resurse. Utilizatorii pot gestiona fluxurile de lucru printr-o interfață bazată pe web sau programatic printr-un API de execuție a fluxurilor de lucru.