Awesome GitHub RepositoriesEnterprise Batch Processors

Azkaban est un gestionnaire de flux de travail distribué et un orchestrateur de tâches basé sur DAG, conçu comme un processeur de batch d'entreprise. Il sert de moteur de flux de travail basé sur Java qui planifie et exécute des séquences de tâches complexes à travers un cluster de serveurs d'exécution, avec une fonctionnalité spécifique pour gérer les charges de travail big data sur les clusters Hadoop. Le système se distingue par un modèle d'exécuteur distribué qui coordonne l'état via une base de données partagée pour garantir une haute disponibilité. Il utilise une architecture basée sur des plugins qui permet des types de tâches personnalisés et des extensions de fonctionnalité système, y compris la possibilité de recharger à chaud les plugins sans redémarrer les serveurs d'exécution. La plateforme couvre un large éventail de capacités, y compris l'orchestration de pipelines de données avec logique conditionnelle, la planification périodique et basée sur des événements, et la surveillance d'entreprise avec suivi des SLA. Elle fournit un contrôle d'accès granulaire et l'usurpation d'identité utilisateur pour une exécution sécurisée, ainsi que des outils de gestion du trafic pour l'équilibrage de charge des exécuteurs et les quotas de ressources. Les utilisateurs peuvent gérer les flux de travail via une interface web ou par programmation via une API d'exécution de flux de travail.