Awesome GitHub RepositoriesBatch Processing Schedulers

Airflow is a platform for programmatically authoring, scheduling, and monitoring complex data pipelines. It functions as a workflow automation engine that manages the lifecycle of recurring business processes by executing code-defined task dependencies. By representing workflows as directed acyclic graphs, the system ensures that task execution order and data flow are explicitly defined and reliably maintained across distributed computing environments. The platform distinguishes itself through a highly modular, provider-based architecture that decouples core orchestration logic from external

Luigi is a Python framework designed for building and managing complex batch data pipelines. It functions as a workflow orchestration engine that organizes tasks into directed acyclic graphs, ensuring that jobs execute in the correct logical order based on their dependencies. By utilizing a centralized scheduler, the system coordinates task execution across distributed environments, tracks global workflow state, and prevents redundant processing by verifying the existence of output targets before triggering any work. The project distinguishes itself through a robust state-tracking mechanism t

Argo is a cloud native CI/CD platform and Kubernetes workflow engine. It functions as a container pipeline orchestrator and job scheduler, managing multi-step sequences of containers as jobs using directed acyclic graphs within a cluster. The system acts as a progressive delivery controller, reducing release risk through automated Canary and Blue-Green deployment strategies. It provides declarative GitOps synchronization to mirror the state of a git repository directly into the cluster environment for continuous delivery automation. The platform covers a broad range of capabilities including

Argo Workflows is a container-native workflow engine that functions as a Kubernetes custom resource controller. It orchestrates complex sequences of containerized tasks by executing them as directed acyclic graphs, allowing for dependency management and parallel processing within a cluster. The system extends the native Kubernetes control plane to manage the full lifecycle of automated processes, from initial triggering to final resource cleanup. The platform distinguishes itself through its controller-pattern reconciliation, which continuously monitors workflow states to align them with desi

Nomad is a distributed workload orchestrator and infrastructure automation platform designed to manage the lifecycle of applications across large-scale, heterogeneous environments. It functions as a multi-cloud orchestration engine, providing a unified control plane to deploy, scale, and govern containers, virtual machines, and legacy applications. By utilizing declarative job specifications, the system ensures infrastructure convergence and maintains the desired state across distributed data centers and geographic regions. The platform distinguishes itself through a flexible, plugin-based ar

Unstructured is an enterprise-grade data orchestration engine designed to transform raw, unstructured files into structured, machine-readable formats. It functions as a comprehensive platform for document ingestion, partitioning, and enrichment, specifically engineered to prepare complex data for retrieval-augmented generation and agentic AI workflows. The platform distinguishes itself through its sophisticated document processing strategies, which combine rule-based extraction with vision-language models to handle diverse file layouts, tables, and images. It provides a modular architecture t

Dask est un framework de calcul parallèle et un planificateur de tâches distribué conçu pour mettre à l'échelle les flux de travail de science des données Python, des machines uniques aux grands clusters. Il fonctionne comme un gestionnaire de ressources de cluster qui orchestre la logique computationnelle en représentant les tâches et leurs dépendances sous forme de graphes acycliques dirigés. Cette architecture permet au système d'automatiser la distribution des charges de travail sur le matériel disponible tout en gérant des exigences d'exécution complexes. Le projet se distingue par un moteur d'évaluation paresseuse qui diffère les opérations sur les données jusqu'à ce qu'elles soient explicitement demandées, permettant une optimisation globale du graphe et une allocation efficace des ressources. Il intègre le déversement de données conscient de la mémoire pour éviter les plantages du système lors du traitement de jeux de données dépassant la mémoire disponible, et il utilise la fusion de graphes de tâches pour combiner des séquences d'opérations en étapes d'exécution uniques, minimisant la surcharge de planification et la communication entre nœuds. La plateforme fournit une surface de capacités complète pour l'analyse de données à grande échelle, incluant le support pour l'apprentissage automatique distribué, l'intégration du calcul haute performance et le traitement de données parallèle. Elle offre des outils étendus pour la gestion du cycle de vie des clusters, le profilage des performances et la surveillance en temps réel de l'exécution des tâches. Les utilisateurs peuvent déployer ces environnements sur diverses infrastructures, incluant le matériel local, les fournisseurs cloud, les systèmes conteneurisés et les clusters de calcul haute performance.

DataLoader is a utility that collects individual data loads into a single batch and caches results to minimize redundant backend requests. It operates on a batch-and-cache architecture, where multiple data lookups within a single execution frame are grouped together and dispatched as one request, with the results stored in memory for instant retrieval on subsequent calls. The utility distinguishes itself through several key capabilities. It supports per-key error handling, allowing partial failures within a batch without rejecting the entire operation. A cache priming mechanism lets developer

Banana-slides is a generative AI workflow engine designed to automate the creation and refinement of professional slide decks. By leveraging large language models, the platform transforms raw text, structured outlines, and existing documents into visual presentations. It functions as an automated tool that orchestrates the entire lifecycle of a presentation, from initial content generation and layout design to final export. The system distinguishes itself through a modular provider abstraction that allows users to integrate various artificial intelligence services for content and image synthe

This tool is a command-line utility designed to synchronize and archive media from cloud storage to local directories. It functions as an automated backup service that maintains a local mirror of remote photo libraries, ensuring that local storage remains current with remote changes through periodic monitoring and incremental updates. The project distinguishes itself through its support for persistent, containerized background execution, which allows for continuous, automated management of media collections. It provides robust multi-account isolation, enabling users to manage multiple indepen

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

Qor est un framework d'administration Go et une boîte à outils backend utilisée pour construire des interfaces administratives, des systèmes de gestion de contenu (CMS) headless et des générateurs d'API REST. Il fournit un environnement structuré pour implémenter des backends d'applications métier, se spécialisant dans la gestion de contenu structuré et d'assets multimédias. Le projet se distingue par une gestion de contenu multi-langue complète, incluant le versionnage de données basé sur la locale et un système dédié pour l'internationalisation et l'administration de la traduction. Il différencie davantage son offre avec une implémentation de machine à états intégrée pour l'automatisation des processus métier et un workflow de staging de contenu pour réviser les changements avant publication. Le framework couvre un large éventail de capacités, incluant le contrôle d'accès basé sur les rôles, la gestion de session et la planification de tâches en arrière-plan. Sa surface de gestion de données inclut des overrides de gestionnaires CRUD, la gestion des relations et une UI pilotée par métadonnées qui génère des tableaux de bord et des entrées de formulaire basées sur les définitions de ressources backend. De plus, il fournit des outils pour la génération d'API RESTful avec support de la négociation de contenu et des endpoints imbriqués. Le système permet l'optimisation du déploiement en compilant les templates HTML directement dans le binaire de l'application Go pour supprimer les dépendances au système de fichiers.

Ce projet est un réclamateur de contenu numérique automatisé et un bot d'automatisation de magasin de jeux. Il fonctionne comme un client headless qui gère l'authentification du compte et les séquences de requêtes pour collecter des jeux numériques gratuits et du contenu téléchargeable selon un calendrier. L'outil fournit une automatisation spécifique pour l'Epic Games Store, GOG et Amazon Prime Gaming. Il utilise une logique d'adaptateur spécifique au magasin pour sécuriser les offres à durée limitée et construire une bibliothèque de jeux numériques sans intervention manuelle du navigateur. Le système intègre une planification des tâches basée sur cron pour les vérifications quotidiennes, des flux de connexion automatisés utilisant des identifiants stockés et une automatisation de navigateur headless. Il inclut également un système de notification qui envoie des alertes de statut de réclamation via des webhooks externes.

Orchest est un orchestrateur de pipelines de données et un gestionnaire de flux de travail conteneurisés. Il fournit une plateforme pour concevoir, planifier et exécuter des séquences complexes de traitement de données via une combinaison d'interface graphique et de script. La plateforme se distingue par l'utilisation de conteneurs pour gérer les dépendances logicielles, garantissant une exécution cohérente dans différents environnements. Elle dispose d'un planificateur de tâches polyglotte capable de déclencher des jobs écrits dans plusieurs langages de programmation et inclut un système de contrôle de version qui suit les instantanés historiques des configurations de projet et du code. Le système couvre la conception visuelle de flux de travail et la cartographie des dépendances basée sur des graphes, ainsi que la planification de tâches déclenchées par le temps pour une exécution récurrente ou immédiate. Il prend également en charge le déploiement de services d'arrière-plan persistants qui restent actifs pendant toute la durée d'exécution d'un pipeline.

Panda Factor is a quantitative trading infrastructure and alpha factor framework. It serves as a backend system for building, calculating, and managing mathematical signals designed to predict the price movements of financial assets. The project functions as a technical indicator engine that generates quantitative metrics from price and volume data. It utilizes a financial data pipeline to automate the synchronization of market data from multiple providers on a nightly schedule. The system provides capabilities for quantitative alpha generation and the construction of financial indicators us