Awesome GitHub RepositoriesBatch Processing Schedulers

Airflow is a platform for programmatically authoring, scheduling, and monitoring complex data pipelines. It functions as a workflow automation engine that manages the lifecycle of recurring business processes by executing code-defined task dependencies. By representing workflows as directed acyclic graphs, the system ensures that task execution order and data flow are explicitly defined and reliably maintained across distributed computing environments. The platform distinguishes itself through a highly modular, provider-based architecture that decouples core orchestration logic from external

Luigi is a Python framework designed for building and managing complex batch data pipelines. It functions as a workflow orchestration engine that organizes tasks into directed acyclic graphs, ensuring that jobs execute in the correct logical order based on their dependencies. By utilizing a centralized scheduler, the system coordinates task execution across distributed environments, tracks global workflow state, and prevents redundant processing by verifying the existence of output targets before triggering any work. The project distinguishes itself through a robust state-tracking mechanism t

Argo is a cloud native CI/CD platform and Kubernetes workflow engine. It functions as a container pipeline orchestrator and job scheduler, managing multi-step sequences of containers as jobs using directed acyclic graphs within a cluster. The system acts as a progressive delivery controller, reducing release risk through automated Canary and Blue-Green deployment strategies. It provides declarative GitOps synchronization to mirror the state of a git repository directly into the cluster environment for continuous delivery automation. The platform covers a broad range of capabilities including

Argo Workflows is a container-native workflow engine that functions as a Kubernetes custom resource controller. It orchestrates complex sequences of containerized tasks by executing them as directed acyclic graphs, allowing for dependency management and parallel processing within a cluster. The system extends the native Kubernetes control plane to manage the full lifecycle of automated processes, from initial triggering to final resource cleanup. The platform distinguishes itself through its controller-pattern reconciliation, which continuously monitors workflow states to align them with desi

Nomad is a distributed workload orchestrator and infrastructure automation platform designed to manage the lifecycle of applications across large-scale, heterogeneous environments. It functions as a multi-cloud orchestration engine, providing a unified control plane to deploy, scale, and govern containers, virtual machines, and legacy applications. By utilizing declarative job specifications, the system ensures infrastructure convergence and maintains the desired state across distributed data centers and geographic regions. The platform distinguishes itself through a flexible, plugin-based ar

Unstructured is an enterprise-grade data orchestration engine designed to transform raw, unstructured files into structured, machine-readable formats. It functions as a comprehensive platform for document ingestion, partitioning, and enrichment, specifically engineered to prepare complex data for retrieval-augmented generation and agentic AI workflows. The platform distinguishes itself through its sophisticated document processing strategies, which combine rule-based extraction with vision-language models to handle diverse file layouts, tables, and images. It provides a modular architecture t

Dask es un framework de computación paralela y un programador de tareas distribuido diseñado para escalar flujos de trabajo de ciencia de datos en Python desde máquinas individuales hasta grandes clústeres. Funciona como un gestor de recursos de clúster que orquesta la lógica computacional representando las tareas y sus dependencias como grafos acíclicos dirigidos. Esta arquitectura permite al sistema automatizar la distribución de cargas de trabajo a través del hardware disponible mientras gestiona requisitos de ejecución complejos. El proyecto se distingue por un motor de evaluación perezosa que difiere las operaciones de datos hasta que se solicitan explícitamente, permitiendo la optimización global del grafo y una asignación eficiente de recursos. Incorpora el volcado de datos consciente de la memoria para evitar fallos del sistema al procesar conjuntos de datos que exceden la memoria disponible, y utiliza la fusión de grafos de tareas para combinar secuencias de operaciones en pasos de ejecución únicos, minimizando la sobrecarga de programación y la comunicación entre nodos. La plataforma proporciona una superficie de capacidades integral para el análisis de datos a gran escala, incluyendo soporte para aprendizaje automático distribuido, integración de computación de alto rendimiento y procesamiento de datos en paralelo. Ofrece herramientas extensas para la gestión del ciclo de vida del clúster, perfilado de rendimiento y monitoreo en tiempo real de la ejecución de tareas. Los usuarios pueden desplegar estos entornos en diversas infraestructuras, incluyendo hardware local, proveedores de nube, sistemas en contenedores y clústeres de computación de alto rendimiento.

DataLoader is a utility that collects individual data loads into a single batch and caches results to minimize redundant backend requests. It operates on a batch-and-cache architecture, where multiple data lookups within a single execution frame are grouped together and dispatched as one request, with the results stored in memory for instant retrieval on subsequent calls. The utility distinguishes itself through several key capabilities. It supports per-key error handling, allowing partial failures within a batch without rejecting the entire operation. A cache priming mechanism lets developer

Banana-slides is a generative AI workflow engine designed to automate the creation and refinement of professional slide decks. By leveraging large language models, the platform transforms raw text, structured outlines, and existing documents into visual presentations. It functions as an automated tool that orchestrates the entire lifecycle of a presentation, from initial content generation and layout design to final export. The system distinguishes itself through a modular provider abstraction that allows users to integrate various artificial intelligence services for content and image synthe

This tool is a command-line utility designed to synchronize and archive media from cloud storage to local directories. It functions as an automated backup service that maintains a local mirror of remote photo libraries, ensuring that local storage remains current with remote changes through periodic monitoring and incremental updates. The project distinguishes itself through its support for persistent, containerized background execution, which allows for continuous, automated management of media collections. It provides robust multi-account isolation, enabling users to manage multiple indepen

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

Qor es un framework de administración en Go y toolkit de backend utilizado para construir interfaces administrativas, sistemas de gestión de contenido headless y generadores de API REST. Proporciona un entorno estructurado para implementar backends de aplicaciones de negocio, especializándose en la gestión de contenido estructurado y activos multimedia. El proyecto se distingue por una gestión de contenido multilingüe integral, con versionado de datos basado en locale y un sistema dedicado para la internacionalización y administración de traducciones. Diferencia aún más su oferta con una implementación de máquina de estados integrada para la automatización de procesos de negocio y un flujo de trabajo de staging de contenido para revisar cambios antes de la publicación. El framework cubre una amplia gama de capacidades, incluyendo control de acceso basado en roles, gestión de sesiones y programación de trabajos en segundo plano. Su superficie de gestión de datos incluye anulaciones de manejadores CRUD, gestión de relaciones y una UI basada en metadatos que genera dashboards y entradas de formulario basadas en definiciones de recursos de backend. Además, proporciona herramientas para la generación de API RESTful con soporte para negociación de contenido y endpoints anidados. El sistema permite la optimización del despliegue compilando plantillas HTML directamente en el binario de la aplicación Go para eliminar dependencias del sistema de archivos.

Este proyecto es un reclamador de contenido digital automatizado y bot de automatización de tiendas de juegos. Funciona como un cliente headless que maneja la autenticación de cuentas y secuencias de solicitudes para recolectar juegos digitales gratuitos y contenido descargable según un horario. La herramienta proporciona automatización específica para Epic Games Store, GOG y Amazon Prime Gaming. Utiliza lógica de adaptador específica de la tienda para asegurar ofertas de tiempo limitado y construir una biblioteca de juegos digitales sin intervención manual del navegador. El sistema incorpora programación de tareas basada en cron para comprobaciones diarias, flujos de inicio de sesión automatizados utilizando credenciales almacenadas y automatización de navegador headless. También incluye un sistema de notificaciones que envía alertas de estado de reclamo a través de webhooks externos.

Orchest es un orquestador de tuberías de datos y gestor de flujos de trabajo en contenedores. Proporciona una plataforma para diseñar, programar y ejecutar secuencias complejas de procesamiento de datos a través de una combinación de una interfaz gráfica y scripting. La plataforma se distingue por utilizar contenedores para gestionar las dependencias de software, asegurando una ejecución consistente en diferentes entornos. Cuenta con un programador de tareas políglota capaz de activar trabajos escritos en múltiples lenguajes de programación e incluye un sistema de control de versiones que rastrea instantáneas históricas de configuraciones de proyectos y código. El sistema cubre el diseño visual de flujos de trabajo y el mapeo de dependencias basado en grafos, junto con la programación de tareas activada por tiempo para ejecuciones recurrentes o inmediatas. También admite el despliegue de servicios en segundo plano persistentes que permanecen activos durante la duración de una ejecución de tubería.

Panda Factor is a quantitative trading infrastructure and alpha factor framework. It serves as a backend system for building, calculating, and managing mathematical signals designed to predict the price movements of financial assets. The project functions as a technical indicator engine that generates quantitative metrics from price and volume data. It utilizes a financial data pipeline to automate the synchronization of market data from multiple providers on a nightly schedule. The system provides capabilities for quantitative alpha generation and the construction of financial indicators us