awesome-repositories.com
Blog
awesome-repositories.com

Descubre los mejores repositorios open-source con nuestra búsqueda potenciada por IA.

ExplorarBúsquedas curadasAlternativas open-sourceSoftware autohospedableBlogMapa del sitio
ProyectoAcerca deCómo clasificamosPrensaServidor MCP
Aviso legalPrivacidadTérminos
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

4 repositorios

Awesome GitHub RepositoriesWorkflow Batch Iterators

Iterates over dataset rows, mapping columns to workflow inputs and running the graph once per row with configurable mini-batching.

Distinct from Dataset Iterators: Distinct from Dataset Iterators: specifically maps dataset rows to workflow inputs and executes the graph per row, not general dataset iteration.

Explore 4 awesome GitHub repositories matching data & databases · Workflow Batch Iterators. Refine with filters or upvote what's useful.

Awesome Workflow Batch Iterators GitHub Repositories

Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
  • j3ssie/osmedeusAvatar de j3ssie

    j3ssie/Osmedeus

    6,425Ver en GitHub↗

    Osmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp

    Processes each line of a file in parallel using a configurable worker pool.

    Go
    Ver en GitHub↗6,425
  • chainner-org/chainnerAvatar de chaiNNer-org

    chaiNNer-org/chaiNNer

    5,855Ver en GitHub↗

    chaiNNer is a GPU-accelerated AI image upscaling application that uses a visual node-based interface for constructing image processing pipelines. At its core, it provides a node-based visual programming environment where users connect processing nodes in a directed acyclic graph, with a graph execution scheduler that traverses the pipeline in topological order. The application includes an iterator-based batch processing system that automatically applies the same pipeline to multiple files, and a model format conversion pipeline that transforms neural network models between PyTorch, ONNX, and N

    Implements iterator-based batch processing that automatically applies the same pipeline to multiple files.

    Python
    Ver en GitHub↗5,855
  • pyspur-dev/pyspurAvatar de PySpur-Dev

    PySpur-Dev/pyspur

    5,677Ver en GitHub↗

    Run a workflow once for each row in a dataset, mapping columns to inputs and writing results to a file.

    TypeScriptagentagentsai
    Ver en GitHub↗5,677
  • open-telemetry/opentelemetry-collector-contribAvatar de open-telemetry

    open-telemetry/opentelemetry-collector-contrib

    4,758Ver en GitHub↗

    Este proyecto proporciona una pipeline de datos de observabilidad diseñada para recolectar, transformar y enrutar logs, métricas y trazas de diversas fuentes hacia formatos estandarizados para su análisis. Opera como una arquitectura de componentes basada en plugins utilizando receptores, procesadores y exportadores modulares para mover datos de telemetría a través de cadenas de procesamiento secuenciales. El sistema utiliza un modelo de componentes basado en interfaces que permite conectores intercambiables y extensiones aportadas por la comunidad. Se distingue por un lenguaje específico de dominio para el filtrado de telemetría, atribución de recursos basada en metadatos para la detección de infraestructura y resolución dinámica de secretos desde gestores de nube externos. El colector cubre una amplia gama de capacidades, incluyendo la ingesta de telemetría desde proveedores de nube y bases de datos, transformación y reagregación de datos, y exportación segura a backends de almacenamiento de terceros. Incorpora características de gestión de tráfico como enrutamiento round-robin y particionamiento de mensajes, así como primitivas de seguridad para la gestión de identidad y acceso mediante OAuth2 y OIDC. El proyecto incluye un framework de garantía de calidad para la simulación de datos sintéticos, pruebas de rendimiento de extremo a extremo y verificación de integridad de datos.

    Walks through all keys in file-based storage using deferred operations to manage large datasets.

    Go
    Ver en GitHub↗4,758
  1. Home
  2. Data & Databases
  3. Dataset Iterators
  4. Workflow Batch Iterators

Explorar subetiquetas

  • File-Based Pipeline Iterators1 sub-etiquetaSpecial iterator nodes that loop over input files and apply the same pipeline to each file in a batch. **Distinct from Workflow Batch Iterators:** Distinct from Workflow Batch Iterators: iterates over files rather than dataset rows, applying the pipeline per file.
  • Text BatchingGroups processed text samples into batches to optimize model throughput during training and inference. **Distinct from Workflow Batch Iterators:** Distinct from Workflow Batch Iterators as it focuses specifically on text-tensor batching for deep learning models rather than general workflow inputs.