4 repository-uri
Awesome GitHub RepositoriesWorkflow Batch Iterators
Iterates over dataset rows, mapping columns to workflow inputs and running the graph once per row with configurable mini-batching.
Distinct from Dataset Iterators: Distinct from Dataset Iterators: specifically maps dataset rows to workflow inputs and executes the graph per row, not general dataset iteration.
Explore 4 awesome GitHub repositories matching data & databases · Workflow Batch Iterators. Refine with filters or upvote what's useful.
Awesome Workflow Batch Iterators GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- j3ssie/osmedeus
j3ssie/Osmedeus
6,425Vezi pe GitHubOsmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp
Processes each line of a file in parallel using a configurable worker pool.
Go - chainner-org/chainner
chaiNNer-org/chaiNNer
5,855Vezi pe GitHubchaiNNer is a GPU-accelerated AI image upscaling application that uses a visual node-based interface for constructing image processing pipelines. At its core, it provides a node-based visual programming environment where users connect processing nodes in a directed acyclic graph, with a graph execution scheduler that traverses the pipeline in topological order. The application includes an iterator-based batch processing system that automatically applies the same pipeline to multiple files, and a model format conversion pipeline that transforms neural network models between PyTorch, ONNX, and N
Implements iterator-based batch processing that automatically applies the same pipeline to multiple files.
Python - pyspur-dev/pyspur
PySpur-Dev/pyspur
5,677Vezi pe GitHubRun a workflow once for each row in a dataset, mapping columns to inputs and writing results to a file.
TypeScriptagentagentsai - open-telemetry/opentelemetry-collector-contrib
open-telemetry/opentelemetry-collector-contrib
4,758Vezi pe GitHubAcest proiect oferă un pipeline de date de observabilitate conceput pentru a colecta, transforma și ruta log-uri, metrici și urme (traces) din surse diverse în formate standardizate pentru analiză. Acesta operează ca o arhitectură de componente bazată pe plugin-uri, folosind receptoare, procesoare și exportatoare modulare pentru a muta datele de telemetrie prin lanțuri de procesare secvențiale. Sistemul utilizează un model de componente bazat pe interfețe care permite conectori interschimbabili și extensii contribuite de comunitate. Se distinge printr-un limbaj specific domeniului (DSL) pentru filtrarea telemetriei, atribuirea resurselor bazată pe metadate pentru detectarea infrastructurii și rezolvarea dinamică a secretelor din manageri cloud externi. Colectorul acoperă o gamă largă de capabilități, inclusiv ingestia de telemetrie de la furnizori cloud și baze de date, transformarea și reagregarea datelor și exportul securizat către backend-uri de stocare terțe. Încorporează funcții de gestionare a traficului, cum ar fi rutarea round-robin și partiționarea mesajelor, precum și primitive de securitate pentru gestionarea identității și a accesului prin OAuth2 și OIDC. Proiectul include un framework de asigurare a calității pentru simularea datelor sintetice, testarea performanței end-to-end și verificarea integrității datelor.
Walks through all keys in file-based storage using deferred operations to manage large datasets.
Go
