4 Repos
Awesome GitHub RepositoriesWorkflow Batch Iterators
Iterates over dataset rows, mapping columns to workflow inputs and running the graph once per row with configurable mini-batching.
Distinct from Dataset Iterators: Distinct from Dataset Iterators: specifically maps dataset rows to workflow inputs and executes the graph per row, not general dataset iteration.
Explore 4 awesome GitHub repositories matching data & databases · Workflow Batch Iterators. Refine with filters or upvote what's useful.
Awesome Workflow Batch Iterators GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- j3ssie/osmedeus
j3ssie/Osmedeus
6,425Auf GitHub ansehenOsmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp
Processes each line of a file in parallel using a configurable worker pool.
Go - chainner-org/chainner
chaiNNer-org/chaiNNer
5,855Auf GitHub ansehenchaiNNer is a GPU-accelerated AI image upscaling application that uses a visual node-based interface for constructing image processing pipelines. At its core, it provides a node-based visual programming environment where users connect processing nodes in a directed acyclic graph, with a graph execution scheduler that traverses the pipeline in topological order. The application includes an iterator-based batch processing system that automatically applies the same pipeline to multiple files, and a model format conversion pipeline that transforms neural network models between PyTorch, ONNX, and N
Implements iterator-based batch processing that automatically applies the same pipeline to multiple files.
Python - pyspur-dev/pyspur
PySpur-Dev/pyspur
5,677Auf GitHub ansehenRun a workflow once for each row in a dataset, mapping columns to inputs and writing results to a file.
TypeScriptagentagentsai - open-telemetry/opentelemetry-collector-contrib
open-telemetry/opentelemetry-collector-contrib
4,758Auf GitHub ansehenDieses Projekt bietet eine Observability-Datenpipeline, die darauf ausgelegt ist, Logs, Metriken und Traces aus verschiedenen Quellen zu sammeln, zu transformieren und in standardisierte Formate für die Analyse zu routen. Es arbeitet als Plugin-basierte Komponentenarchitektur, die modulare Receiver, Prozessoren und Exporter verwendet, um Telemetriedaten durch sequentielle Verarbeitungsketten zu bewegen. Das System nutzt ein schnittstellengetriebenes Komponentenmodell, das austauschbare Konnektoren und von der Community beigesteuerte Erweiterungen ermöglicht. Es zeichnet sich durch eine domänenspezifische Sprache für Telemetrie-Filterung, metadatenbasierte Ressourcenattribuierung für die Infrastrukturerkennung und dynamische Secret-Auflösung von externen Cloud-Managern aus. Der Collector deckt eine breite Palette an Funktionen ab, einschließlich Telemetrie-Ingestion von Cloud-Providern und Datenbanken, Datentransformation und Reaggregation sowie sicheren Export an Speicher-Backends von Drittanbietern. Er integriert Funktionen für das Traffic-Management wie Round-Robin-Routing und Nachrichtenpartitionierung sowie Sicherheitsprimitive für Identitäts- und Zugriffsmanagement via OAuth2 und OIDC. Das Projekt enthält ein Qualitätssicherungs-Framework für synthetische Datensimulation, End-to-End-Leistungstests und Datenintegritätsprüfung.
Walks through all keys in file-based storage using deferred operations to manage large datasets.
Go
