2 repositorios
Processing multiple data elements across pipeline stages simultaneously to maximize throughput.
Distinct from Per-Element Effect Execution: None of the candidates cover general concurrent element processing in data streams without being tied to images or hardware optimization.
Explore 2 awesome GitHub repositories matching data & databases · Concurrent Stream Processing. Refine with filters or upvote what's useful.
Streem es un lenguaje de programación basado en flujos y orquestador de pipelines de datos. Proporciona un lenguaje específico de dominio para definir flujos de datos concurrentes, permitiendo a los usuarios vincular fuentes de datos a destinos a través de una secuencia de operaciones que transforman y filtran elementos de flujo individuales. El sistema utiliza una sintaxis de script personalizada para definir conexiones de flujo de datos y definiciones de pipeline. Esto permite la orquestación del procesamiento de datos concurrente donde múltiples etapas del pipeline se ejecutan simultáneamente para mover elementos de datos a través del sistema. La plataforma cubre la transformación funcional de datos y la composición basada en etapas, aplicando funciones específicas para modificar o filtrar elementos a medida que pasan a través de una cadena secuencial de operaciones vinculadas.
Executes multiple pipeline stages simultaneously to move data elements through the system with higher throughput.
more-itertools is a Python iterable utility library providing advanced functions for manipulating, filtering, and transforming data sequences. It serves as a data stream processing toolkit and a set of utilities for iterator state management, extending the capabilities of the standard Python itertools module. The library includes a combinatorial math toolkit for generating permutations, combinations, and powersets, alongside routines for number theory calculations and matrix operations. It also provides tools for stream state management, allowing users to peek at upcoming elements or seek wit
Provides capabilities to synchronize and distribute data across multiple simultaneous consumers to prevent race conditions.