2 个仓库
Processing multiple data elements across pipeline stages simultaneously to maximize throughput.
Distinct from Per-Element Effect Execution: None of the candidates cover general concurrent element processing in data streams without being tied to images or hardware optimization.
Explore 2 awesome GitHub repositories matching data & databases · Concurrent Stream Processing. Refine with filters or upvote what's useful.
Streem 是一种基于流的编程语言和数据流水线编排器。它提供了一种用于定义并发数据流的领域特定语言(DSL),允许用户通过一系列转换和过滤单个流元素的运算,将数据源链接到目的地。 该系统使用自定义脚本语法来定义数据流连接和流水线定义。这允许编排并发数据处理,其中多个流水线阶段同时执行,以在系统中移动数据元素。 该平台涵盖函数式数据转换和基于阶段的组合,在项目通过链接运算的顺序链时应用特定函数来修改或过滤项目。
Executes multiple pipeline stages simultaneously to move data elements through the system with higher throughput.
more-itertools 是一个 Python 可迭代对象工具库,提供用于操作、过滤和转换数据序列的高级函数。它作为一个数据流处理工具包和一组用于迭代器状态管理的工具,扩展了标准 Python itertools 模块的功能。 该库包括一个用于生成排列、组合和幂集的组合数学工具包,以及用于数论计算和矩阵运算的例程。它还提供了用于流状态管理的工具,允许用户查看即将到来的元素或在序列内搜索,以控制数据的消费方式。 附加功能涵盖了用于分块、交错和展平复杂序列的数据处理例程。该工具包还包括分析可迭代对象属性和同步并发数据流的函数。
Provides capabilities to synchronize and distribute data across multiple simultaneous consumers to prevent race conditions.