2 个仓库
Algorithms for organizing data elements into a specific order using parallel hardware acceleration.
Distinct from Parallel Processing: Specializes parallel processing specifically for sorting operations.
Explore 2 awesome GitHub repositories matching data & databases · Parallel Sorting. Refine with filters or upvote what's useful.
Thrust 是一个异构计算库和 C++ 模板库,提供了一系列用于执行数据并行操作的高级模板。它作为一个并行算法库,旨在跨不同的硬件后端工作,包括多核 CPU 和 NVIDIA GPU 硬件。 该框架利用仅头文件(header-only)的实现和通用编程策略接口,抽象了 CPU 和 GPU 内存与执行模型之间的差异。它采用基于迭代器的数据抽象,为访问主机 RAM 和设备 VRAM 中的元素提供了统一的接口。 该库涵盖了并行处理能力,包括并行数据排序和用于计算跨大数据集值的聚合归约处理。这些操作通过 CUDA 并行编程库进行管理,以实现 GPU 硬件上的高性能计算。
Implements high-performance parallel data sorting by leveraging GPU and multicore CPU hardware.
该项目是一个针对 R 的高性能表格数据处理框架,旨在以内存效率和速度处理海量数据集。它提供了一种增强的数据结构,利用引用语义和就地修改来执行复杂的转换,而无需不必要的对象复制开销。 该库凭借其底层架构优化脱颖而出,包括多线程并行处理、基数排序和内存映射文件解析。通过将关键的数据操作和聚合例程卸载到编译后的 C 代码,它实现了对原本计算昂贵的任务的快速执行。其核心引擎支持高级关系操作,如非等值连接、滚动连接和重叠区间连接,以及用于加速重复数据访问的自动二级索引。 除了主要的处理功能外,该项目还提供了一套全面的数据生命周期管理工具。这包括具有自动类型检测的高速摄取和序列化工具,以及对时间序列分析和多维聚合的专门支持。该框架旨在实现可扩展性,允许用户在包含数十亿行的数据集上执行复杂的分组、过滤和重塑操作,同时保持系统稳定性和性能。
Orders datasets using multi-threaded radix sort algorithms for high-performance data alignment.