1 个仓库
Serialization mechanisms that handle non-contiguous memory allocation for variable-width data streams.
Distinct from Variable-Width Integer Encodings: Distinct from [f4_mt1] as it focuses on memory block allocation rather than integer encoding schemes.
Explore 1 awesome GitHub repository matching data & databases · Variable Width Memory Serialization. Refine with filters or upvote what's useful.
Velox 是一个高性能 C++ 查询执行引擎和列式数据处理库。它作为一个用于实现分析型查询引擎的可组合框架,提供了向量化表达式评估器和数据管理系统工具包。 该项目以使用向量化列式执行和基于 Arena 的内存分配来处理大规模数据集而著称。它具有专门的优化功能,如广播连接表缓存、动态过滤器下推和字典编码,以减少内存开销并加速分析读取。 该引擎涵盖了广泛的分析能力,包括实现哈希连接、合并连接和半连接,以及多阶段并行聚合和窗口函数计算。它提供了用于列式内存存储、Parquet 数据解码以及与云存储集成的原语。 通过用于自定义标量和聚合函数的函数注册系统提供可扩展性,并提供高级绑定以将 C++ 逻辑连接到 Python。
Writes data streams to memory blocks by transparently allocating additional non-contiguous ranges as needed.