1 个仓库
Awesome GitHub RepositoriesParallel Data Loading
High-throughput data streaming implementations using multiprocessing to bypass framework bottlenecks.
Distinct from Python Data Pipeline Frameworks: Focuses on the parallel execution of data loading specifically for ML pipelines, rather than general batch workflow orchestration.
Explore 1 awesome GitHub repository matching data & databases · Parallel Data Loading. Refine with filters or upvote what's useful.
Awesome Parallel Data Loading GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- tensorpack/tensorpack
tensorpack/tensorpack
6,287在 GitHub 上查看Tensorpack 是一个高级 TensorFlow 神经网络框架和研究库，专为构建和训练深度学习模型而设计。它提供了一系列可复现的神经网络架构，用于计算机视觉、生成任务、强化学习和自然语言处理。 该项目通过一个专门的深度学习数据流水线脱颖而出，该流水线使用纯 Python 进行并行数据加载和流式传输。它包括一个用于通过数据并行策略分发工作负载的多 GPU 训练编排器，以及一个用于可视化模型显著性和激活图的专用可解释性工具包。 该框架涵盖了广泛的功能，包括用于目标检测和语义分割的计算机视觉流水线、用于语音和文本的序列建模，以及强化学习代理开发。它还提供用于权重量化和低位宽训练的模型优化工具，以及用于复现学术研究论文和转换遗留 Caffe 模型权重的实用程序。
Uses pure Python multiprocessing to stream datasets into the computation graph, bypassing framework-specific pipeline constraints.
Python
