3 个仓库
Awesome GitHub RepositoriesBinary Record Data Loading
Optimized mechanisms for reading large-scale datasets from binary files to minimize I/O overhead during model training.
Distinct from Binary Memory Loading: None of the candidates cover high-performance dataset loading for ML; they focus on memory emulation, native plugins, or specific file formats.
Explore 3 awesome GitHub repositories matching data & databases · Binary Record Data Loading. Refine with filters or upvote what's useful.
Awesome Binary Record Data Loading GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- kingoflolz/mesh-transformer-jax
kingoflolz/mesh-transformer-jax
6,376在 GitHub 上查看该项目是一个基于 JAX 的 Transformer 框架和大语言模型训练器，专为在 TPU 硬件加速器上构建和训练分布式模型而设计。它提供了一个通过在设备网格上拆分权重和计算来减少内存开销并提高处理速度的系统，用于预训练和微调自回归模型。 该框架包含一个 TPU 计算编排器，用于资源配置和自动化远程分布式节点上的依赖安装。它还具有一个模型权重转换器，能够在不同的硬件配置和数值精度之间转换和重新分片检查点。 该项目涵盖了更广泛的功能，包括用于云存储的分片检查点管理、具有状态恢复的流式数据加载，以及用于模型推理的基于核的文本生成。它进一步支持针对 TPU 和 GPU 集群的 XLA 编译硬件加速，并提供针对标准化语言任务进行性能基准测试的工具。
Reads training batches from binary record files using parsing functions to feed distributed accelerators without memory overflow.
Python - dmlc/gluon-cv
dmlc/gluon-cv
5,922在 GitHub 上查看Gluon-CV 是一个 MXNet 计算机视觉库，提供了一系列预实现的视觉架构和训练管线。它作为一个深度学习研究工具包和模型库，包含用于图像和视频分析的最先进预训练权重。 该项目包括一个专门的人体姿态估计库和模型压缩工具包。这些工具允许对深度学习模型进行剪枝和量化，以提高推理速度并促进在受限边缘硬件上的部署。 该库涵盖了广泛的视觉功能，包括图像分类、目标检测以及语义和实例分割。它还提供视频分析工具，如动作识别、目标跟踪和单目深度估计。 训练通过自动化管线和分布式多 GPU 工作负载提供支持，以加速模型收敛。
Provides optimized mechanisms for reading large-scale image datasets from binary files to reduce I/O overhead during training.
Pythonaction-recognitioncomputer-visiondeep-learning - brightmart/albert_zh
brightmart/albert_zh
3,982在 GitHub 上查看本项目是 ALBERT 语言模型架构的实现，提供了一个用于训练和评估基于 Transformer 的文本分类器和相似度模型的框架。它特别包括针对生成中文文本的语义嵌入和表示而优化的预训练资产和工具。 该框架通过将重型语言模型检查点转换为轻量级格式以在移动设备上实现低延迟推理的工具脱颖而出。它利用特定的权重缩减技术，包括跨参数共享和因子分解嵌入参数化，以在较小的内存占用下保持性能。 该系统涵盖了自然语言处理的完整流水线，从原始文本归一化和子词分词，到使用掩码语言建模的自监督预训练。它提供下游任务适配功能，允许对预训练模型进行微调以进行文本相似度分析和监督分类。 该项目包括用于二进制记录数据转换和模型格式转换的实用程序，以确保跨不同机器学习平台的兼容性。
Provides optimized mechanisms for reading large-scale binary datasets to minimize I/O overhead.
Pythonalbertbertchinese-corpus
