5 个仓库
Awesome GitHub RepositoriesExecution Pattern Optimizations
High-efficiency execution patterns designed to reduce training overhead beyond standard optimizer algorithms.
Distinct from High-Performance Optimizer Implementations: Distinct from High-Performance Optimizer Implementations by focusing on the broader execution interface rather than just gradient update algorithms.
Explore 5 awesome GitHub repositories matching artificial intelligence & ml · Execution Pattern Optimizations. Refine with filters or upvote what's useful.
Awesome Execution Pattern Optimizations GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- ppwwyyxx/tensorpack
ppwwyyxx/tensorpack
6,287在 GitHub 上查看Tensorpack 是一个高性能 TensorFlow 训练框架和分布式深度学习工具包。它提供了一套用于构建和训练神经网络的工具，重点在于执行速度和架构灵活性。 该项目作为一个神经网络优化套件，实现了高效的执行模式以减少训练开销。它作为一个并行数据加载流水线，利用自动化并行化在处理大数据集时最大化吞吐量。 该工具包涵盖了使用数据并行策略在多个 GPU 和计算集群上进行的分布式训练。其功能包括大规模数据集处理和性能优化，以提高训练吞吐量。
Increases throughput and reduces overhead by implementing high-efficiency execution patterns instead of standard interfaces.
Python - tencent/tnn
Tencent/TNN
4,641在 GitHub 上查看TNN 是一个深度学习推理框架，旨在跨移动端、桌面端和服务器硬件执行预训练神经网络。它作为硬件加速运行时和模型压缩工具包，为在不同环境中部署模型提供了统一接口。 该框架包含一个 ONNX 模型转换器，可将来自各种训练框架的模型转换为标准化的内部格式。其特色在于结合了模型压缩工具（包括权重量化和静态代码剪枝）以及一种在非依赖节点之间重用缓冲区的内存管理系统，以减少 RAM 使用。 该系统通过算子融合优化性能以最小化内存访问，并采用平台特定的后端来利用专用处理器和 GPU。它还通过低精度计算和硬件特定调优进一步提高了执行速度。
Optimizes execution flow by fusing operators to reduce memory access and kernel startup overhead.
C++ - tingsongyu/pytorch-tutorial-2nd
TingsongYu/PyTorch-Tutorial-2nd
4,555在 GitHub 上查看这是一个关于使用 PyTorch 构建神经网络的综合教学资源和课程。它涵盖了深度学习的基本构建块，包括张量操作、自动微分以及模块化神经网络组件的构建。 该仓库是多个专业领域的参考指南。它提供了计算机视觉任务（如图像分类、目标检测和语义分割）的实现细节，以及涉及 Transformer、循环网络和生成模型的自然语言处理工作流。此外，它还包括生成式 AI 的参考资料，专门关注通过扩散模型和对抗网络进行图像合成。 材料延伸至模型优化和部署流水线。它涵盖了通过量化和将模型导出为 ONNX 和 TensorRT 等格式来减小模型大小并提高推理速度的技术。其他能力领域包括用于并行加载的数据工程、使用自定义指标的模型评估，以及开源大语言模型的部署。 该项目主要以一系列 Jupyter Notebook 的形式提供。
Combines multiple neural network layers into single kernels to minimize memory access during inference.
Jupyter Notebookcomputer-visiondeepsortdiffusion-models - uxlfoundation/onednn
uxlfoundation/oneDNN
4,009在 GitHub 上查看oneDNN 是一个深度学习加速库，为神经网络训练和推理提供优化的构建块。它管理跨 CPU 和 GPU 硬件的张量计算，支持执行用于模型训练和神经网络推理优化的高性能原语。 该项目通过硬件特定的内核优化和使用即时编译来针对特定处理器指令集脱颖而出。它支持使用静态和动态量化来执行量化神经网络，以减少内存使用并提高吞吐量。 该库涵盖了广泛的功能，包括卷积、矩阵乘法和循环神经网络执行等深度学习原语。它实现了先进的性能优化，包括操作融合、计算图优化和内存格式管理。通过稳定的 C ABI 和 C++ 包装器提供集成，并支持 SYCL、OpenCL 和外部线性代数库。 该系统包括用于硬件性能分析、原语基准测试和详细执行日志记录的观测工具。
Reduces inference overhead by fusing neural network primitives with subsequent post-operations into single kernels.
C++aarch64amxavx512 - hyperai/tvm-cn
hyperai/tvm-cn
3,813在 GitHub 上查看This project is a collection of technical guides and manuals for the Apache TVM compiler stack translated into Simplified Chinese. It provides translated documentation focusing on deep learning compilation and the transformation of machine learning models into optimized executable code. The documentation covers the use of hardware backend guides for deploying models across CPUs, GPUs, and specialized accelerators. It also includes references for intermediate representations and graph-level optimizations used to compile tensor programs.
Supports merging consecutive neural network layers into single kernels to minimize memory access and processing time.
TypeScriptapachechinese-simplifieddeep-learning
