1 个仓库
Awesome GitHub RepositoriesDeep Learning Regularization Libraries
Libraries providing specialized regularization algorithms like MixUp and CutMix to improve model generalization.
Distinct from Deep Learning Libraries: Specifically targets regularization techniques, not general-purpose deep learning frameworks.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Deep Learning Regularization Libraries. Refine with filters or upvote what's useful.
Awesome Deep Learning Regularization Libraries GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- mosaicml/composer
mosaicml/composer
5,485在 GitHub 上查看Composer 是一个 PyTorch 分布式训练框架，旨在实现大规模模型在多节点 GPU 集群上的扩展。它兼具大语言模型训练器、分布式模型优化器和训练生命周期管理器的功能。 该项目作为深度学习正则化库脱颖而出，提供诸如 Sharpness Aware Minimization、MixUp 和 CutMix 等专业优化技术，以提升模型的泛化能力。它还通过序列长度预热、渐进式层冻结以及用于大规模模型恢复的分片状态检查点技术，优化了训练流程。 该框架涵盖了广泛的功能领域，包括分布式训练编排、混合精度硬件管理和云原生数据流。它还为 GPU 内存诊断、训练发散检测和吞吐量跟踪提供了丰富的监控与可观测性工具。 该项目包含一个命令行启动器，可自动执行跨节点的分布式多 GPU 训练任务。
Provides a collection of training algorithms including MixUp and Sharpness Aware Minimization to improve generalization.
Python
