1 Repo
Awesome GitHub RepositoriesDeep Learning Regularization Libraries
Libraries providing specialized regularization algorithms like MixUp and CutMix to improve model generalization.
Distinct from Deep Learning Libraries: Specifically targets regularization techniques, not general-purpose deep learning frameworks.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Deep Learning Regularization Libraries. Refine with filters or upvote what's useful.
Awesome Deep Learning Regularization Libraries GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- mosaicml/composer
mosaicml/composer
5,485Auf GitHub ansehenComposer ist ein Framework für verteiltes Training mit PyTorch, das für die Skalierung großer Modelle über Multi-Node-GPU-Cluster hinweg entwickelt wurde. Es fungiert als Trainer für Large Language Models, als verteilter Modelloptimierer und als Manager für den Trainingslebenszyklus. Das Projekt hebt sich als Bibliothek für Deep-Learning-Regularisierung hervor und bietet spezialisierte Optimierungstechniken wie Sharpness Aware Minimization, MixUp und CutMix, um die Generalisierung von Modellen zu verbessern. Es differenziert seinen Trainingsablauf zudem durch den Einsatz von Sequence Length Warmup, progressivem Layer-Freezing und Sharded-State-Checkpointing für die Wiederherstellung großer Modelle. Das Framework deckt ein breites Spektrum an Funktionen ab, darunter die Orchestrierung von verteiltem Training, das Management von Mixed-Precision-Hardware und Cloud-natives Daten-Streaming. Es bietet zudem umfangreiche Monitoring- und Observability-Tools für die Diagnose von GPU-Speicher, die Erkennung von Trainingsdivergenz und die Verfolgung des Durchsatzes. Das Projekt enthält einen CLI-Launcher zur Automatisierung der Ausführung von Multi-GPU-Trainingsjobs über mehrere Nodes hinweg.
Provides a collection of training algorithms including MixUp and Sharpness Aware Minimization to improve generalization.
Python
