1 Repo
Awesome GitHub RepositoriesSmall Batch Simulations
Techniques that simulate the behavior of small batch normalization by splitting larger batches into smaller chunks.
Distinct from Batch Normalization: Focuses on simulating a specific batch size's effect for normalization, distinct from general batch normalization or dynamic runtime splitting.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Small Batch Simulations. Refine with filters or upvote what's useful.
Awesome Small Batch Simulations GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- mosaicml/composer
mosaicml/composer
5,485Auf GitHub ansehenComposer ist ein Framework für verteiltes Training mit PyTorch, das für die Skalierung großer Modelle über Multi-Node-GPU-Cluster hinweg entwickelt wurde. Es fungiert als Trainer für Large Language Models, als verteilter Modelloptimierer und als Manager für den Trainingslebenszyklus. Das Projekt hebt sich als Bibliothek für Deep-Learning-Regularisierung hervor und bietet spezialisierte Optimierungstechniken wie Sharpness Aware Minimization, MixUp und CutMix, um die Generalisierung von Modellen zu verbessern. Es differenziert seinen Trainingsablauf zudem durch den Einsatz von Sequence Length Warmup, progressivem Layer-Freezing und Sharded-State-Checkpointing für die Wiederherstellung großer Modelle. Das Framework deckt ein breites Spektrum an Funktionen ab, darunter die Orchestrierung von verteiltem Training, das Management von Mixed-Precision-Hardware und Cloud-natives Daten-Streaming. Es bietet zudem umfangreiche Monitoring- und Observability-Tools für die Diagnose von GPU-Speicher, die Erkennung von Trainingsdivergenz und die Verfolgung des Durchsatzes. Das Projekt enthält einen CLI-Launcher zur Automatisierung der Ausführung von Multi-GPU-Trainingsjobs über mehrere Nodes hinweg.
Implements small batch normalization simulation by splitting inputs into smaller chunks to mimic specific batch size effects.
Python
