1 Repo
Awesome GitHub RepositoriesLinear Operator Factorization
Decomposition of large linear layers into smaller operators to reduce the number of computations.
Distinct from Linear Operation Representations: Shortlist candidates focus on graph representation or regression rather than layer decomposition for efficiency.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Linear Operator Factorization. Refine with filters or upvote what's useful.
Awesome Linear Operator Factorization GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- mosaicml/composer
mosaicml/composer
5,485Auf GitHub ansehenComposer ist ein Framework für verteiltes Training mit PyTorch, das für die Skalierung großer Modelle über Multi-Node-GPU-Cluster hinweg entwickelt wurde. Es fungiert als Trainer für Large Language Models, als verteilter Modelloptimierer und als Manager für den Trainingslebenszyklus. Das Projekt hebt sich als Bibliothek für Deep-Learning-Regularisierung hervor und bietet spezialisierte Optimierungstechniken wie Sharpness Aware Minimization, MixUp und CutMix, um die Generalisierung von Modellen zu verbessern. Es differenziert seinen Trainingsablauf zudem durch den Einsatz von Sequence Length Warmup, progressivem Layer-Freezing und Sharded-State-Checkpointing für die Wiederherstellung großer Modelle. Das Framework deckt ein breites Spektrum an Funktionen ab, darunter die Orchestrierung von verteiltem Training, das Management von Mixed-Precision-Hardware und Cloud-natives Daten-Streaming. Es bietet zudem umfangreiche Monitoring- und Observability-Tools für die Diagnose von GPU-Speicher, die Erkennung von Trainingsdivergenz und die Verfolgung des Durchsatzes. Das Projekt enthält einen CLI-Launcher zur Automatisierung der Ausführung von Multi-GPU-Trainingsjobs über mehrere Nodes hinweg.
Decomposes large linear layers into smaller operators to reduce the number of computations.
Python
