1 repository
Awesome GitHub RepositoriesLinear Operator Factorization
Decomposition of large linear layers into smaller operators to reduce the number of computations.
Distinct from Linear Operation Representations: Shortlist candidates focus on graph representation or regression rather than layer decomposition for efficiency.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Linear Operator Factorization. Refine with filters or upvote what's useful.
Awesome Linear Operator Factorization GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- mosaicml/composer
mosaicml/composer
5,485Vezi pe GitHubComposer este un framework de antrenare distribuită PyTorch conceput pentru scalarea modelelor de mari dimensiuni pe clustere GPU multi-nod. Acesta funcționează ca un antrenor de modele lingvistice mari (LLM), un optimizator de modele distribuite și un manager al ciclului de viață al antrenării. Proiectul se diferențiază ca o bibliotecă de regularizare pentru deep learning, oferind tehnici de optimizare specializate precum Sharpness Aware Minimization, MixUp și CutMix pentru a îmbunătăți generalizarea modelului. De asemenea, distinge fluxul de antrenare prin utilizarea warmup-ului pentru lungimea secvenței, înghețarea progresivă a straturilor și checkpointing-ul stării sharded pentru recuperarea modelelor la scară largă. Framework-ul acoperă o suprafață largă de capabilități, inclusiv orchestrarea antrenării distribuite, gestionarea hardware-ului cu precizie mixtă și streaming-ul de date cloud-native. Oferă, de asemenea, instrumente extinse de monitorizare și observabilitate pentru diagnosticarea memoriei GPU, detectarea divergenței antrenării și urmărirea throughput-ului. Proiectul include un launcher CLI pentru automatizarea execuției joburilor de antrenare multi-GPU pe mai multe noduri.
Decomposes large linear layers into smaller operators to reduce the number of computations.
Python
