Awesome GitHub RepositoriesConvolutional Weight Standardization

Composer este un framework de antrenare distribuită PyTorch conceput pentru scalarea modelelor de mari dimensiuni pe clustere GPU multi-nod. Acesta funcționează ca un antrenor de modele lingvistice mari (LLM), un optimizator de modele distribuite și un manager al ciclului de viață al antrenării. Proiectul se diferențiază ca o bibliotecă de regularizare pentru deep learning, oferind tehnici de optimizare specializate precum Sharpness Aware Minimization, MixUp și CutMix pentru a îmbunătăți generalizarea modelului. De asemenea, distinge fluxul de antrenare prin utilizarea warmup-ului pentru lungimea secvenței, înghețarea progresivă a straturilor și checkpointing-ul stării sharded pentru recuperarea modelelor la scară largă. Framework-ul acoperă o suprafață largă de capabilități, inclusiv orchestrarea antrenării distribuite, gestionarea hardware-ului cu precizie mixtă și streaming-ul de date cloud-native. Oferă, de asemenea, instrumente extinse de monitorizare și observabilitate pentru diagnosticarea memoriei GPU, detectarea divergenței antrenării și urmărirea throughput-ului. Proiectul include un launcher CLI pentru automatizarea execuției joburilor de antrenare multi-GPU pe mai multe noduri.

Flashlight este o bibliotecă C++ standalone de machine learning și tensori, utilizată pentru construirea și antrenarea rețelelor neuronale. Aceasta funcționează ca un framework cuprinzător de rețele neuronale și motor de diferențiere automată, oferind instrumentele necesare pentru a construi grafuri de calcul și a calcula gradienții prin backpropagation. Proiectul servește drept framework de antrenare distribuită, utilizând operațiuni all-reduce pentru a sincroniza gradienții și parametrii pe mai multe noduri de calcul și dispozitive. Se distinge prin integrarea profundă a manipulării de înaltă performanță a tensorilor, interoperabilitatea nativă a memoriei dispozitivului și un sistem pentru sincronizarea ponderilor între workerii distribuiți pentru a accelera antrenarea modelelor la scară largă. Framework-ul acoperă o gamă largă de capabilități de deep learning, inclusiv compoziția modulară a straturilor pentru proiectarea arhitecturilor complexe precum blocuri reziduale și celule recurente. Oferă utilitare extinse de gestionare a datelor pentru ingestie și prefetching, alături de sisteme de serializare pentru persistența stărilor modelelor. În plus, include o suită de instrumente de monitorizare și observabilitate pentru urmărirea metricilor de antrenare și măsurarea erorilor de secvență. Biblioteca este implementată în C++.

This repository is an educational collection of implementations and research notes focused on deep learning architectures and optimization techniques. It provides modular code examples designed to demonstrate foundational and advanced concepts in machine learning, ranging from basic neural network structures to complex training strategies. The project distinguishes itself by offering practical implementations of specialized research methods, including capsule-based feature aggregation, gradient direction decoupling, and self-normalizing weight regularization. These materials allow for the stu