2 repository-uri
Awesome GitHub RepositoriesWeight Normalization
Wraps linear or convolutional modules to implement weight normalization for faster convergence.
Distinct from Convolutional Weight Standardization: Focuses on normalizing the weights of the layer themselves rather than the standardized distribution of convolutional weights.
Explore 2 awesome GitHub repositories matching artificial intelligence & ml · Weight Normalization. Refine with filters or upvote what's useful.
Awesome Weight Normalization GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- flashlight/flashlight
flashlight/flashlight
5,443Vezi pe GitHubFlashlight este o bibliotecă C++ standalone de machine learning și tensori, utilizată pentru construirea și antrenarea rețelelor neuronale. Aceasta funcționează ca un framework cuprinzător de rețele neuronale și motor de diferențiere automată, oferind instrumentele necesare pentru a construi grafuri de calcul și a calcula gradienții prin backpropagation. Proiectul servește drept framework de antrenare distribuită, utilizând operațiuni all-reduce pentru a sincroniza gradienții și parametrii pe mai multe noduri de calcul și dispozitive. Se distinge prin integrarea profundă a manipulării de înaltă performanță a tensorilor, interoperabilitatea nativă a memoriei dispozitivului și un sistem pentru sincronizarea ponderilor între workerii distribuiți pentru a accelera antrenarea modelelor la scară largă. Framework-ul acoperă o gamă largă de capabilități de deep learning, inclusiv compoziția modulară a straturilor pentru proiectarea arhitecturilor complexe precum blocuri reziduale și celule recurente. Oferă utilitare extinse de gestionare a datelor pentru ingestie și prefetching, alături de sisteme de serializare pentru persistența stărilor modelelor. În plus, include o suită de instrumente de monitorizare și observabilitate pentru urmărirea metricilor de antrenare și măsurarea erorilor de secvență. Biblioteca este implementată în C++.
Provides weight normalization wrappers for linear and convolutional modules to accelerate model convergence.
C++ - kmkolasinski/deep-learning-notes
kmkolasinski/deep-learning-notes
1,348Vezi pe GitHubThis repository is an educational collection of implementations and research notes focused on deep learning architectures and optimization techniques. It provides modular code examples designed to demonstrate foundational and advanced concepts in machine learning, ranging from basic neural network structures to complex training strategies. The project distinguishes itself by offering practical implementations of specialized research methods, including capsule-based feature aggregation, gradient direction decoupling, and self-normalizing weight regularization. These materials allow for the stu
Implements weight normalization techniques to maintain statistical distributions and prevent vanishing gradients.
Jupyter Notebook
