2 Repos
Awesome GitHub RepositoriesNeural Network Stability Optimizations
Techniques such as advanced normalization and gating used to prevent gradient collapse during training.
Distinct from Neural Network Optimizers: Focuses on stability via normalization and gating rather than gradient-descent optimization algorithms.
Explore 2 awesome GitHub repositories matching artificial intelligence & ml · Neural Network Stability Optimizations. Refine with filters or upvote what's useful.
Awesome Neural Network Stability Optimizations GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- lucidrains/x-transformers
lucidrains/x-transformers
5,912Auf GitHub ansehenx-transformers ist eine PyTorch-Bibliothek und ein Research-Toolkit für den Aufbau von Transformer-Architekturen. Es bietet ein modulares Framework für die Implementierung experimenteller Transformer-Forschung, einschließlich einer Suite fortschrittlicher Attention-Mechanismen, Tools für die Modellierung langer Sequenzen und eines Frameworks für Vision-Transformer. Das Projekt zeichnet sich durch den Fokus auf speichereffiziente und performante Komponenten aus, wie etwa Flash-Attention mit Tiled-Kernels und Multi-Query-Attention. Zudem implementiert es spezialisierte Methoden zur Erweiterung von Kontextfenstern, einschließlich Sequence-Recurrence und Rotary-Positional-Embeddings. Die Bibliothek deckt ein breites Spektrum architektonischer Funktionen ab, darunter verschiedene Normalisierungsschemata zur Stabilisierung des Trainings, Gated-Feedforward-Netzwerke und benutzerdefinierte Layer-Topologien wie Macaron-Netzwerke. Sie unterstützt sowohl Encoder- als auch Decoder-Konstruktionen und bietet Tools für die autoregressive Sequenzgenerierung sowie Vision-Language-Aufgaben wie Bildunterschriften.
Implements advanced normalization schemes like RMSNorm and Sandwich Norm to stabilize training.
Python - kmkolasinski/deep-learning-notes
kmkolasinski/deep-learning-notes
1,348Auf GitHub ansehenThis repository is an educational collection of implementations and research notes focused on deep learning architectures and optimization techniques. It provides modular code examples designed to demonstrate foundational and advanced concepts in machine learning, ranging from basic neural network structures to complex training strategies. The project distinguishes itself by offering practical implementations of specialized research methods, including capsule-based feature aggregation, gradient direction decoupling, and self-normalizing weight regularization. These materials allow for the stu
Implements gradient normalization and weight regularization to improve the stability and convergence of neural models.
Jupyter Notebook
