Awesome GitHub RepositoriesConvolutional Weight Standardization

Composer est un framework d'entraînement distribué PyTorch conçu pour mettre à l'échelle des modèles de grande taille sur des clusters GPU multi-nœuds. Il fonctionne comme un entraîneur de grands modèles de langage, un optimiseur de modèle distribué et un gestionnaire de cycle de vie d'entraînement. Le projet se différencie en tant que bibliothèque de régularisation pour le deep learning, fournissant des techniques d'optimisation spécialisées telles que Sharpness Aware Minimization, MixUp et CutMix pour améliorer la généralisation des modèles. Il distingue davantage son flux d'entraînement par l'utilisation du warmup de longueur de séquence, du gel progressif des couches et du checkpointing d'état fragmenté pour la récupération de modèles à grande échelle. Le framework couvre une large surface de capacités, incluant l'orchestration de l'entraînement distribué, la gestion du matériel en précision mixte et le streaming de données cloud-native. Il fournit également des outils étendus de surveillance et d'observabilité pour les diagnostics de mémoire GPU, la détection de divergence d'entraînement et le suivi du débit. Le projet inclut un lanceur en ligne de commande pour automatiser l'exécution de tâches d'entraînement multi-GPU sur plusieurs nœuds.

Flashlight est une bibliothèque de machine learning et de tenseurs autonome en C++ utilisée pour construire et entraîner des réseaux de neurones. Elle fonctionne comme un framework complet de réseaux de neurones et un moteur de différenciation automatique, fournissant les outils pour construire des graphes de calcul et calculer les gradients via la rétropropagation. Le projet sert de framework d'entraînement distribué, utilisant des opérations all-reduce pour synchroniser les gradients et les paramètres sur plusieurs nœuds de calcul et appareils. Il se distingue par une intégration profonde de la manipulation de tenseurs haute performance, l'interopérabilité native de la mémoire des appareils et un système pour synchroniser les poids entre les workers distribués afin d'accélérer l'entraînement de modèles à grande échelle. Le framework couvre un large éventail de capacités de deep learning, incluant la composition modulaire de couches pour concevoir des architectures complexes comme des blocs résiduels et des cellules récurrentes. Il fournit des utilitaires étendus de gestion de données pour l'ingestion et le préchargement, ainsi que des systèmes de sérialisation pour persister les états de modèle. De plus, il inclut une suite d'outils de surveillance et d'observabilité pour suivre les métriques d'entraînement et mesurer les erreurs de séquence. La bibliothèque est implémentée en C++.

This repository is an educational collection of implementations and research notes focused on deep learning architectures and optimization techniques. It provides modular code examples designed to demonstrate foundational and advanced concepts in machine learning, ranging from basic neural network structures to complex training strategies. The project distinguishes itself by offering practical implementations of specialized research methods, including capsule-based feature aggregation, gradient direction decoupling, and self-normalizing weight regularization. These materials allow for the stu