Awesome GitHub RepositoriesModel Depth Optimization

Fairseq is a PyTorch toolkit for sequence-to-sequence modeling, specializing in neural machine translation, automatic speech recognition, and large-scale language model training. It provides a framework for processing and aligning diverse data sources, including text, audio, and video, to support tasks such as speech-to-text conversion and multimodal sequence learning. The project is distinguished by its distributed training capabilities, which utilize parameter sharding, mixed-precision training, and CPU offloading to handle models that exceed single-device memory. It also includes specializ

This is a PyTorch semantic segmentation library designed for building image masking frameworks. It provides a collection of over 500 pretrained convolutional and transformer-based encoders and various decoder architectures to perform binary and multiclass pixel-level classification. The library features a modular backbone integration that decouples encoder choice from decoder logic. It supports custom input channel configurations and encoder depth tuning, allowing the modification of input layers to accept non-standard channel counts while preserving pretrained weights. Some configurations al

x-transformers est une bibliothèque PyTorch et un toolkit de recherche pour construire des architectures transformer. Il fournit un framework modulaire pour implémenter la recherche transformer expérimentale, incluant une suite de mécanismes d'attention avancés, des outils de modélisation de séquences longues et un framework pour les vision transformers. Le projet se distingue par son accent sur les composants haute performance et économes en mémoire, tels que Flash Attention avec des noyaux tuilés et l'attention multi-requêtes. Il implémente également des méthodes spécialisées pour étendre les fenêtres de contexte, incluant la récurrence de séquence et les plongements positionnels rotatifs. La bibliothèque couvre un large éventail de capacités architecturales, incluant divers schémas de normalisation pour stabiliser l'entraînement, des réseaux feedforward à portes et des topologies de couches personnalisées comme les réseaux Macaron. Elle prend en charge les constructions d'encodeur et de décodeur, fournissant des outils pour la génération de séquence autorégressive et les tâches vision-langage comme la légende d'image.