Awesome GitHub RepositoriesMulti-Task NLP Training

Il s'agit d'un framework de machine learning pour traiter diverses tâches de traitement du langage naturel comme un problème unifié de texte-à-texte. Il fournit une boîte à outils pour le pré-entraînement et le fine-tuning de modèles transformer à grande échelle, utilisant un système où à la fois les entrées et les sorties sont formatées comme des séquences de texte brut. Le framework se distingue par son système d'entraînement distribué, qui utilise des stratégies basées sur des maillages pour mettre à l'échelle les poids des modèles et les lots d'entraînement à travers de multiples cœurs TPU. Il supporte l'apprentissage multi-tâches en combinant divers datasets dans un flux d'entraînement unique en utilisant des taux de mélange configurables, permettant à un modèle unique de gérer diverses tâches linguistiques. Le système couvre un large éventail de capacités, incluant les architectures encodeur-décodeur, le décodage par recherche en faisceau (beam-search) pour la génération de texte, et les workflows de transfert learning. Il inclut des utilitaires pour la préparation de datasets NLP, l'évaluation de la performance des modèles et l'exportation de points de contrôle entraînés pour la mise en production. La bibliothèque supporte le chargement de points de contrôle de modèles pré-entraînés de diverses tailles pour accélérer le développement.