Awesome GitHub RepositoriesMulti-Task NLP Training

Este es un framework de machine learning para tratar diversas tareas de procesamiento de lenguaje natural como un problema unificado de texto a texto. Proporciona un toolkit para pre-entrenar y ajustar modelos transformer a gran escala, utilizando un sistema donde tanto las entradas como las salidas se formatean como secuencias de texto crudo. El framework se distingue por su sistema de entrenamiento distribuido, que utiliza estrategias basadas en malla para escalar pesos de modelos y lotes de entrenamiento a través de múltiples núcleos TPU. Soporta aprendizaje multitarea combinando diversos datasets en un único flujo de entrenamiento utilizando tasas de mezcla configurables, permitiendo que un único modelo maneje varias tareas de lenguaje. El sistema cubre una amplia gama de capacidades, incluyendo arquitecturas codificador-decodificador, decodificación de búsqueda de haz (beam-search) para generación de texto y flujos de trabajo de transfer learning. Incluye utilidades para la preparación de datasets de NLP, evaluación del rendimiento del modelo y exportación de checkpoints entrenados para servir en producción. La biblioteca soporta la carga de checkpoints de modelos pre-entrenados de varios tamaños para acelerar el desarrollo.