Awesome GitHub RepositoriesMulti-Task Mixture Training

Acesta este un framework de machine learning pentru tratarea diverselor sarcini de procesare a limbajului natural ca o problemă unificată de tip text-to-text. Oferă un toolkit pentru pre-antrenarea și ajustarea fină a modelelor transformer la scară largă, utilizând un sistem în care atât input-urile, cât și output-urile sunt formatate ca secvențe de text brut. Framework-ul se distinge prin sistemul său de antrenare distribuită, care utilizează strategii bazate pe mesh pentru a scala ponderile modelelor și batch-urile de antrenament pe mai multe nuclee TPU. Susține învățarea multi-task prin combinarea diverselor seturi de date într-un singur flux de antrenament folosind rate de amestec configurabile, permițând unui singur model să gestioneze diverse sarcini lingvistice. Sistemul acoperă o gamă largă de capabilități, inclusiv arhitecturi encoder-decoder, decodare beam-search pentru generarea de text și fluxuri de lucru de transfer learning. Include utilitare pentru pregătirea seturilor de date NLP, evaluarea performanței modelului și exportul checkpoint-urilor antrenate pentru servire în producție. Biblioteca susține încărcarea checkpoint-urilor de modele pre-antrenate de diverse dimensiuni pentru a accelera dezvoltarea.