Awesome GitHub RepositoriesBinary Record Data Loading

Acest proiect este un framework de transformatoare bazat pe JAX și un antrenor de modele de limbaj mari, conceput pentru construirea și antrenarea modelelor distribuite pe acceleratoare hardware TPU. Oferă un sistem pentru pre-antrenare și fine-tuning-ul modelelor autoregresive prin împărțirea ponderilor și a calculelor pe o rețea de dispozitive pentru a reduce overhead-ul de memorie și a crește viteza de procesare. Framework-ul include un orchestrator de calcul TPU pentru provizionarea resurselor și automatizarea instalării dependențelor pe noduri distribuite la distanță. De asemenea, dispune de un convertor de ponderi de model capabil să transforme și să redistribuie checkpoint-urile între diferite configurații hardware și precizii numerice. Proiectul acoperă capabilități mai largi, inclusiv gestionarea checkpoint-urilor partajate pentru stocarea în cloud, încărcarea datelor bazată pe flux cu restaurarea stării și generarea de text bazată pe nucleu pentru inferența modelului. De asemenea, suportă accelerarea hardware compilată XLA pentru clustere TPU și GPU și oferă instrumente pentru benchmarking-ul performanței față de sarcini lingvistice standardizate.

Gluon-CV este o bibliotecă de computer vision pentru MXNet care oferă o colecție cuprinzătoare de arhitecturi de viziune pre-implementate și pipeline-uri de antrenament. Servește drept toolkit de cercetare în deep learning și o grădină zoologică de modele (model zoo) care conține ponderi pre-antrenate de ultimă generație pentru analiza imaginilor și a videoclipurilor. Proiectul include o bibliotecă specializată de estimare a posturii umane și un toolkit de compresie a modelelor. Aceste instrumente permit tăierea (pruning) și cuantizarea modelelor de deep learning pentru a crește viteza de inferență și a facilita implementarea pe hardware edge cu resurse limitate. Biblioteca acoperă o gamă largă de capabilități de viziune, inclusiv clasificarea imaginilor, detectarea obiectelor și segmentarea semantică și de instanță. De asemenea, oferă instrumente pentru analiza video, cum ar fi recunoașterea acțiunilor, urmărirea obiectelor și estimarea adâncimii monoculare. Antrenamentul este susținut prin pipeline-uri automatizate și sarcini de lucru distribuite multi-GPU pentru a accelera convergența modelului.

Acest proiect este o implementare a arhitecturii modelului lingvistic ALBERT, oferind un framework pentru antrenarea și evaluarea clasificatorilor de text și a modelelor de similaritate bazate pe transformer. Acesta include în mod specific active pre-antrenate și instrumente optimizate pentru generarea de embedding-uri semantice și reprezentări ale textului chinezesc. Framework-ul se distinge prin instrumente pentru conversia checkpoint-urilor modelelor lingvistice grele în formate ușoare pentru a permite inferența cu latență scăzută pe dispozitive mobile. Utilizează tehnici specifice de reducere a ponderilor, inclusiv partajarea cross-parameter și parametrizarea embedding-urilor factorizate, pentru a menține performanța cu o amprentă de memorie mai mică. Sistemul acoperă un pipeline complet pentru procesarea limbajului natural, de la normalizarea textului brut și tokenizarea subword până la pre-antrenarea auto-supervizată folosind masked language modeling. Oferă capacități pentru adaptarea sarcinilor ulterioare, permițând modelelor pre-antrenate să fie reglate fin pentru analiza similarității textului și clasificare supervizată. Proiectul include utilitare pentru conversia datelor de înregistrare binară și transformarea formatului modelului pentru a asigura compatibilitatea între diferite platforme de machine learning.