1 repository
Awesome GitHub RepositoriesData Loading State Restoration
Tracking mechanisms to resume data stream loading from specific indices after interruption.
Distinct from Batched Data Loading: Focuses on resuming the stream position rather than the act of batching data.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Data Loading State Restoration. Refine with filters or upvote what's useful.
Awesome Data Loading State Restoration GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- kingoflolz/mesh-transformer-jax
kingoflolz/mesh-transformer-jax
6,376Vezi pe GitHubAcest proiect este un framework de transformatoare bazat pe JAX și un antrenor de modele de limbaj mari, conceput pentru construirea și antrenarea modelelor distribuite pe acceleratoare hardware TPU. Oferă un sistem pentru pre-antrenare și fine-tuning-ul modelelor autoregresive prin împărțirea ponderilor și a calculelor pe o rețea de dispozitive pentru a reduce overhead-ul de memorie și a crește viteza de procesare. Framework-ul include un orchestrator de calcul TPU pentru provizionarea resurselor și automatizarea instalării dependențelor pe noduri distribuite la distanță. De asemenea, dispune de un convertor de ponderi de model capabil să transforme și să redistribuie checkpoint-urile între diferite configurații hardware și precizii numerice. Proiectul acoperă capabilități mai largi, inclusiv gestionarea checkpoint-urilor partajate pentru stocarea în cloud, încărcarea datelor bazată pe flux cu restaurarea stării și generarea de text bazată pe nucleu pentru inferența modelului. De asemenea, suportă accelerarea hardware compilată XLA pentru clustere TPU și GPU și oferă instrumente pentru benchmarking-ul performanței față de sarcini lingvistice standardizate.
Tracks processed files and batch indices to resume training data loading from a specific point after interruption.
Python
