Awesome GitHub RepositoriesBinary Record Data Loading

Ce projet est un framework de transformer basé sur JAX et un entraîneur de modèles de langage large conçu pour construire et entraîner des modèles distribués sur des accélérateurs matériels TPU. Il fournit un système pour le pré-entraînement et le fine-tuning de modèles autorégressifs en divisant les poids et les calculs sur un maillage de périphériques pour réduire la surcharge mémoire et augmenter la vitesse de traitement. Le framework inclut un orchestrateur de calcul TPU pour provisionner les ressources et automatiser l'installation des dépendances sur des nœuds distribués distants. Il dispose également d'un convertisseur de poids de modèle capable de transformer et de re-sharder les checkpoints entre différentes configurations matérielles et précisions numériques. Le projet couvre des capacités plus larges, notamment la gestion de checkpoints shardés pour le stockage cloud, le chargement de données par flux avec restauration d'état et la génération de texte basée sur le noyau pour l'inférence. Il prend en charge l'accélération matérielle compilée XLA pour les clusters TPU et GPU et fournit des outils de benchmarking de performance sur des tâches linguistiques standardisées.

Gluon-CV est une bibliothèque de vision par ordinateur MXNet qui fournit une collection complète d'architectures de vision pré-implémentées et de pipelines d'entraînement. Elle sert de toolkit de recherche en deep learning et de zoo de modèles contenant des poids pré-entraînés à l'état de l'art pour l'analyse d'images et de vidéos. Le projet inclut une bibliothèque spécialisée d'estimation de pose humaine et un toolkit de compression de modèles. Ces outils permettent l'élagage et la quantification de modèles de deep learning pour augmenter la vitesse d'inférence et faciliter le déploiement sur du matériel edge contraint. La bibliothèque couvre un large éventail de capacités de vision, incluant la classification d'images, la détection d'objets, ainsi que la segmentation sémantique et d'instance. Elle fournit également des outils pour l'analyse vidéo, tels que la reconnaissance d'action, le suivi d'objets et l'estimation de profondeur monoculaire. L'entraînement est pris en charge via des pipelines automatisés et des charges de travail multi-GPU distribuées pour accélérer la convergence des modèles.

This project is an implementation of the ALBERT language model architecture, providing a framework for training and evaluating transformer-based text classifiers and similarity models. It specifically includes pre-trained assets and tools optimized for generating semantic embeddings and representations of Chinese text. The framework distinguishes itself through tools for converting heavy language model checkpoints into lightweight formats to enable low-latency inference on mobile devices. It utilizes specific weight reduction techniques, including cross-parameter sharing and factorized embedd