Awesome GitHub RepositoriesBinary Record Data Loading

Este proyecto es un framework de transformers basado en JAX y un entrenador de modelos de lenguaje a gran escala diseñado para construir y entrenar modelos distribuidos en aceleradores de hardware TPU. Proporciona un sistema para el preentrenamiento y ajuste fino (fine-tuning) de modelos autorregresivos dividiendo pesos y cálculos a través de una malla de dispositivos para reducir la sobrecarga de memoria y aumentar la velocidad de procesamiento. El framework incluye un orquestador de cómputo TPU para aprovisionar recursos y automatizar la instalación de dependencias en nodos distribuidos remotos. También cuenta con un convertidor de pesos de modelos capaz de transformar y redistribuir (resharding) checkpoints entre diferentes configuraciones de hardware y precisiones numéricas. El proyecto cubre capacidades más amplias, incluyendo la gestión de checkpoints fragmentados para almacenamiento en la nube, carga de datos basada en flujos con restauración de estado y generación de texto basada en núcleos para la inferencia de modelos. Además, admite aceleración de hardware compilada con XLA para clusters de TPU y GPU, y proporciona herramientas para benchmarking de rendimiento frente a tareas de lenguaje estandarizadas.

Gluon-CV es una biblioteca de visión artificial para MXNet que proporciona una colección completa de arquitecturas de visión preimplementadas y tuberías de entrenamiento. Sirve como un kit de herramientas de investigación de aprendizaje profundo y un zoológico de modelos (model zoo) que contiene pesos preentrenados de última generación para análisis de imágenes y video. El proyecto incluye una biblioteca especializada en estimación de pose humana y un kit de herramientas de compresión de modelos. Estas herramientas permiten la poda (pruning) y cuantización de modelos de aprendizaje profundo para aumentar la velocidad de inferencia y facilitar el despliegue en hardware de borde (edge hardware) con recursos limitados. La biblioteca cubre una amplia gama de capacidades de visión, incluyendo clasificación de imágenes, detección de objetos y segmentación semántica e instanciada. También proporciona herramientas para análisis de video, como reconocimiento de acciones, seguimiento de objetos y estimación de profundidad monocular. El entrenamiento es compatible a través de tuberías automatizadas y cargas de trabajo distribuidas multi-GPU para acelerar la convergencia del modelo.

This project is an implementation of the ALBERT language model architecture, providing a framework for training and evaluating transformer-based text classifiers and similarity models. It specifically includes pre-trained assets and tools optimized for generating semantic embeddings and representations of Chinese text. The framework distinguishes itself through tools for converting heavy language model checkpoints into lightweight formats to enable low-latency inference on mobile devices. It utilizes specific weight reduction techniques, including cross-parameter sharing and factorized embedd