Awesome GitHub RepositoriesPermutation Language Models

Este proyecto es un framework de procesamiento de lenguaje natural centrado en un preentrenador autorregresivo generalizado diseñado para la representación de lenguaje no supervisado. Implementa un modelo de lenguaje que combina el entrenamiento basado en permutaciones con un backbone Transformer-XL para funcionar como un procesador de texto de contexto largo. El sistema destaca por su capacidad para manejar secuencias de texto que exceden los límites de longitud estándar mediante el uso de recurrencia a nivel de segmento y codificación posicional relativa. Escala el preentrenamiento de alto rendimiento a través de múltiples GPUs y clusters de TPU utilizando implementaciones de entrenamiento distribuido. El código base cubre el flujo de trabajo completo de machine learning, incluyendo limpieza de texto y tokenización de subpalabras para el preprocesamiento de datos, así como ajuste fino (fine-tuning) específico para tareas de respuesta a preguntas, comprensión lectora y clasificación de texto. Incluye utilidades para optimización de parámetros, programación de tasas de aprendizaje y evaluación de probabilidades de respuesta mediante métricas de precisión-recall. El proyecto proporciona configuraciones para gestionar hiperparámetros del modelo y entrenamiento acelerado por hardware en múltiples hosts.