Awesome GitHub RepositoriesText Model Training

fastText is a library and framework for word embedding generation, text vectorization, and supervised text classification. It provides tools to transform raw text into fixed-length vector representations and to train models that assign category labels to sentences or documents. The system utilizes subword-based vectorization and character n-gram embeddings, allowing it to generate meaningful vectors for words that were not present during training. To manage resource usage, it includes a quantized language model implementation that employs product quantization and dimensionality reduction to d

AutoGluon is an automated machine learning framework and multimodal library designed to automate the end-to-end pipeline from data preprocessing to high-accuracy model training and validation. It functions as an automated model trainer for tabular, image, text, and time series data, as well as a tool for time series forecasting and foundation model finetuning. The project is distinguished by its ability to jointly process and fuse different data types, allowing for the construction of multimodal neural networks that integrate images, text, and structured tables. It supports zero-shot inferenc

This project is a Transformer machine translation model and attention-based neural network implemented using the PyTorch deep learning framework. It functions as a text-to-text translation tool designed to convert source sequences into target language text. The implementation focuses on neural machine translation, covering the development of sequence-to-sequence architectures. It includes the full pipeline for translation, from text sequence preprocessing and vocabulary creation to model training and text generation inference. The system incorporates standard transformer components such as a

This project is a toolkit for fine-tuning and managing text-to-image diffusion models. It focuses on low-rank adaptation to create small, portable weight files that customize model styles and behaviors without modifying the entire base model. The project provides specialized utilities for model distillation using singular value decomposition to extract adapters from fully trained models, as well as tools for blending and merging multiple adapters through weight interpolation. It includes capabilities for subject inversion and pivotal tuning to increase the visual fidelity of specific identiti

nlp.js is a JavaScript natural language processing library and development framework used to build natural language understanding engines. It provides a toolkit for creating local machine learning models for intent classification and acts as a multilingual text processor that detects languages and normalizes text across various dialects. The framework distinguishes itself by supporting local execution on both servers and mobile devices, enabling chatbot functionality without an internet connection. It features a specialized system for conversational slot filling to collect mandatory informati

Este es un framework de machine learning para tratar diversas tareas de procesamiento de lenguaje natural como un problema unificado de texto a texto. Proporciona un toolkit para pre-entrenar y ajustar modelos transformer a gran escala, utilizando un sistema donde tanto las entradas como las salidas se formatean como secuencias de texto crudo. El framework se distingue por su sistema de entrenamiento distribuido, que utiliza estrategias basadas en malla para escalar pesos de modelos y lotes de entrenamiento a través de múltiples núcleos TPU. Soporta aprendizaje multitarea combinando diversos datasets en un único flujo de entrenamiento utilizando tasas de mezcla configurables, permitiendo que un único modelo maneje varias tareas de lenguaje. El sistema cubre una amplia gama de capacidades, incluyendo arquitecturas codificador-decodificador, decodificación de búsqueda de haz (beam-search) para generación de texto y flujos de trabajo de transfer learning. Incluye utilidades para la preparación de datasets de NLP, evaluación del rendimiento del modelo y exportación de checkpoints entrenados para servir en producción. La biblioteca soporta la carga de checkpoints de modelos pre-entrenados de varios tamaños para acelerar el desarrollo.

pycorrector is an open-source toolkit for detecting and correcting spelling and grammar errors in Chinese text. It combines multiple correction approaches, including rule-based methods using Kenlm n-gram language models and confusion sets, as well as deep learning correctors built on BERT, GPT, and T5 models. The toolkit also provides a command-line interface for batch processing Chinese text files with configurable detection and output options. The project distinguishes itself by offering a range of correction strategies that can be mixed and matched. Rule-based correction uses character-lev

This project is a neural machine translation system used to build models that automatically translate text from one language to another. It utilizes sequence-to-sequence modeling to transform variable-length input sequences into corresponding output sequences. The system implements bidirectional recurrent neural network encoding and attention mechanisms to capture contextual information and focus on specific parts of the source text during translation. To manage training and inference, it employs separate computational graphs and supports distributing model layers across multiple GPU devices.

This project is a collection of educational resources and technical guides focused on the development and implementation of large language models. It provides a comprehensive curriculum covering transformer architectures, training methods, and deployment strategies. The materials provide detailed instructions for building autonomous agents using reasoning loops and tool integration, as well as guides for fine-tuning models through supervised learning and preference optimization. It also includes tutorials for constructing retrieval augmented generation pipelines and implementing transformer m

PyText is an extensible PyTorch-based framework for building, training, and deploying custom natural language processing models, including text classifiers, sequence taggers, and intent-slot predictors. It provides a modular toolkit that allows developers to assemble these models using pluggable registries for model architectures, data formats, and tensorizers, all configurable through YAML files without requiring code changes. The framework distinguishes itself through its comprehensive support for the full NLP model lifecycle, from training to production inference. It includes pre-built neu

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

Este proyecto es una implementación en TensorFlow de una red neuronal convolucional diseñada para la clasificación de texto. Funciona como un categorizador de texto de deep learning que asigna etiquetas predefinidas a documentos de texto identificando y analizando patrones aprendidos dentro de los conjuntos de entrenamiento. El modelo utiliza una secuencia de vectorización de capa de embedding, capas convolucionales para la extracción de características y submuestreo de max-pooling para procesar datos de texto. Las probabilidades de categoría final se determinan a través de un sistema de clasificación de capa densa. El flujo de trabajo cubre el ciclo de vida completo del machine learning, incluyendo aprendizaje de texto supervisado, entrenamiento de modelos con dimensiones de embedding y tamaños de filtro configurables, y evaluación del rendimiento utilizando datasets de validación y persistencia de modelos basada en checkpoints.

BLIP is a vision-language model framework that combines contrastive, matching, and language modeling objectives to align images with text. Built on a multimodal encoder-decoder architecture, it supports distributed data-parallel training with cosine learning rate scheduling and sliding-window metric tracking for training stability. The framework provides capabilities for image captioning, visual question answering, and cross-modal retrieval, scoring semantic alignment between images and text through learned embeddings. It includes toolkits for fine-tuning pre-trained models on custom datasets

Neuraltalk is an automated image captioning system that generates natural language descriptions for images. It utilizes a deep learning model that integrates a pretrained convolutional neural network for visual feature extraction with a recurrent neural network decoder to produce text sequences. The project provides a full workflow for training and evaluating captioning models, including weight optimization via backpropagation and gradient descent. It includes tools for measuring caption accuracy by comparing generated text against reference descriptions. The system covers data preprocessing

Este repositorio es un programa educativo integral y un framework de deep learning diseñado para enseñar aprendizaje profundo práctico usando PyTorch a través de notebooks y ejemplos de código. Sirve como una librería de alto nivel para construir, entrenar y desplegar redes neuronales, actuando como un orquestador de entrenamiento de modelos que coordina modelos de PyTorch, optimizadores y funciones de pérdida. El proyecto proporciona kits de herramientas especializados para visión artificial, procesamiento de lenguaje natural y preprocesamiento de datos tabulares. Se distingue por controles de entrenamiento avanzados como tasas de aprendizaje discriminativas, un sistema de callbacks bidireccional para personalizar la lógica de entrenamiento y una abstracción de learner de alto nivel que automatiza la colocación en dispositivos y los bucles de entrenamiento. El framework cubre una amplia superficie de capacidades, incluyendo la construcción automatizada de pipelines de datos, análisis de arquitectura de modelos y evaluación de rendimiento en tareas de clasificación, regresión y segmentación. También incluye utilidades para entrenamiento distribuido en múltiples GPUs, entrenamiento de precisión mixta para optimización de memoria y soporte especializado para datos de imágenes médicas. El proyecto se entrega como una serie de Jupyter Notebooks.

Kolors es una implementación de modelo generativo para sintetizar imágenes fotorrealistas a partir de descripciones en lenguaje natural y referencias visuales. Utiliza un framework de modelo de difusión latente para producir imágenes de alta fidelidad, operando dentro de un espacio latente comprimido para mejorar la eficiencia y la calidad de la generación. El sistema funciona como un generador de imágenes multilingüe, interpretando prompts de texto en varios idiomas para producir resultados visuales semánticamente precisos. Incluye un pipeline de entrenamiento de modelos personalizado que utiliza adaptación de bajo rango (LoRA) para enseñar al modelo sujetos específicos o estilos artísticos a partir de un pequeño conjunto de imágenes. El proyecto cubre una amplia gama de capacidades de síntesis y edición de imágenes, incluyendo transformaciones de texto a imagen e imagen a imagen. Proporciona herramientas para el control del diseño espacial mediante mapas de profundidad o pose, inyección de identidad visual para consistencia estética y relleno (inpainting) basado en máscaras para reconstruir o modificar regiones específicas de la imagen. La implementación incluye utilidades para la evaluación de la calidad de la imagen, puntuando las imágenes generadas según métricas de preferencia humana para la calidad estética y semántica.

Este proyecto es un entrenador de modelos multimodales y una herramienta de ajuste fino (fine-tuning) de aprendizaje automático que proporciona un flujo de trabajo contenedorizado para adaptar modelos preentrenados a tareas específicas. Cuenta con una interfaz web sin código y un tablero para entrenar modelos de lenguaje de gran tamaño y otros conjuntos de datos de aprendizaje automático sin escribir código. El sistema se distingue por integrar una interfaz sin código con orquestación de GPU remota, permitiendo a los usuarios desplegar entornos de entrenamiento contenedorizados en infraestructura en la nube o hardware local. Incluye un integrador dedicado para cargar pesos y configuraciones de modelos entrenados directamente en Hugging Face Hub. Las capacidades cubren una amplia gama de modalidades, incluyendo visión artificial para clasificación de imágenes y detección de objetos, procesamiento de lenguaje natural para clasificación de texto y tareas de secuencia a secuencia, y aprendizaje supervisado para datos tabulares. El kit de herramientas también admite la optimización especializada de modelos de lenguaje a través de ajuste fino eficiente en parámetros y cuantización. Los flujos de trabajo de entrenamiento se gestionan a través de archivos de configuración o una interfaz basada en navegador, con soporte integrado para el mapeo de columnas de conjuntos de datos y el monitoreo del progreso del entrenamiento.

Spark NLP es un kit de herramientas para el análisis de texto escalable y aprendizaje automático construido sobre el framework de computación distribuida Apache Spark. Proporciona un framework de aprendizaje automático multimodal y un sistema de tuberías distribuido para secuenciar anotadores para procesar datos lingüísticos a gran escala. La librería incluye un procesador de texto transformer para generar embeddings vectoriales contextuales y un motor de inferencia dedicado para gestionar grandes modelos de lenguaje. El proyecto se distingue por su capacidad para procesar tipos de datos heterogéneos, incluyendo texto, audio e imágenes, dentro de una arquitectura unificada de visión-lenguaje. Admite capacidades avanzadas de IA generativa como prompt engineering, extracción de entidades estructuradas con salida JSON restringida e inferencia local para eliminar la latencia de red. Además, proporciona herramientas para la traducción entre idiomas y la clasificación zero-shot a través de modalidades de texto e imagen. El framework cubre una amplia gama de capacidades, incluyendo el entrenamiento de modelos supervisados para el reconocimiento de entidades y el análisis de sentimientos, así como la respuesta a preguntas extractiva y el resumen de documentos. Integra soporte para bases de datos vectoriales para la búsqueda de similitud y ofrece infraestructura para la aceleración por GPU y la gestión del ciclo de vida del modelo a través de un registro centralizado. El kit de herramientas permite la distribución de modelos y tuberías personalizados a través de un repositorio público y admite el despliegue de modelos mediante APIs REST.

This project is an implementation of the ALBERT language model architecture, providing a framework for training and evaluating transformer-based text classifiers and similarity models. It specifically includes pre-trained assets and tools optimized for generating semantic embeddings and representations of Chinese text. The framework distinguishes itself through tools for converting heavy language model checkpoints into lightweight formats to enable low-latency inference on mobile devices. It utilizes specific weight reduction techniques, including cross-parameter sharing and factorized embedd

This project is a PyTorch-based framework and toolkit for scene text recognition. It provides a deep learning pipeline for extracting characters and words from images of natural environments, covering the full process from training data preparation to model validation. The framework functions as a standardized benchmark for measuring the accuracy and inference speed of text recognition models. It includes tools for calculating recognition accuracy and measuring GPU processing time per image to evaluate model performance across consistent datasets. The system incorporates visual and sequentia