Awesome GitHub RepositoriesText Model Training

fastText is a library and framework for word embedding generation, text vectorization, and supervised text classification. It provides tools to transform raw text into fixed-length vector representations and to train models that assign category labels to sentences or documents. The system utilizes subword-based vectorization and character n-gram embeddings, allowing it to generate meaningful vectors for words that were not present during training. To manage resource usage, it includes a quantized language model implementation that employs product quantization and dimensionality reduction to d

AutoGluon is an automated machine learning framework and multimodal library designed to automate the end-to-end pipeline from data preprocessing to high-accuracy model training and validation. It functions as an automated model trainer for tabular, image, text, and time series data, as well as a tool for time series forecasting and foundation model finetuning. The project is distinguished by its ability to jointly process and fuse different data types, allowing for the construction of multimodal neural networks that integrate images, text, and structured tables. It supports zero-shot inferenc

This project is a Transformer machine translation model and attention-based neural network implemented using the PyTorch deep learning framework. It functions as a text-to-text translation tool designed to convert source sequences into target language text. The implementation focuses on neural machine translation, covering the development of sequence-to-sequence architectures. It includes the full pipeline for translation, from text sequence preprocessing and vocabulary creation to model training and text generation inference. The system incorporates standard transformer components such as a

This project is a toolkit for fine-tuning and managing text-to-image diffusion models. It focuses on low-rank adaptation to create small, portable weight files that customize model styles and behaviors without modifying the entire base model. The project provides specialized utilities for model distillation using singular value decomposition to extract adapters from fully trained models, as well as tools for blending and merging multiple adapters through weight interpolation. It includes capabilities for subject inversion and pivotal tuning to increase the visual fidelity of specific identiti

nlp.js is a JavaScript natural language processing library and development framework used to build natural language understanding engines. It provides a toolkit for creating local machine learning models for intent classification and acts as a multilingual text processor that detects languages and normalizes text across various dialects. The framework distinguishes itself by supporting local execution on both servers and mobile devices, enabling chatbot functionality without an internet connection. It features a specialized system for conversational slot filling to collect mandatory informati

Il s'agit d'un framework de machine learning pour traiter diverses tâches de traitement du langage naturel comme un problème unifié de texte-à-texte. Il fournit une boîte à outils pour le pré-entraînement et le fine-tuning de modèles transformer à grande échelle, utilisant un système où à la fois les entrées et les sorties sont formatées comme des séquences de texte brut. Le framework se distingue par son système d'entraînement distribué, qui utilise des stratégies basées sur des maillages pour mettre à l'échelle les poids des modèles et les lots d'entraînement à travers de multiples cœurs TPU. Il supporte l'apprentissage multi-tâches en combinant divers datasets dans un flux d'entraînement unique en utilisant des taux de mélange configurables, permettant à un modèle unique de gérer diverses tâches linguistiques. Le système couvre un large éventail de capacités, incluant les architectures encodeur-décodeur, le décodage par recherche en faisceau (beam-search) pour la génération de texte, et les workflows de transfert learning. Il inclut des utilitaires pour la préparation de datasets NLP, l'évaluation de la performance des modèles et l'exportation de points de contrôle entraînés pour la mise en production. La bibliothèque supporte le chargement de points de contrôle de modèles pré-entraînés de diverses tailles pour accélérer le développement.

pycorrector is an open-source toolkit for detecting and correcting spelling and grammar errors in Chinese text. It combines multiple correction approaches, including rule-based methods using Kenlm n-gram language models and confusion sets, as well as deep learning correctors built on BERT, GPT, and T5 models. The toolkit also provides a command-line interface for batch processing Chinese text files with configurable detection and output options. The project distinguishes itself by offering a range of correction strategies that can be mixed and matched. Rule-based correction uses character-lev

This project is a neural machine translation system used to build models that automatically translate text from one language to another. It utilizes sequence-to-sequence modeling to transform variable-length input sequences into corresponding output sequences. The system implements bidirectional recurrent neural network encoding and attention mechanisms to capture contextual information and focus on specific parts of the source text during translation. To manage training and inference, it employs separate computational graphs and supports distributing model layers across multiple GPU devices.

This project is a collection of educational resources and technical guides focused on the development and implementation of large language models. It provides a comprehensive curriculum covering transformer architectures, training methods, and deployment strategies. The materials provide detailed instructions for building autonomous agents using reasoning loops and tool integration, as well as guides for fine-tuning models through supervised learning and preference optimization. It also includes tutorials for constructing retrieval augmented generation pipelines and implementing transformer m

PyText is an extensible PyTorch-based framework for building, training, and deploying custom natural language processing models, including text classifiers, sequence taggers, and intent-slot predictors. It provides a modular toolkit that allows developers to assemble these models using pluggable registries for model architectures, data formats, and tensorizers, all configurable through YAML files without requiring code changes. The framework distinguishes itself through its comprehensive support for the full NLP model lifecycle, from training to production inference. It includes pre-built neu

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

Ce projet est une implémentation TensorFlow d'un réseau de neurones convolutif conçu pour la classification de texte. Il fonctionne comme un catégoriseur de texte par deep learning qui assigne des étiquettes prédéfinies aux documents texte en identifiant et en analysant des modèles appris au sein des jeux d'entraînement. Le modèle utilise une séquence de vectorisation par couche d'embedding, des couches convolutives pour l'extraction de caractéristiques et un sous-échantillonnage par max-pooling pour traiter les données textuelles. Les probabilités de catégorie finales sont déterminées via un système de classification par couche dense. Le flux de travail couvre le cycle de vie complet du machine learning, incluant l'apprentissage supervisé de texte, l'entraînement de modèle avec des dimensions d'embedding et des tailles de filtre configurables, et l'évaluation des performances en utilisant des jeux de données de validation et la persistance de modèle basée sur des points de contrôle (checkpoints).

BLIP is a vision-language model framework that combines contrastive, matching, and language modeling objectives to align images with text. Built on a multimodal encoder-decoder architecture, it supports distributed data-parallel training with cosine learning rate scheduling and sliding-window metric tracking for training stability. The framework provides capabilities for image captioning, visual question answering, and cross-modal retrieval, scoring semantic alignment between images and text through learned embeddings. It includes toolkits for fine-tuning pre-trained models on custom datasets

Neuraltalk is an automated image captioning system that generates natural language descriptions for images. It utilizes a deep learning model that integrates a pretrained convolutional neural network for visual feature extraction with a recurrent neural network decoder to produce text sequences. The project provides a full workflow for training and evaluating captioning models, including weight optimization via backpropagation and gradient descent. It includes tools for measuring caption accuracy by comparing generated text against reference descriptions. The system covers data preprocessing

Ce projet est un programme éducatif complet et un framework de deep learning conçu pour enseigner le deep learning pratique avec PyTorch via des notebooks et des exemples de code. Il sert de bibliothèque de haut niveau pour construire, entraîner et déployer des réseaux de neurones, agissant comme un orchestrateur d'entraînement de modèles qui coordonne les modèles PyTorch, les optimiseurs et les fonctions de perte. Le projet fournit des boîtes à outils spécialisées pour la vision par ordinateur, le traitement du langage naturel et le prétraitement de données tabulaires. Il se distingue par des contrôles d'entraînement avancés tels que des taux d'apprentissage discriminatifs, un système de callback bidirectionnel pour personnaliser la logique d'entraînement, et une abstraction de haut niveau qui automatise le placement sur périphérique et les boucles d'entraînement. Le framework couvre une large surface de capacités, y compris la construction automatisée de pipelines de données, l'analyse d'architecture de modèles et l'évaluation des performances sur des tâches de classification, de régression et de segmentation. Il inclut également des utilitaires pour l'entraînement distribué sur plusieurs GPU, l'entraînement en précision mixte pour l'optimisation de la mémoire, et un support spécialisé pour les données d'imagerie médicale. Le projet est livré sous forme d'une série de Jupyter Notebooks.

Kolors is a generative model implementation for synthesizing photorealistic images from natural language descriptions and visual references. It utilizes a latent diffusion model framework to produce high-fidelity imagery, operating within a compressed latent space to improve generation efficiency and quality. The system functions as a multilingual image generator, interpreting text prompts in multiple languages to produce semantically accurate visual outputs. It includes a custom model training pipeline that uses low-rank adaptation to teach the model specific subjects or artistic styles from

Ce projet est un entraîneur de modèle multimodal et un outil de fine-tuning d'apprentissage automatique qui fournit un flux de travail conteneurisé pour adapter des modèles pré-entraînés à des tâches spécifiques. Il dispose d'une interface web no-code et d'un tableau de bord pour entraîner des modèles de langage (LLM) et d'autres jeux de données d'apprentissage automatique sans écrire de code. Le système se distingue en intégrant une interface no-code avec une orchestration GPU distante, permettant aux utilisateurs de déployer des environnements d'entraînement conteneurisés sur une infrastructure cloud ou du matériel local. Il inclut un intégrateur dédié pour télécharger les poids et configurations des modèles entraînés directement vers le Hugging Face Hub. Les capacités couvrent un large éventail de modalités, incluant la vision par ordinateur pour la classification d'images et la détection d'objets, le traitement du langage naturel pour la classification de texte et les tâches de séquence-à-séquence, et l'apprentissage supervisé pour les données tabulaires. La boîte à outils prend également en charge l'optimisation spécialisée des modèles de langage via le fine-tuning efficace en paramètres et la quantification. Les flux de travail d'entraînement sont gérés via des fichiers de configuration ou une interface basée sur navigateur, avec une prise en charge intégrée du mapping des colonnes de jeux de données et de la surveillance de la progression de l'entraînement.

Spark NLP est une boîte à outils pour l'analyse de texte évolutive et l'apprentissage automatique construite sur le framework de calcul distribué Apache Spark. Il fournit un framework d'apprentissage automatique multimodal et un système de pipeline distribué pour séquencer les annotateurs afin de traiter des données linguistiques à grande échelle. La bibliothèque inclut un processeur de texte transformer pour générer des embeddings vectoriels contextuels et un moteur d'inférence dédié pour gérer les grands modèles de langage. Le projet se distingue par sa capacité à traiter des types de données hétérogènes, y compris le texte, l'audio et les images, au sein d'une architecture vision-langage unifiée. Il prend en charge des capacités avancées d'IA générative telles que le prompt engineering, l'extraction d'entités structurées avec sortie JSON contrainte, et l'inférence locale pour éliminer la latence réseau. De plus, il fournit des outils pour la traduction inter-langues et la classification zero-shot à travers les modalités texte et image. Le framework couvre un large éventail de capacités, y compris l'entraînement de modèles supervisés pour la reconnaissance d'entités et l'analyse de sentiment, ainsi que la réponse aux questions extractive et la synthèse de documents. Il intègre la prise en charge des bases de données vectorielles pour la recherche de similarité et offre une infrastructure pour l'accélération GPU et la gestion du cycle de vie des modèles via un registre centralisé. La boîte à outils permet la distribution de modèles et de pipelines personnalisés via un dépôt public et prend en charge le déploiement de modèles via des API REST.

This project is an implementation of the ALBERT language model architecture, providing a framework for training and evaluating transformer-based text classifiers and similarity models. It specifically includes pre-trained assets and tools optimized for generating semantic embeddings and representations of Chinese text. The framework distinguishes itself through tools for converting heavy language model checkpoints into lightweight formats to enable low-latency inference on mobile devices. It utilizes specific weight reduction techniques, including cross-parameter sharing and factorized embedd

This project is a PyTorch-based framework and toolkit for scene text recognition. It provides a deep learning pipeline for extracting characters and words from images of natural environments, covering the full process from training data preparation to model validation. The framework functions as a standardized benchmark for measuring the accuracy and inference speed of text recognition models. It includes tools for calculating recognition accuracy and measuring GPU processing time per image to evaluate model performance across consistent datasets. The system incorporates visual and sequentia