Awesome GitHub RepositoriesText Model Training

fastText is a library and framework for word embedding generation, text vectorization, and supervised text classification. It provides tools to transform raw text into fixed-length vector representations and to train models that assign category labels to sentences or documents. The system utilizes subword-based vectorization and character n-gram embeddings, allowing it to generate meaningful vectors for words that were not present during training. To manage resource usage, it includes a quantized language model implementation that employs product quantization and dimensionality reduction to d

AutoGluon is an automated machine learning framework and multimodal library designed to automate the end-to-end pipeline from data preprocessing to high-accuracy model training and validation. It functions as an automated model trainer for tabular, image, text, and time series data, as well as a tool for time series forecasting and foundation model finetuning. The project is distinguished by its ability to jointly process and fuse different data types, allowing for the construction of multimodal neural networks that integrate images, text, and structured tables. It supports zero-shot inferenc

This project is a Transformer machine translation model and attention-based neural network implemented using the PyTorch deep learning framework. It functions as a text-to-text translation tool designed to convert source sequences into target language text. The implementation focuses on neural machine translation, covering the development of sequence-to-sequence architectures. It includes the full pipeline for translation, from text sequence preprocessing and vocabulary creation to model training and text generation inference. The system incorporates standard transformer components such as a

This project is a toolkit for fine-tuning and managing text-to-image diffusion models. It focuses on low-rank adaptation to create small, portable weight files that customize model styles and behaviors without modifying the entire base model. The project provides specialized utilities for model distillation using singular value decomposition to extract adapters from fully trained models, as well as tools for blending and merging multiple adapters through weight interpolation. It includes capabilities for subject inversion and pivotal tuning to increase the visual fidelity of specific identiti

nlp.js is a JavaScript natural language processing library and development framework used to build natural language understanding engines. It provides a toolkit for creating local machine learning models for intent classification and acts as a multilingual text processor that detects languages and normalizes text across various dialects. The framework distinguishes itself by supporting local execution on both servers and mobile devices, enabling chatbot functionality without an internet connection. It features a specialized system for conversational slot filling to collect mandatory informati

هذا إطار عمل لتعلم الآلة لمعالجة مهام معالجة اللغات الطبيعية المتنوعة كمشكلة نص إلى نص موحدة. يوفر مجموعة أدوات للتدريب المسبق والضبط الدقيق لنماذج المحولات واسعة النطاق، مستخدماً نظاماً يتم فيه تنسيق كل من المدخلات والمخرجات كسلاسل نصية خام. يتميز إطار العمل بنظام التدريب الموزع الخاص به، والذي يستخدم استراتيجيات قائمة على الشبكة لتوسيع أوزان النموذج ودفعات التدريب عبر أنوية TPU متعددة. يدعم التعلم متعدد المهام من خلال دمج مجموعات بيانات متنوعة في تدفق تدريب واحد باستخدام معدلات خليط قابلة للتكوين، مما يسمح لنموذج واحد بالتعامل مع مهام لغوية مختلفة. يغطي النظام مجموعة واسعة من القدرات بما في ذلك بنيات المشفر-فك التشفير (encoder-decoder)، وفك التشفير بالبحث الشعاعي (beam-search) لتوليد النصوص، وتدفقات عمل التعلم بالنقل. يتضمن أدوات لإعداد مجموعات بيانات NLP، وتقييم أداء النموذج، وتصدير نقاط التحقق المدربة لخدمة الإنتاج. تدعم المكتبة تحميل نقاط تحقق النماذج المدربة مسبقاً بأحجام مختلفة لتسريع التطوير.

pycorrector is an open-source toolkit for detecting and correcting spelling and grammar errors in Chinese text. It combines multiple correction approaches, including rule-based methods using Kenlm n-gram language models and confusion sets, as well as deep learning correctors built on BERT, GPT, and T5 models. The toolkit also provides a command-line interface for batch processing Chinese text files with configurable detection and output options. The project distinguishes itself by offering a range of correction strategies that can be mixed and matched. Rule-based correction uses character-lev

This project is a neural machine translation system used to build models that automatically translate text from one language to another. It utilizes sequence-to-sequence modeling to transform variable-length input sequences into corresponding output sequences. The system implements bidirectional recurrent neural network encoding and attention mechanisms to capture contextual information and focus on specific parts of the source text during translation. To manage training and inference, it employs separate computational graphs and supports distributing model layers across multiple GPU devices.

This project is a collection of educational resources and technical guides focused on the development and implementation of large language models. It provides a comprehensive curriculum covering transformer architectures, training methods, and deployment strategies. The materials provide detailed instructions for building autonomous agents using reasoning loops and tool integration, as well as guides for fine-tuning models through supervised learning and preference optimization. It also includes tutorials for constructing retrieval augmented generation pipelines and implementing transformer m

PyText is an extensible PyTorch-based framework for building, training, and deploying custom natural language processing models, including text classifiers, sequence taggers, and intent-slot predictors. It provides a modular toolkit that allows developers to assemble these models using pluggable registries for model architectures, data formats, and tensorizers, all configurable through YAML files without requiring code changes. The framework distinguishes itself through its comprehensive support for the full NLP model lifecycle, from training to production inference. It includes pre-built neu

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

هذا المشروع عبارة عن تنفيذ TensorFlow لشبكة عصبية تلافيفية مصممة لتصنيف النصوص. يعمل كمصنف نصوص للتعلم العميق يقوم بتعيين تسميات محددة مسبقاً لمستندات النص من خلال تحديد وتحليل الأنماط المتعلمة داخل مجموعات التدريب. يستخدم النموذج تسلسلاً من تحويل النصوص إلى متجهات (vectorization) في طبقة التضمين، وطبقات تلافيفية لاستخراج الميزات، وتقليل أخذ العينات (max-pooling) لمعالجة بيانات النص. يتم تحديد احتمالات الفئة النهائية من خلال نظام تصنيف الطبقة الكثيفة. يغطي سير العمل دورة حياة التعلم الآلي من البداية إلى النهاية، بما في ذلك تعلم النص الخاضع للإشراف، وتدريب النموذج مع أبعاد تضمين وأحجام فلاتر قابلة للتكوين، وتقييم الأداء باستخدام مجموعات بيانات التحقق واستمرارية النموذج القائمة على نقاط التفتيش (checkpoints).

BLIP is a vision-language model framework that combines contrastive, matching, and language modeling objectives to align images with text. Built on a multimodal encoder-decoder architecture, it supports distributed data-parallel training with cosine learning rate scheduling and sliding-window metric tracking for training stability. The framework provides capabilities for image captioning, visual question answering, and cross-modal retrieval, scoring semantic alignment between images and text through learned embeddings. It includes toolkits for fine-tuning pre-trained models on custom datasets

Neuraltalk is an automated image captioning system that generates natural language descriptions for images. It utilizes a deep learning model that integrates a pretrained convolutional neural network for visual feature extraction with a recurrent neural network decoder to produce text sequences. The project provides a full workflow for training and evaluating captioning models, including weight optimization via backpropagation and gradient descent. It includes tools for measuring caption accuracy by comparing generated text against reference descriptions. The system covers data preprocessing

This repository is a comprehensive educational program and deep learning framework designed to teach practical deep learning using PyTorch through notebooks and code examples. It serves as a high-level library for building, training, and deploying neural networks, acting as a model training orchestrator that coordinates PyTorch models, optimizers, and loss functions. The project provides specialized toolkits for computer vision, natural language processing, and tabular data preprocessing. It distinguishes itself through advanced training controls such as discriminative learning rates, a two-w

Kolors is a generative model implementation for synthesizing photorealistic images from natural language descriptions and visual references. It utilizes a latent diffusion model framework to produce high-fidelity imagery, operating within a compressed latent space to improve generation efficiency and quality. The system functions as a multilingual image generator, interpreting text prompts in multiple languages to produce semantically accurate visual outputs. It includes a custom model training pipeline that uses low-rank adaptation to teach the model specific subjects or artistic styles from

هذا المشروع عبارة عن مدرب نماذج متعدد الوسائط وأداة ضبط دقيق للتعلم الآلي توفر سير عمل حاوية لتكييف النماذج المدربة مسبقاً لمهام محددة. يتميز بواجهة ويب بدون كود ولوحة تحكم لتدريب النماذج اللغوية الكبيرة ومجموعات بيانات التعلم الآلي الأخرى دون كتابة كود. يتميز النظام بدمج واجهة بدون كود مع تنسيق GPU عن بعد، مما يسمح للمستخدمين بنشر بيئات تدريب حاوية على البنية التحتية السحابية أو الأجهزة المحلية. يتضمن مدمجاً مخصصاً لتحميل أوزان وتكوينات النموذج المدرب مباشرة إلى Hugging Face Hub. تغطي القدرات مجموعة واسعة من الوسائط، بما في ذلك الرؤية الحاسوبية لتصنيف الصور واكتشاف الكائنات، ومعالجة اللغات الطبيعية لتصنيف النصوص ومهام التسلسل إلى التسلسل، والتعلم الخاضع للإشراف للبيانات الجدولية. تدعم مجموعة الأدوات أيضاً تحسين النموذج اللغوي المتخصص من خلال الضبط الدقيق الفعال للمعلمات والكمية. تتم إدارة سير عمل التدريب عبر ملفات التكوين أو واجهة قائمة على المتصفح، مع دعم مدمج لتعيين أعمدة مجموعة البيانات ومراقبة تقدم التدريب.

Spark NLP هي مجموعة أدوات لتحليل النصوص القابل للتوسع والتعلم الآلي مبنية على إطار عمل الحوسبة الموزعة Apache Spark. توفر إطار عمل للتعلم الآلي متعدد الوسائط ونظام خط أنابيب موزع لتسلسل أدوات التعليق لمعالجة البيانات اللغوية على نطاق واسع. تتضمن المكتبة معالج نصوص محولاً (transformer) لتوليد تضمينات متجهات سياقية ومحرك استدلال مخصص لإدارة نماذج اللغة الكبيرة. يتميز المشروع بقدرته على معالجة أنواع البيانات غير المتجانسة، بما في ذلك النصوص والصوت والصور، ضمن بنية رؤية-لغة موحدة. ويدعم إمكانيات الذكاء الاصطناعي التوليدي المتقدمة مثل هندسة الأوامر (prompt engineering)، واستخراج الكيانات المهيكلة مع مخرجات JSON مقيدة، والاستدلال المحلي للقضاء على زمن انتقال الشبكة. بالإضافة إلى ذلك، يوفر أدوات للترجمة عبر اللغات والتصنيف بدون تدريب عبر كل من وسائط النص والصورة. يغطي إطار العمل مجموعة واسعة من الإمكانيات، بما في ذلك تدريب النماذج الخاضعة للإشراف للتعرف على الكيانات وتحليل المشاعر، بالإضافة إلى الإجابة على الأسئلة الاستخراجية وتلخيص المستندات. ويدمج دعم قاعدة بيانات المتجهات للبحث عن التشابه ويوفر بنية تحتية لتسريع GPU وإدارة دورة حياة النموذج عبر سجل مركزي. تسمح مجموعة الأدوات بتوزيع النماذج وخطوط الأنابيب المخصصة عبر مستودع عام وتدعم نشر النماذج عبر واجهات برمجة تطبيقات REST.

هذا المشروع هو تنفيذ لمعمارية النموذج اللغوي ALBERT، ويوفر إطار عمل لتدريب وتقييم مصنفات النصوص ونماذج التشابه القائمة على المحولات (Transformers). يتضمن بشكل خاص أصولاً مدربة مسبقاً وأدوات محسنة لتوليد تضمينات دلالية وتمثيلات للنص الصيني. يتميز إطار العمل بأدوات لتحويل نقاط فحص النماذج اللغوية الثقيلة إلى تنسيقات خفيفة الوزن لتمكين الاستنتاج منخفض التأخير على الأجهزة المحمولة. ويستخدم تقنيات محددة لتقليل الأوزان، بما في ذلك مشاركة المعلمات المتقاطعة ومعلمات التضمين الموحدة، للحفاظ على الأداء مع بصمة ذاكرة أصغر. يغطي النظام خط إنتاج كاملاً للمعالجة اللغوية الطبيعية، من تطبيع النص الخام وترميز الكلمات الفرعية إلى التدريب المسبق ذاتي الإشراف باستخدام نمذجة اللغة المقنعة. ويوفر إمكانيات لتكييف المهام اللاحقة، مما يسمح بضبط النماذج المدربة مسبقاً لتحليل تشابه النصوص والتصنيف الخاضع للإشراف. يتضمن المشروع أدوات لتحويل بيانات السجلات الثنائية وتحويل تنسيق النموذج لضمان التوافق عبر منصات التعلم الآلي المختلفة.

This project is a PyTorch-based framework and toolkit for scene text recognition. It provides a deep learning pipeline for extracting characters and words from images of natural environments, covering the full process from training data preparation to model validation. The framework functions as a standardized benchmark for measuring the accuracy and inference speed of text recognition models. It includes tools for calculating recognition accuracy and measuring GPU processing time per image to evaluate model performance across consistent datasets. The system incorporates visual and sequentia