Awesome GitHub RepositoriesText Classifier Training

fastText is a library and framework for word embedding generation, text vectorization, and supervised text classification. It provides tools to transform raw text into fixed-length vector representations and to train models that assign category labels to sentences or documents. The system utilizes subword-based vectorization and character n-gram embeddings, allowing it to generate meaningful vectors for words that were not present during training. To manage resource usage, it includes a quantized language model implementation that employs product quantization and dimensionality reduction to d

PyText is an extensible PyTorch-based framework for building, training, and deploying custom natural language processing models, including text classifiers, sequence taggers, and intent-slot predictors. It provides a modular toolkit that allows developers to assemble these models using pluggable registries for model architectures, data formats, and tensorizers, all configurable through YAML files without requiring code changes. The framework distinguishes itself through its comprehensive support for the full NLP model lifecycle, from training to production inference. It includes pre-built neu

该项目是一个用于文本分类的卷积神经网络的 TensorFlow 实现。它作为一个深度学习文本分类器，通过识别和分析训练集中的学习模式，将预定义标签分配给文本文档。 该模型利用嵌入层向量化、用于特征提取的卷积层和用于处理文本数据的最大池化下采样序列。最终类别概率通过密集层分类系统确定。 该工作流涵盖了端到端的机器学习生命周期，包括监督文本学习、具有可配置嵌入维度和过滤器大小的模型训练，以及使用验证数据集和基于检查点的模型持久化进行的性能评估。

这是一个多模态模型训练器和机器学习微调工具，为将预训练模型适配到特定任务提供了容器化工作流。它具有无代码 Web 界面和仪表板，无需编写代码即可训练大语言模型和其他机器学习数据集。 该系统的特点是将无代码界面与远程 GPU 编排相结合，允许用户在云基础设施或本地硬件上部署容器化训练环境。它包含一个专门的集成器，用于将训练好的模型权重和配置直接上传到 Hugging Face Hub。 其功能涵盖多种模态，包括用于图像分类和目标检测的计算机视觉、用于文本分类和序列到序列任务的自然语言处理，以及用于表格数据的监督学习。该工具包还支持通过参数高效微调和量化进行专门的语言模型优化。 训练工作流通过配置文件或基于浏览器的界面进行管理，并内置了对数据集列映射和训练进度监控的支持。

Spark NLP 是一个构建在 Apache Spark 分布式计算框架之上的可扩展文本分析和机器学习工具包。它提供了一个多模态机器学习框架和一个用于对标注器进行排序以处理大规模语言数据的分布式流水线系统。该库包含一个用于生成上下文向量嵌入的 Transformer 文本处理器，以及一个用于管理大型语言模型的专用推理引擎。 该项目通过其在统一视觉-语言架构内处理异构数据类型（包括文本、音频和图像）的能力而脱颖而出。它支持高级生成式 AI 功能，如提示工程、具有约束 JSON 输出的结构化实体提取，以及消除网络延迟的本地推理。此外，它还提供跨文本和图像模态的跨语言翻译和零样本分类工具。 该框架涵盖了广泛的功能，包括用于实体识别和情感分析的监督模型训练，以及抽取式问答和文档摘要。它集成了向量数据库支持以进行相似性搜索，并为 GPU 加速和通过集中式注册表进行模型生命周期管理提供了基础设施。 该工具包允许通过公共仓库分发自定义模型和流水线，并支持通过 REST API 部署模型。

本项目是 ALBERT 语言模型架构的实现，提供了一个用于训练和评估基于 Transformer 的文本分类器和相似度模型的框架。它特别包括针对生成中文文本的语义嵌入和表示而优化的预训练资产和工具。 该框架通过将重型语言模型检查点转换为轻量级格式以在移动设备上实现低延迟推理的工具脱颖而出。它利用特定的权重缩减技术，包括跨参数共享和因子分解嵌入参数化，以在较小的内存占用下保持性能。 该系统涵盖了自然语言处理的完整流水线，从原始文本归一化和子词分词，到使用掩码语言建模的自监督预训练。它提供下游任务适配功能，允许对预训练模型进行微调以进行文本相似度分析和监督分类。 该项目包括用于二进制记录数据转换和模型格式转换的实用程序，以确保跨不同机器学习平台的兼容性。