Awesome GitHub RepositoriesSequence Labeling

Chinese-BERT-wwm is a pre-trained transformer model and encoder designed for Chinese natural language processing. It converts Chinese text into dense vector representations to be used across various natural language processing applications. The model utilizes a whole word masking strategy during pre-training, masking entire words rather than individual characters. This approach is designed to improve the capture of semantic meaning and language structure within Chinese datasets. The project covers a range of downstream tasks including text classification, sequence labeling, and reading compr

Vowpal Wabbit is an open-source machine learning system designed for online learning, where models update incrementally from streaming data without requiring full retraining. It provides a reduction-based learning framework that composes complex tasks from simpler algorithms, and includes a feature hashing trick that maps unbounded feature names into a fixed-size vector space to keep memory usage constant regardless of dataset size. The system supports distributed training across a cluster using an allreduce protocol for synchronized updates, and offers an active learning query strategy that s

This project is a collection of educational resources and technical guides focused on the development and implementation of large language models. It provides a comprehensive curriculum covering transformer architectures, training methods, and deployment strategies. The materials provide detailed instructions for building autonomous agents using reasoning loops and tool integration, as well as guides for fine-tuning models through supervised learning and preference optimization. It also includes tutorials for constructing retrieval augmented generation pipelines and implementing transformer m

Lihang 是一个统计学习算法库和框架，提供监督和非监督机器学习模型的实现。它作为一个参考仓库，将统计学习理论转化为可执行的代码，用于数据分类和模式识别。 该项目具有用于概率模型实现的专门工具，利用似然估计和贝叶斯方法来确定最优模型参数。它包含一个用于识别有序数据序列中模式的序列数据标注工具，并支持线性和非线性二分类。 该框架涵盖了广泛的机器学习功能，包括用于聚类和主题分析的非监督数据分析，以及用于自动检索学术书目和参考资料的流水线。 该项目集成了用于迭代数据分析和模型验证的交互式笔记本。

bert4keras 是 Keras 深度学习框架的 BERT Transformer 架构的轻量级重新实现。它作为一个自然语言处理工具包和 Transformer 模型库，用于文本分类、序列标注和语义嵌入提取。 该框架包括用于问答和文本生成的序列到序列模型系统，以及一个模型推理服务器，用于将训练好的 Transformer 部署为 Web API 以进行实时预测。 功能涵盖了广泛的自然语言理解任务，包括阅读理解、关系提取和长文本处理。该库提供了用于语言模型预训练和微调的工具，以及参数缩减、用于鲁棒性的对抗性训练和层级学习率配置等优化技术。 该项目包括一个权重转换加载器，用于将外部格式的预训练权重转换为兼容的 Keras 结构。

Grobid 是一个机器学习系统，旨在将学术和科学 PDF 出版物转换为结构化的 XML。它作为一个 PDF 转 XML 解析器和学术元数据提取器，从研究论文中识别并规范化标题、作者、所属机构和参考文献。 该系统利用深度学习文档分割器将原始 PDF 分割为功能区域，并采用参考文献解析器将引文与外部注册表进行匹配，以进行元数据丰富和 DOI 解析。它支持完整的机器学习模型训练流水线，允许生成标注训练语料库、模型再训练以及导出模型二进制文件。 该项目涵盖了广泛的提取功能，包括文档标题解析、全文正文结构化，以及资助信息和专利引文等领域特定实体的识别。它还提供用于边界框提取和坐标映射的空间分析工具，以将语义标签与原始 PDF 布局同步。 该应用程序可通过容器化镜像部署，并包含用于大型文档集合多线程批处理的命令行工具。

snips-nlu 是一个 Python 库和自然语言理解引擎，旨在将非结构化文本转换为结构化数据。它识别用户意图并从自然语言句子中提取关联实体，以实现机器可读的命令处理。 该引擎作为一个多语言解析器，能够处理多种语言的文本。它将识别出的实体映射到规范值或标准化的 ISO 格式（如时间戳），以确保数据一致性。 该项目涵盖意图分类和命名实体识别，利用序列标注和分词来识别用户目标和特定的数据槽位。

Entity-Relation-Extraction 是一个机器学习框架，旨在识别非结构化文本中的实体及其逻辑连接。它作为一个管道，通过利用深度学习模型和 Transformer 架构，将原始文档转换为结构化知识图谱。 该项目通过模式驱动的方法脱颖而出，将提取的信息映射到预定义的关联模板，以确保输出的一致性。它采用多阶段处理流程，结合序列标注令牌分类与上下文编码，以界定实体边界并对它们之间的关系进行分类。 该工具包提供了用于微调预训练语言模型和通过计算图编排数据的组件。它包括用于根据基准数据集评估模型性能的实用程序，以验证提取过程的准确性。