Awesome GitHub RepositoriesEntity and Relation Extraction

DeepPavlov is a conversational AI framework and deep learning NLP library designed for building end-to-end dialogue systems and chatbots. It functions as an NLP pipeline orchestrator that allows users to compose pre-trained models and text processing components into sequential data flows for complex linguistic tasks. The system is distinguished by its ability to act as a chatbot deployment server, exposing trained conversational models as web services via REST and Socket APIs. It utilizes JSON-based pipeline configurations and dynamic variable interpolation to decouple model logic from infras

bert4keras 是 Keras 深度学习框架的 BERT Transformer 架构的轻量级重新实现。它作为一个自然语言处理工具包和 Transformer 模型库，用于文本分类、序列标注和语义嵌入提取。 该框架包括用于问答和文本生成的序列到序列模型系统，以及一个模型推理服务器，用于将训练好的 Transformer 部署为 Web API 以进行实时预测。 功能涵盖了广泛的自然语言理解任务，包括阅读理解、关系提取和长文本处理。该库提供了用于语言模型预训练和微调的工具，以及参数缩减、用于鲁棒性的对抗性训练和层级学习率配置等优化技术。 该项目包括一个权重转换加载器，用于将外部格式的预训练权重转换为兼容的 Keras 结构。

Knwl.js 是一个 JavaScript 命名实体识别库和基于规则的文本解析器。它作为一个可扩展的信息提取工具，旨在从非结构化文本字符串中识别并提取结构化实体，如日期、时间和地点。 该库允许定义专门的规则和自定义插件来识别和提取独特的信息片段。这种可扩展性通过将人类可读文本转换为应用程序和数据库的结构化格式，实现了信息检索的自动化。 该系统利用正则表达式匹配和基于规则的提取来处理原始文本块。模块化实体解析器处理将匹配的文本段转换为标准化格式的过程。

KnowledgeGraphData 是一个结构化数据集与语料库集合，旨在为认知智能与人工智能系统提供基础层。它主要由大规模中文知识图谱数据集组成，包括用于驱动语义理解与自动问答的实体关系数据与 NLP 训练集。 该项目专注于海量实体-属性-值图谱的构建与导出，将知识组织为可移植的格式。它提供专门的领域划分，以针对医疗、军事与公共安全等专业领域定制信息检索。 该仓库涵盖了广泛的能力，包括中文自然语言处理、语义搜索与认知对话系统。其工具集涵盖了语言分析、实体提取、情感检测与文本摘要，以及用于网站审计的视觉内容分析与语音转文字转换。

Promptify 是一套专为模型评估、提示词管理、Token 成本跟踪、结构化提取和统一 API 网关访问而设计的工具。它提供了一个标准化接口，用于管理跨多个大型语言模型提供商的请求和响应。 该项目具有一个提示词管理平台，用于工程化和版本化带有结构化输出验证的提示词。它包括一个专门的评估框架，用于根据标记数据集测量模型性能（使用精确率、召回率和 F1 分数），以及一个 Token 成本跟踪器来监控模型请求的财务支出。 该库涵盖了自然语言处理的广泛功能，包括命名实体提取、文本分类和问答。它通过异步批处理支持高容量工作流，并通过模式验证将非结构化文本转换为类型化数据结构，从而确保数据一致性。

OpenNRE is a natural language processing library and neural relation extraction framework designed to transform unstructured text into structured relational data. It serves as a toolkit for identifying relationship types between entities and generating entity-relation-entity triples to populate and expand knowledge bases. The framework provides tools for both supervised and distantly supervised relation extraction, allowing neural models to be trained on labeled datasets or via automated pipelines that align knowledge base triples with raw text. The project covers a full information extracti

DeepKE is a knowledge extraction toolkit and framework designed to transform unstructured text into structured knowledge graphs. It provides a pipeline for identifying and classifying named entities, semantic relations, and events, converting raw datasets into structured triples. The project utilizes large language models as tool callers through a standardized context protocol to drive automated data extraction processes. It supports schema-driven extraction across multiple domains and bilingual text, employing joint entity and relation extraction to identify components in a single structured

Agriculture Knowledge Graph 是一个结构化的三元组存储系统和决策支持平台，旨在将原始农业文档转换为机器可读的知识图谱。它作为领域信息检索系统，通过提取和查询农业数据来提供智能问答和规划支持。 该项目实现了完整的知识图谱构建流水线，具备关系抽取框架和命名实体识别工具。它利用远程监督和机器学习来识别并分类实体间的关系，将非结构化文本转换为事实和依赖关系网络。 该系统通过基于图的路径分析和分层分类映射，提供农业领域信息检索能力。它允许用户识别特定领域实体、提取领域关系，并查询知识图谱以发现节点间的关联。

Duckling 是一个确定性的命名实体识别器和自然语言实体提取器。它通过将特定于语言的输入字符串映射到通用的结构化格式，将非结构化文本转换为机器可读的数据。 该系统利用基于规则的引擎和可组合的语言规则来解析实体，而不依赖于概率模型。它支持跨各种区域设置的多语言文本解析，采用逻辑驱动的方法将多样化的自然语言表达标准化为标准化的数值。 该项目涵盖日期、时间、持续时间、距离、货币值、温度和数量的提取与标准化。它还识别联系信息，如电子邮件地址、电话号码、URL 和信用卡号。 用户可以通过定义自定义维度和提取规则来扩展系统，以识别特定领域的信息。

nano-graphrag 是一个检索系统，使用知识图谱为大语言模型响应提供结构化上下文。它既是一个将非结构化文本转换为实体和关系网络的知识图谱索引器，也是一个混合图检索系统。 该项目通过结合局部邻域搜索和全局社区摘要来回答复杂的自然语言问题，从而脱颖而出。它包含一个知识图谱可视化工具，可生成实体及其关系的 HTML 表示，以映射索引知识。 该框架涵盖了广泛的功能，包括实体关系提取、基于社区的图聚类和基于哈希的增量索引。它提供了一个集成层，用于连接开源模型和本地嵌入提供程序，并支持用于键值、向量和图数据的可插拔存储后端。通过基于参数的响应缓存和用于修复语言模型不稳定 JSON 输出的后处理函数，提供了额外的实用性。

mini-graph-card is a customizable dashboard card and sensor widget for Home Assistant designed to visualize historical telemetry and sensor data. It functions as a time-series data visualizer that renders historical numeric and binary sensor data as line or bar graphs using an SVG graphing component. The project differentiates itself through the ability to extract specific nested attributes from entities and map non-numeric states into numeric values for visualization. It supports dynamic visual styling via color thresholds, logarithmic scales, and filling effects, alongside a multi-axis coor

Entity-Relation-Extraction 是一个机器学习框架，旨在识别非结构化文本中的实体及其逻辑连接。它作为一个管道，通过利用深度学习模型和 Transformer 架构，将原始文档转换为结构化知识图谱。 该项目通过模式驱动的方法脱颖而出，将提取的信息映射到预定义的关联模板，以确保输出的一致性。它采用多阶段处理流程，结合序列标注令牌分类与上下文编码，以界定实体边界并对它们之间的关系进行分类。 该工具包提供了用于微调预训练语言模型和通过计算图编排数据的组件。它包括用于根据基准数据集评估模型性能的实用程序，以验证提取过程的准确性。

Spider is a web-based platform designed for automated data extraction, providing a centralized framework to collect, process, and route structured information from websites. It functions as a comprehensive pipeline that manages the entire lifecycle of data gathering, from initial configuration to final storage in external databases or message queues. The platform distinguishes itself through a visual configuration interface that allows users to define extraction rules and manage scraping templates without writing custom code. It supports both static and dynamic content retrieval by integratin