1 个仓库
Connecting the moderation engine to external databases or files to populate word lists and tags.
Distinct from Custom Data Source Definitions: Focuses on populating word lists from external sources rather than general API or database connectivity.
Explore 1 awesome GitHub repository matching data & databases · Dictionary Data Source Integration. Refine with filters or upvote what's useful.
该项目是一个高性能 Java 库和内容审核框架,旨在检测并屏蔽文本中的违禁词。它利用确定性有限自动机 (DFA) 扫描器来实现高效的最长匹配词检测。 该引擎以文本规范化管线和噪声过滤预处理器为特色,这些组件标准化字符大小写、脚本和宽度,同时删除散布的特殊字符以防止过滤规避。它支持动态字典管理,允许在后台更新黑名单和白名单,而无需重启系统。 该框架涵盖了广泛的审核功能,包括用于违规分类的基于标签的词汇分类、用于处理嵌套敏感词的递归匹配处理,以及用于识别 URL 和电子邮件地址等结构化数据的模式检测。它还包括用于输入清理的实用程序,以删除 HTML 标签和脚本元素。
Connects the engine to external databases or files to automatically populate word lists and metadata tags.