Fast and customizable text tokenization library with BPE and SentencePiece support
الميزات الرئيسية لـ opennmt/tokenizer هي: Natural Language Processing, Lexical Analysis Tools.
تشمل البدائل مفتوحة المصدر لـ opennmt/tokenizer: blmoistawinde/harvesttext — 文本挖掘和预处理工具（文本清洗、新词发现、情感分析、实体识别链接、关键词抽取、知识抽取、句法分析等），无监督或弱监督方法. glassywing/bi-lstm-crf — 使用keras实现的基于Bi-LSTM + CRF的中文分词+词性标注. 1eez/103976 — 103976个英语单词库（sql版，csv版，Excel版）包含英文单词，中文翻译，单词的词性及多种词义,执行SQL语句就可以生成表，支持SQL Server，MySQL等多种数据库. berniey/hanziconv — Hanzi Converter for Traditional and Simplified Chinese. fighting41love/coconlp — A Chinese information extraction tool. glassywing/transformer-word-segmenter — Sequence labeling base on universal transformer (Transformer encoder) and CRF; 基于Universal Transformer + CRF 的中文分词和词性标注.
文本挖掘和预处理工具（文本清洗、新词发现、情感分析、实体识别链接、关键词抽取、知识抽取、句法分析等），无监督或弱监督方法
103976个英语单词库（sql版，csv版，Excel版）包含英文单词，中文翻译，单词的词性及多种词义,执行SQL语句就可以生成表，支持SQL Server，MySQL等多种数据库
A Chinese information extraction tool.
