awesome-repositories.com
Blog
MCP
awesome-repositories.com

Découvrez les meilleurs dépôts open-source grâce à notre recherche par IA.

ExplorerRecherches sélectionnéesAlternatives open sourceLogiciels auto-hébergésBlogPlan du site
ProjetServeur MCPÀ proposNotre méthodologiePresse
Mentions légalesConfidentialitéConditions d'utilisation
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·
OpenNMT avatar

OpenNMT/Tokenizer

0
View on GitHub↗
333 stars·83 forks·C++·MIT·1 vueopennmt.net↗

Tokenizer

Fast and customizable text tokenization library with BPE and SentencePiece support

Features

  • Natural Language Processing - Listed in the “Natural Language Processing” section of the FunNLP awesome list.
  • Lexical Analysis Tools - Fast and customizable text tokenization library.

Historique des stars

Graphique de l'historique des stars pour opennmt/tokenizerGraphique de l'historique des stars pour opennmt/tokenizer

Recherche par IA

Explorez plus de dépôts awesome

Décrivez vos besoins en langage naturel — l'IA classe des milliers de projets open source sélectionnés par pertinence.

Start searching with AI

Alternatives open source à Tokenizer

Projets open source similaires, classés selon le nombre de fonctionnalités partagées avec Tokenizer.
  • berniey/hanziconvAvatar de berniey

    berniey/hanziconv

    190Voir sur GitHub↗

    Hanzi Converter for Traditional and Simplified Chinese

    Python
    Voir sur GitHub↗190
  • blmoistawinde/harvesttextAvatar de blmoistawinde

    blmoistawinde/HarvestText

    2,621Voir sur GitHub↗

    文本挖掘和预处理工具(文本清洗、新词发现、情感分析、实体识别链接、关键词抽取、知识抽取、句法分析等),无监督或弱监督方法

    Pythondependency-parsergiteeharvesttext
    Voir sur GitHub↗2,621
  • 1eez/103976Avatar de 1eez

    1eez/103976

    1,034Voir sur GitHub↗

    103976个英语单词库(sql版,csv版,Excel版)包含英文单词,中文翻译,单词的词性及多种词义,执行SQL语句就可以生成表,支持SQL Server,MySQL等多种数据库

    PLpgSQL
    Voir sur GitHub↗1,034
  • fighting41love/coconlpAvatar de fighting41love

    fighting41love/cocoNLP

    1,130Voir sur GitHub↗

    A Chinese information extraction tool.

    Python
    Voir sur GitHub↗1,130
Voir les 30 alternatives à Tokenizer→

Questions fréquentes

Que fait opennmt/tokenizer ?

Fast and customizable text tokenization library with BPE and SentencePiece support

Quelles sont les fonctionnalités principales de opennmt/tokenizer ?

Les fonctionnalités principales de opennmt/tokenizer sont : Natural Language Processing, Lexical Analysis Tools.

Quelles sont les alternatives open-source à opennmt/tokenizer ?

Les alternatives open-source à opennmt/tokenizer incluent : blmoistawinde/harvesttext — 文本挖掘和预处理工具(文本清洗、新词发现、情感分析、实体识别链接、关键词抽取、知识抽取、句法分析等),无监督或弱监督方法. glassywing/bi-lstm-crf — 使用keras实现的基于Bi-LSTM + CRF的中文分词+词性标注. 1eez/103976 — 103976个英语单词库(sql版,csv版,Excel版)包含英文单词,中文翻译,单词的词性及多种词义,执行SQL语句就可以生成表,支持SQL Server,MySQL等多种数据库. berniey/hanziconv — Hanzi Converter for Traditional and Simplified Chinese. fighting41love/coconlp — A Chinese information extraction tool. glassywing/transformer-word-segmenter — Sequence labeling base on universal transformer (Transformer encoder) and CRF; 基于Universal Transformer + CRF 的中文分词和词性标注.