Awesome GitHub RepositoriesCase-Insensitive String Scanning

ToolGood.Words est une bibliothèque de filtrage de mots sensibles et un composant de désinfection de texte conçu pour la détection et le masquage haute performance de termes interdits. Il fournit des outils pour la normalisation du texte chinois, la translittération en pinyin et le remplacement des mots bannis par des espaces réservés. Le projet se distingue par sa capacité à découvrir un langage obscurci grâce à un moteur de translittération pinyin et une détection basée sur la phonétique. Il identifie le contenu sensible caché par des substitutions phonétiques, des initiales ou des fautes d'orthographe intentionnelles en mappant les caractères chinois vers des représentations pinyin. La bibliothèque couvre un large éventail de capacités de traitement de texte, incluant la conversion de jeux de caractères entre chinois simplifié et traditionnel, le formatage de caractères pleine chasse et demi-chasse, et la correspondance par motifs avec jokers. Ces utilitaires prennent en charge un workflow de normalisation qui standardise l'entrée avant d'appliquer la logique de filtrage et de masquage.