Awesome GitHub RepositoriesCase-Insensitive String Scanning

ToolGood.Words este o bibliotecă de filtrare a cuvintelor sensibile și o componentă de igienizare a textului, concepută pentru detectarea și mascarea de înaltă performanță a termenilor interziși. Oferă instrumente pentru normalizarea textului în chineză, transliterarea pinyin și înlocuirea cuvintelor interzise cu placeholder-e. Proiectul se distinge prin capacitatea de a descoperi limbajul ofuscat printr-un motor de transliterare pinyin și detectare bazată pe fonetică. Identifică conținutul sensibil ascuns prin substituții fonetice, inițiale sau greșeli de scriere intenționate, mapând caracterele chinezești la reprezentări pinyin. Biblioteca acoperă o gamă largă de capabilități de procesare a textului, inclusiv conversia seturilor de caractere între chineza simplificată și cea tradițională, formatarea caracterelor full-width și half-width și potrivirea modelelor cu wildcard. Aceste utilitare susțin un flux de lucru de normalizare care standardizează input-ul înainte de aplicarea logicii de filtrare și mascare.