Awesome GitHub RepositoriesObfuscated Content Detection

ToolGood.Words ist eine Bibliothek zur Filterung sensibler Wörter und eine Komponente zur Textbereinigung, die für die performante Erkennung und Maskierung verbotener Begriffe entwickelt wurde. Sie bietet Tools für die Normalisierung chinesischer Texte, Pinyin-Transliteration und das Ersetzen gesperrter Wörter durch Platzhalter. Das Projekt zeichnet sich durch seine Fähigkeit aus, verschleierte Sprache mittels einer Pinyin-Transliterations-Engine und phonetischer Erkennung aufzudecken. Es identifiziert sensible Inhalte, die durch phonetische Ersetzungen, Initialen oder absichtliche Rechtschreibfehler versteckt wurden, indem chinesische Schriftzeichen in Pinyin-Repräsentationen umgewandelt werden. Die Bibliothek deckt ein breites Spektrum an Textverarbeitungsfunktionen ab, einschließlich Zeichensatzkonvertierung zwischen vereinfachtem und traditionellem Chinesisch, Formatierung von Voll- und Halbbreitenzeichen sowie Wildcard-Musterabgleich. Diese Utilities unterstützen einen Normalisierungs-Workflow, der Eingaben standardisiert, bevor Filter- und Maskierungslogik angewendet wird.