1 Repo
Awesome GitHub RepositoriesViolation Categorization
Assigning labels to detected sensitive content to distinguish between different types of policy violations.
Distinct from Violation Allowlisting: Shortlist candidates focus on software type violations (static analysis) or labor law, not content moderation policy violations.
Explore 1 awesome GitHub repository matching security & cryptography · Violation Categorization. Refine with filters or upvote what's useful.
Awesome Violation Categorization GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- houbb/sensitive-word
houbb/sensitive-word
5,896Auf GitHub ansehenDieses Projekt ist eine performante Java-Bibliothek und ein Content-Moderations-Framework, das darauf ausgelegt ist, verbotene Wörter in Texten zu erkennen und zu maskieren. Es nutzt einen Deterministic-Finite-Automaton (DFA)-Scanner, um eine effiziente Longest-Match-Worterkennung zu implementieren. Die Engine zeichnet sich durch eine Textnormalisierungs-Pipeline und einen Noise-Filtering-Preprocessor aus, die Zeichenschreibweisen, Skripte und Breiten standardisieren und gleichzeitig eingestreute Sonderzeichen entfernen, um Filter-Evasion zu verhindern. Sie unterstützt dynamisches Wörterbuch-Management, wodurch Blacklists und Whitelists im Hintergrund aktualisiert werden können, ohne dass ein Systemneustart erforderlich ist. Das Framework deckt ein breites Spektrum an Moderationsfunktionen ab, darunter tag-basierte Wortklassifizierung zur Kategorisierung von Verstößen, rekursive Match-Verarbeitung zur Handhabung verschachtelter sensibler Wörter und Mustererkennung zur Identifizierung strukturierter Daten wie URLs und E-Mail-Adressen. Es enthält zudem Utilities zur Input-Sanitierung, um HTML-Tags und Skriptelemente zu entfernen.
Assigns labels to detected words to distinguish between different violation types, such as fraud or violence.
Javadfadirty-wordfilter
