Awesome GitHub RepositoriesDictionary Data Source Integration

Ce projet est une bibliothèque Java haute performance et un framework de modération de contenu conçu pour détecter et masquer les mots interdits dans le texte. Il utilise un scanner d'automate fini déterministe (DFA) pour implémenter une détection efficace des mots par correspondance la plus longue. Le moteur se distingue par un pipeline de normalisation de texte et un préprocesseur de filtrage de bruit qui standardisent la casse des caractères, les scripts et les largeurs tout en supprimant les caractères spéciaux intercalés pour prévenir l'évasion du filtre. Il prend en charge la gestion dynamique des dictionnaires, permettant aux listes noires et listes blanches d'être mises à jour en arrière-plan sans nécessiter de redémarrage du système. Le framework couvre un large éventail de capacités de modération, incluant la classification de mots basée sur des tags pour la catégorisation des violations, le traitement récursif des correspondances pour gérer les mots sensibles imbriqués, et la détection de motifs pour identifier les données structurées comme les URL et les adresses e-mail. Il inclut également des utilitaires pour la désinfection des entrées afin de supprimer les balises HTML et les éléments de script.