1 Repo
Algorithms that prioritize the longest possible matching sequence from a dictionary for precise identification.
Distinct from Longest Common Substring Algorithms: Focuses on selecting the longest matching phrase from a word list, distinct from common substring algorithms.
Explore 1 awesome GitHub repository matching software engineering & architecture · Longest-Match String Resolution. Refine with filters or upvote what's useful.
Dieses Projekt ist eine performante Java-Bibliothek und ein Content-Moderations-Framework, das darauf ausgelegt ist, verbotene Wörter in Texten zu erkennen und zu maskieren. Es nutzt einen Deterministic-Finite-Automaton (DFA)-Scanner, um eine effiziente Longest-Match-Worterkennung zu implementieren. Die Engine zeichnet sich durch eine Textnormalisierungs-Pipeline und einen Noise-Filtering-Preprocessor aus, die Zeichenschreibweisen, Skripte und Breiten standardisieren und gleichzeitig eingestreute Sonderzeichen entfernen, um Filter-Evasion zu verhindern. Sie unterstützt dynamisches Wörterbuch-Management, wodurch Blacklists und Whitelists im Hintergrund aktualisiert werden können, ohne dass ein Systemneustart erforderlich ist. Das Framework deckt ein breites Spektrum an Moderationsfunktionen ab, darunter tag-basierte Wortklassifizierung zur Kategorisierung von Verstößen, rekursive Match-Verarbeitung zur Handhabung verschachtelter sensibler Wörter und Mustererkennung zur Identifizierung strukturierter Daten wie URLs und E-Mail-Adressen. Es enthält zudem Utilities zur Input-Sanitierung, um HTML-Tags und Skriptelemente zu entfernen.
Prioritizes the longest matching sequence from the dictionary to ensure precise identification of complex sensitive phrases.