Awesome GitHub RepositoriesUnicode Normalizers

Libpostal est une bibliothèque C conçue pour l'analyse et la normalisation d'adresses internationales. Elle utilise le NLP statistique et un classificateur de langue pour décomposer des chaînes d'adresses mondiales non structurées en composants structurés, et pour standardiser les adresses postales en développant les abréviations et en résolvant les variations de nommage régionales dans plusieurs langues. Le projet fournit des outils de translittération de texte, convertissant divers scripts en formes standardisées Latin-ASCII ou NFD. Il inclut également des capacités de déduplication d'adresses, utilisant une correspondance floue (fuzzy matching) symétrique pour identifier si différents enregistrements d'adresses font référence au même emplacement physique. La bibliothèque couvre des besoins plus larges de traitement de texte tels que la normalisation UTF-8 et la conversion de nombres écrits en toutes lettres et de chiffres romains en représentations numériques standard. Elle permet des extensions pour la reconnaissance d'adresses via des fichiers de configuration externes afin d'ajouter de nouvelles langues et synonymes.

python-ftfy est une bibliothèque de réparation de texte Unicode conçue pour corriger le mojibake et les problèmes d'encodage. Elle fournit des utilitaires pour la détection d'encodage d'octets, le décodage d'entités HTML et la récupération de texte corrompu pour le restaurer sous sa forme Unicode prévue. Le projet se distingue par un pipeline de décodage multicouche qui identifie et inverse les mélanges d'encodage complexes. Il utilise une détection basée sur l'heuristique pour résoudre les cas où le texte a été décodé en utilisant le mauvais codec à travers plusieurs couches de corruption, et il peut gérer les variantes UTF-8 non standard et les mappages d'encodage négligents. La bibliothèque couvre également un large éventail de tâches de normalisation de texte, notamment la normalisation Unicode, la normalisation des sauts de ligne et l'expansion des ligatures latines. Elle inclut des capacités pour la normalisation de la largeur des caractères et la suppression des échappements de terminal et des caractères de contrôle. Une interface en ligne de commande est disponible pour automatiser la détection et la réparation des problèmes Unicode dans les fichiers.

Ce projet est un outil de réparation de texte Unicode et une bibliothèque de correction de mojibake conçus pour corriger les problèmes d'encodage et restaurer les caractères originaux à partir de chaînes corrompues. Il fonctionne comme un détecteur d'encodage de texte et un outil de normalisation Unicode pour résoudre les problèmes où le texte a été incorrectement décodé. La bibliothèque se spécialise dans l'inversion des erreurs d'encodage multicouches et la réparation des modèles de mojibake complexes. Elle inclut des capacités pour détecter les séquences d'encodage avec perte, deviner les encodages d'octets et décoder les variantes UTF-8 non standard. L'ensemble d'outils couvre un large éventail de tâches de nettoyage et de normalisation de texte, notamment le décodage des entités HTML et des échappements par barre oblique inverse, l'expansion des ligatures latines et la normalisation des largeurs de caractères et des sauts de ligne. Il fournit également des utilitaires pour supprimer les caractères de contrôle invisibles et inspecter les chaînes Unicode par point de code. Une interface en ligne de commande est disponible pour réparer les problèmes Unicode et les erreurs d'encodage dans les fichiers ou les flux d'entrée.