Awesome GitHub RepositoriesByte Encoding Detectors

Ce projet est un outil de réparation de texte Unicode et une bibliothèque de correction de mojibake conçus pour corriger les problèmes d'encodage et restaurer les caractères originaux à partir de chaînes corrompues. Il fonctionne comme un détecteur d'encodage de texte et un outil de normalisation Unicode pour résoudre les problèmes où le texte a été incorrectement décodé. La bibliothèque se spécialise dans l'inversion des erreurs d'encodage multicouches et la réparation des modèles de mojibake complexes. Elle inclut des capacités pour détecter les séquences d'encodage avec perte, deviner les encodages d'octets et décoder les variantes UTF-8 non standard. L'ensemble d'outils couvre un large éventail de tâches de nettoyage et de normalisation de texte, notamment le décodage des entités HTML et des échappements par barre oblique inverse, l'expansion des ligatures latines et la normalisation des largeurs de caractères et des sauts de ligne. Il fournit également des utilitaires pour supprimer les caractères de contrôle invisibles et inspecter les chaînes Unicode par point de code. Une interface en ligne de commande est disponible pour réparer les problèmes Unicode et les erreurs d'encodage dans les fichiers ou les flux d'entrée.