Awesome GitHub RepositoriesSloppy Encoding Mapping

python-ftfy es una biblioteca de reparación de texto Unicode diseñada para arreglar mojibake y fallos de codificación. Proporciona utilidades para la detección de codificación de bytes, decodificación de entidades HTML y la recuperación de texto corrupto para restaurarlo a su forma Unicode prevista. El proyecto se distingue a través de un pipeline de decodificación de múltiples capas que identifica y revierte mezclas de codificación complejas. Utiliza detección basada en heurística para resolver casos donde el texto fue decodificado usando el códec incorrecto a través de múltiples capas de corrupción, y puede manejar variantes de UTF-8 no estándar y mapeos de codificación descuidados. La biblioteca también cubre una amplia gama de tareas de estandarización de texto, incluyendo normalización Unicode, estandarización de saltos de línea y la expansión de ligaduras latinas. Incluye capacidades para la normalización del ancho de caracteres y la eliminación de escapes de terminal y caracteres de control. Está disponible una interfaz de línea de comandos para automatizar la detección y reparación de fallos Unicode dentro de archivos.

Este proyecto es una herramienta de reparación de texto Unicode y biblioteca de corrección de mojibake diseñada para arreglar fallos de codificación y restaurar caracteres originales de cadenas dañadas. Funciona como un detector de codificación de texto y una herramienta de normalización Unicode para resolver problemas donde el texto ha sido decodificado incorrectamente. La biblioteca se especializa en revertir errores de codificación de múltiples capas y reparar patrones complejos de mojibake. Incluye capacidades para detectar secuencias de codificación con pérdida, adivinar codificaciones de bytes y decodificar variantes de UTF-8 no estándar. El conjunto de herramientas cubre una amplia gama de tareas de limpieza y normalización de texto, incluyendo la decodificación de entidades HTML y escapes con barra invertida, la expansión de ligaduras latinas y la estandarización de anchos de caracteres y saltos de línea. También proporciona utilidades para eliminar caracteres de control invisibles e inspeccionar cadenas Unicode por punto de código. Está disponible una interfaz de línea de comandos para reparar fallos Unicode y errores de codificación dentro de archivos o flujos de entrada.