Awesome GitHub RepositoriesUnicode Normalizers

Libpostal es una biblioteca en C diseñada para el análisis y normalización de direcciones internacionales. Utiliza PNL estadística y un clasificador de idiomas para descomponer cadenas de direcciones globales no estructuradas en componentes estructurados y estandarizar direcciones postales expandiendo abreviaturas y resolviendo variaciones regionales de nombres en múltiples idiomas. El proyecto proporciona herramientas para la transliteración de texto, convirtiendo varios alfabetos en formas estándar Latin-ASCII o NFD. También incluye capacidades para la deduplicación de direcciones, utilizando coincidencia difusa (fuzzy matching) simétrica para identificar si diferentes registros de direcciones se refieren a la misma ubicación física. La biblioteca cubre necesidades de procesamiento de texto más amplias, como la normalización UTF-8 y la conversión de números escritos y números romanos a representaciones numéricas estándar. Permite extensiones para el reconocimiento de direcciones mediante archivos de configuración externos para añadir nuevos idiomas y sinónimos.

python-ftfy es una biblioteca de reparación de texto Unicode diseñada para arreglar mojibake y fallos de codificación. Proporciona utilidades para la detección de codificación de bytes, decodificación de entidades HTML y la recuperación de texto corrupto para restaurarlo a su forma Unicode prevista. El proyecto se distingue a través de un pipeline de decodificación de múltiples capas que identifica y revierte mezclas de codificación complejas. Utiliza detección basada en heurística para resolver casos donde el texto fue decodificado usando el códec incorrecto a través de múltiples capas de corrupción, y puede manejar variantes de UTF-8 no estándar y mapeos de codificación descuidados. La biblioteca también cubre una amplia gama de tareas de estandarización de texto, incluyendo normalización Unicode, estandarización de saltos de línea y la expansión de ligaduras latinas. Incluye capacidades para la normalización del ancho de caracteres y la eliminación de escapes de terminal y caracteres de control. Está disponible una interfaz de línea de comandos para automatizar la detección y reparación de fallos Unicode dentro de archivos.

Este proyecto es una herramienta de reparación de texto Unicode y biblioteca de corrección de mojibake diseñada para arreglar fallos de codificación y restaurar caracteres originales de cadenas dañadas. Funciona como un detector de codificación de texto y una herramienta de normalización Unicode para resolver problemas donde el texto ha sido decodificado incorrectamente. La biblioteca se especializa en revertir errores de codificación de múltiples capas y reparar patrones complejos de mojibake. Incluye capacidades para detectar secuencias de codificación con pérdida, adivinar codificaciones de bytes y decodificar variantes de UTF-8 no estándar. El conjunto de herramientas cubre una amplia gama de tareas de limpieza y normalización de texto, incluyendo la decodificación de entidades HTML y escapes con barra invertida, la expansión de ligaduras latinas y la estandarización de anchos de caracteres y saltos de línea. También proporciona utilidades para eliminar caracteres de control invisibles e inspeccionar cadenas Unicode por punto de código. Está disponible una interfaz de línea de comandos para reparar fallos Unicode y errores de codificación dentro de archivos o flujos de entrada.