5 repositorios
Tools for translating between hexadecimal codepoints and surrogate pairs for character data handling.
Distinct from Emoji Support: None of the candidates were relevant; this focuses on low-level codepoint translation.
Explore 5 awesome GitHub repositories matching data & databases · Codepoint Conversion Utilities. Refine with filters or upvote what's useful.
Twemoji is a library designed to provide consistent emoji rendering across different web browsers and operating systems. It functions by identifying and extracting Unicode emoji sequences from text and replacing them with standardized graphical assets, ensuring that symbols appear identical regardless of the underlying platform. The project distinguishes itself by offering a comprehensive toolkit that combines parsing logic with a library of scalable vector and rasterized image assets. This allows for the programmatic transformation of text into high-quality visual representations, supporting
Translates between hexadecimal codepoints and surrogate pairs for programmatic character data handling.
RapidJSON is a high-performance C++ library used for parsing and generating JSON data. It provides both document object model and stream-based interfaces to transform JSON strings into structured data and vice versa. The library includes a JSON schema validator to verify that documents conform to predefined rules and a Unicode transcoder for converting strings between UTF-8, UTF-16, and UTF-32 encodings. It also supports relaxed parsing for non-standard JSON containing comments or trailing commas. Additional capabilities cover JSON pointer navigation for locating specific values and string s
Provides a utility for converting JSON strings between UTF-8, UTF-16, and UTF-32 encodings.
Hammerspoon is a programmable automation engine for macOS that enables deep system-level control through a Lua scripting environment. By bridging high-level scripts with native Objective-C APIs, it allows users to interact with the operating system's accessibility tree, intercept hardware input streams, and manage the lifecycle of running applications. The project distinguishes itself through an event-driven architecture that registers asynchronous hooks for system notifications and hardware events. This allows for real-time automation, such as remapping keyboard and mouse inputs, managing wi
Transforms numeric Unicode codepoints into valid UTF-8 byte sequences.
python-ftfy es una biblioteca de reparación de texto Unicode diseñada para arreglar mojibake y fallos de codificación. Proporciona utilidades para la detección de codificación de bytes, decodificación de entidades HTML y la recuperación de texto corrupto para restaurarlo a su forma Unicode prevista. El proyecto se distingue a través de un pipeline de decodificación de múltiples capas que identifica y revierte mezclas de codificación complejas. Utiliza detección basada en heurística para resolver casos donde el texto fue decodificado usando el códec incorrecto a través de múltiples capas de corrupción, y puede manejar variantes de UTF-8 no estándar y mapeos de codificación descuidados. La biblioteca también cubre una amplia gama de tareas de estandarización de texto, incluyendo normalización Unicode, estandarización de saltos de línea y la expansión de ligaduras latinas. Incluye capacidades para la normalización del ancho de caracteres y la eliminación de escapes de terminal y caracteres de control. Está disponible una interfaz de línea de comandos para automatizar la detección y reparación de fallos Unicode dentro de archivos.
Maps unmapped bytes in single-byte encodings to ensure interoperability with web browsers and Windows.
Este proyecto es una herramienta de reparación de texto Unicode y biblioteca de corrección de mojibake diseñada para arreglar fallos de codificación y restaurar caracteres originales de cadenas dañadas. Funciona como un detector de codificación de texto y una herramienta de normalización Unicode para resolver problemas donde el texto ha sido decodificado incorrectamente. La biblioteca se especializa en revertir errores de codificación de múltiples capas y reparar patrones complejos de mojibake. Incluye capacidades para detectar secuencias de codificación con pérdida, adivinar codificaciones de bytes y decodificar variantes de UTF-8 no estándar. El conjunto de herramientas cubre una amplia gama de tareas de limpieza y normalización de texto, incluyendo la decodificación de entidades HTML y escapes con barra invertida, la expansión de ligaduras latinas y la estandarización de anchos de caracteres y saltos de línea. También proporciona utilidades para eliminar caracteres de control invisibles e inspeccionar cadenas Unicode por punto de código. Está disponible una interfaz de línea de comandos para reparar fallos Unicode y errores de codificación dentro de archivos o flujos de entrada.
Replaces UTF-16 surrogate pairs with correct characters to fix text decoded via obsolete standards.