Awesome GitHub RepositoriesUnicode Encoding Utilities

RapidJSON is a high-performance C++ library used for parsing and generating JSON data. It provides both document object model and stream-based interfaces to transform JSON strings into structured data and vice versa. The library includes a JSON schema validator to verify that documents conform to predefined rules and a Unicode transcoder for converting strings between UTF-8, UTF-16, and UTF-32 encodings. It also supports relaxed parsing for non-standard JSON containing comments or trailing commas. Additional capabilities cover JSON pointer navigation for locating specific values and string s

Hammerspoon is a programmable automation engine for macOS that enables deep system-level control through a Lua scripting environment. By bridging high-level scripts with native Objective-C APIs, it allows users to interact with the operating system's accessibility tree, intercept hardware input streams, and manage the lifecycle of running applications. The project distinguishes itself through an event-driven architecture that registers asynchronous hooks for system notifications and hardware events. This allows for real-time automation, such as remapping keyboard and mouse inputs, managing wi

python-ftfy este o bibliotecă de reparare a textului Unicode concepută pentru a remedia mojibake-ul și erorile de codare. Oferă utilitare pentru detectarea codării octeților, decodarea entităților HTML și recuperarea textului corupt pentru a-l restaura la forma Unicode dorită. Proiectul se distinge printr-un pipeline de decodare pe mai multe straturi care identifică și inversează amestecurile complexe de codare. Utilizează detectarea bazată pe euristică pentru a rezolva cazurile în care textul a fost decodat folosind codec-ul greșit pe mai multe straturi de corupere și poate gestiona variante UTF-8 non-standard și mapări de codare neglijente. Biblioteca acoperă, de asemenea, o gamă largă de sarcini de standardizare a textului, inclusiv normalizarea Unicode, standardizarea întreruperilor de linie și expansiunea ligaturilor latine. Include capabilități pentru normalizarea lățimii caracterelor și eliminarea escape-urilor de terminal și a caracterelor de control. O interfață în linie de comandă este disponibilă pentru a automatiza detectarea și repararea erorilor Unicode din fișiere.

Acest proiect este un instrument de reparare a textului Unicode și o bibliotecă de corecție a mojibake-ului concepută pentru a remedia erorile de codare și a restaura caracterele originale din șiruri corupte. Acesta funcționează ca un detector de codare a textului și un instrument de normalizare Unicode pentru a rezolva problemele în care textul a fost decodat incorect. Biblioteca se specializează în inversarea erorilor de codare pe mai multe straturi și repararea tiparelor complexe de mojibake. Include capabilități pentru detectarea secvențelor de codare cu pierderi, ghicirea codărilor de octeți și decodarea variantelor UTF-8 non-standard. Setul de instrumente acoperă o gamă largă de sarcini de curățare și normalizare a textului, inclusiv decodarea entităților HTML și a escape-urilor cu backslash, expansiunea ligaturilor latine și standardizarea lățimii caracterelor și a întreruperilor de linie. De asemenea, oferă utilitare pentru eliminarea caracterelor de control invizibile și inspectarea șirurilor Unicode după codepoint. O interfață în linie de comandă este disponibilă pentru repararea erorilor Unicode și a erorilor de codare din fișiere sau fluxuri de intrare.