Awesome GitHub RepositoriesSloppy Encoding Mapping

python-ftfy ist eine Unicode-Textreparatur-Bibliothek, die entwickelt wurde, um Mojibake und Kodierungsfehler zu beheben. Sie bietet Dienstprogramme für die Erkennung von Byte-Kodierungen, die Dekodierung von HTML-Entitäten und die Wiederherstellung beschädigten Textes, um ihn in seine beabsichtigte Unicode-Form zurückzuführen. Das Projekt zeichnet sich durch eine mehrschichtige Dekodierungspipeline aus, die komplexe Kodierungsverwechslungen identifiziert und rückgängig macht. Es verwendet heuristikbasierte Erkennung, um Fälle zu lösen, in denen Text über mehrere Korruptionsebenen hinweg mit dem falschen Codec dekodiert wurde, und kann mit nicht standardmäßigen UTF-8-Varianten und unsauberen Kodierungszuordnungen umgehen. Die Bibliothek deckt zudem ein breites Spektrum an Textstandardisierungsaufgaben ab, einschließlich Unicode-Normalisierung, Zeilenumbruch-Standardisierung und der Erweiterung von lateinischen Ligaturen. Sie enthält Funktionen für die Normalisierung der Zeichenbreite sowie das Entfernen von Terminal-Escapes und Steuerzeichen. Eine Command-Line-Interface ist verfügbar, um die Erkennung und Reparatur von Unicode-Fehlern innerhalb von Dateien zu automatisieren.

Dieses Projekt ist ein Unicode-Textreparatur-Tool und eine Mojibake-Korrekturbibliothek, die entwickelt wurde, um Kodierungsfehler zu beheben und Originalzeichen aus verstümmelten Strings wiederherzustellen. Es fungiert als Textkodierungserkenner und Unicode-Normalisierungstool, um Probleme zu lösen, bei denen Text falsch dekodiert wurde. Die Bibliothek ist auf das Umkehren mehrschichtiger Kodierungsfehler und die Reparatur komplexer Mojibake-Muster spezialisiert. Sie enthält Funktionen zur Erkennung verlustbehafteter Kodierungssequenzen, zum Erraten von Byte-Kodierungen und zum Dekodieren nicht standardmäßiger UTF-8-Varianten. Das Toolset deckt ein breites Spektrum an Textbereinigungs- und Normalisierungsaufgaben ab, einschließlich der Dekodierung von HTML-Entitäten und Backslash-Escapes, der Erweiterung von lateinischen Ligaturen sowie der Standardisierung von Zeichenbreiten und Zeilenumbrüchen. Es bietet zudem Dienstprogramme zum Entfernen unsichtbarer Steuerzeichen und zur Inspektion von Unicode-Strings nach Codepoint. Eine Command-Line-Interface ist für die Reparatur von Unicode-Fehlern und Kodierungsfehlern innerhalb von Dateien oder Eingabeströmen verfügbar.