Awesome GitHub RepositoriesEncoding Normalizers

Career-ops is an AI-driven job search automation system designed to manage the entire application lifecycle, from discovery to tracking. It functions as a career copilot that utilizes autonomous agents to identify vacancies, evaluate professional fit, and generate tailored application materials. The project distinguishes itself through a multi-archetype persona management system and writing style calibration, allowing users to maintain different professional identities and a consistent voice across documents. It employs a multi-dimensional weighted scoring system to evaluate job suitability a

This project is a web-based collaborative editor and scientific document management system designed for LaTeX. It provides a centralized environment for writing, editing, and compiling academic manuscripts, enabling multiple users to work on the same project simultaneously through real-time synchronization. The platform distinguishes itself by treating documents as version-controlled repositories, allowing for granular history tracking and bidirectional synchronization with external version control systems. It features a secure, containerized compilation pipeline that isolates build processes

node-crawler is a programmable web crawler for Node.js that manages request queues and automates data extraction. It functions as a rate-limited HTTP client and a headless HTML parser, providing the infrastructure to visit large sets of URLs asynchronously while preventing duplicate processing through task deduplication. The project distinguishes itself through a proxy rotation manager that cycles user agents and proxy servers to bypass access restrictions. It utilizes the HTTP/2 protocol to improve request performance and server compatibility during large-scale scraping operations. The syst

Acts-as-taggable-on ist eine Tagging-Bibliothek für relationale Datenbanken in Ruby on Rails-Anwendungen. Sie bietet ein System zur Verknüpfung benutzerdefinierter Labels mit Datenbankdatensätzen, um Inhalte zu kategorisieren und zu filtern. Die Bibliothek bietet ein kontextbezogenes Tagging-Framework, das es ermöglicht, einen einzelnen Datensatz mit verschiedenen Label-Sets für unterschiedliche Zwecke zu versehen. Zudem enthält sie ein Multi-Tenant-Tagging-System, das Labels auf bestimmte Accounts oder Gruppen beschränkt, um den Datenschutz zu gewährleisten. Das Tool unterstützt das tag-basierte Abrufen von Datensätzen, die Suche über exakte Übereinstimmungen oder Ausschlüsse sowie die Berechnung der Tag-Häufigkeit über Sammlungen hinweg. Darüber hinaus ermöglicht es die Entdeckung verwandter Objekte basierend auf gemeinsamen Labels und verfolgt die Tag-Besitzverhältnisse, um zwischen globalen und benutzerspezifischen Labels zu unterscheiden.

python-ftfy ist eine Unicode-Textreparatur-Bibliothek, die entwickelt wurde, um Mojibake und Kodierungsfehler zu beheben. Sie bietet Dienstprogramme für die Erkennung von Byte-Kodierungen, die Dekodierung von HTML-Entitäten und die Wiederherstellung beschädigten Textes, um ihn in seine beabsichtigte Unicode-Form zurückzuführen. Das Projekt zeichnet sich durch eine mehrschichtige Dekodierungspipeline aus, die komplexe Kodierungsverwechslungen identifiziert und rückgängig macht. Es verwendet heuristikbasierte Erkennung, um Fälle zu lösen, in denen Text über mehrere Korruptionsebenen hinweg mit dem falschen Codec dekodiert wurde, und kann mit nicht standardmäßigen UTF-8-Varianten und unsauberen Kodierungszuordnungen umgehen. Die Bibliothek deckt zudem ein breites Spektrum an Textstandardisierungsaufgaben ab, einschließlich Unicode-Normalisierung, Zeilenumbruch-Standardisierung und der Erweiterung von lateinischen Ligaturen. Sie enthält Funktionen für die Normalisierung der Zeichenbreite sowie das Entfernen von Terminal-Escapes und Steuerzeichen. Eine Command-Line-Interface ist verfügbar, um die Erkennung und Reparatur von Unicode-Fehlern innerhalb von Dateien zu automatisieren.