Awesome GitHub RepositoriesEncoding Normalizers

Career-ops is an AI-driven job search automation system designed to manage the entire application lifecycle, from discovery to tracking. It functions as a career copilot that utilizes autonomous agents to identify vacancies, evaluate professional fit, and generate tailored application materials. The project distinguishes itself through a multi-archetype persona management system and writing style calibration, allowing users to maintain different professional identities and a consistent voice across documents. It employs a multi-dimensional weighted scoring system to evaluate job suitability a

This project is a web-based collaborative editor and scientific document management system designed for LaTeX. It provides a centralized environment for writing, editing, and compiling academic manuscripts, enabling multiple users to work on the same project simultaneously through real-time synchronization. The platform distinguishes itself by treating documents as version-controlled repositories, allowing for granular history tracking and bidirectional synchronization with external version control systems. It features a secure, containerized compilation pipeline that isolates build processes

node-crawler is a programmable web crawler for Node.js that manages request queues and automates data extraction. It functions as a rate-limited HTTP client and a headless HTML parser, providing the infrastructure to visit large sets of URLs asynchronously while preventing duplicate processing through task deduplication. The project distinguishes itself through a proxy rotation manager that cycles user agents and proxy servers to bypass access restrictions. It utilizes the HTTP/2 protocol to improve request performance and server compatibility during large-scale scraping operations. The syst

Acts-as-taggable-on est une bibliothèque de tagging pour bases de données relationnelles destinée aux applications Ruby on Rails. Elle fournit un système permettant d'associer des étiquettes personnalisées aux enregistrements de la base de données pour faciliter la catégorisation et le filtrage du contenu. La bibliothèque propose un framework de tagging contextuel qui permet à un même enregistrement de conserver différents ensembles d'étiquettes selon les besoins. Elle inclut également un système de tagging multi-tenant qui limite les étiquettes à des comptes ou des groupes spécifiques pour garantir la confidentialité des données. L'outil prend en charge la récupération d'enregistrements par étiquette, la recherche par correspondance exacte ou exclusion, et le calcul de la fréquence des étiquettes dans les collections. Il permet en outre la découverte d'objets liés basés sur des étiquettes partagées et assure le suivi de la propriété des étiquettes pour distinguer les étiquettes globales de celles spécifiques à l'utilisateur.

python-ftfy est une bibliothèque de réparation de texte Unicode conçue pour corriger le mojibake et les problèmes d'encodage. Elle fournit des utilitaires pour la détection d'encodage d'octets, le décodage d'entités HTML et la récupération de texte corrompu pour le restaurer sous sa forme Unicode prévue. Le projet se distingue par un pipeline de décodage multicouche qui identifie et inverse les mélanges d'encodage complexes. Il utilise une détection basée sur l'heuristique pour résoudre les cas où le texte a été décodé en utilisant le mauvais codec à travers plusieurs couches de corruption, et il peut gérer les variantes UTF-8 non standard et les mappages d'encodage négligents. La bibliothèque couvre également un large éventail de tâches de normalisation de texte, notamment la normalisation Unicode, la normalisation des sauts de ligne et l'expansion des ligatures latines. Elle inclut des capacités pour la normalisation de la largeur des caractères et la suppression des échappements de terminal et des caractères de contrôle. Une interface en ligne de commande est disponible pour automatiser la détection et la réparation des problèmes Unicode dans les fichiers.