Awesome GitHub RepositoriesText Cleaning

zotero-gpt is an extension that integrates large language models with a reference management system to assist in the analysis and summarization of academic research papers. It functions as a research paper AI assistant capable of querying PDF documents and extracting insights directly from academic libraries. The tool features a contextual research search system that locates items within a library based on the semantic meaning of selected text. It includes a visual interface that renders AI-generated responses using Markdown and supports the display of complex mathematical formulas. The syst

Ceci est une application Windows pour la reconnaissance vocale automatique qui transcrit l'audio parlé à partir de fichiers vidéo en fichiers de sous-titres SRT horodatés. Elle sert de générateur de sous-titres et d'outil de traduction qui convertit la parole des médias en texte synchronisé. Le logiciel fonctionne comme un transcripteur de médias par lots, permettant le traitement simultané de plusieurs fichiers audio et vidéo pour générer des sous-titres en masse. Il inclut un workflow de traduction pour convertir les transcriptions entre différentes langues pour la création de fichiers bilingues ou localisés. Le système fournit également des capacités d'affinage de texte, utilisant des expressions régulières et des filtres personnalisés pour nettoyer les transcriptions en supprimant les mots de remplissage et les motifs indésirables. Ceci est supporté par une interface utilisateur graphique Windows native.

This project is a comprehensive instructional resource and course for building neural networks using PyTorch. It covers the fundamental building blocks of deep learning, including tensor manipulation, automatic differentiation, and the construction of modular neural network components. The repository serves as a technical guide for several specialized domains. It provides implementation details for computer vision tasks such as image classification, object detection, and semantic segmentation, as well as natural language processing workflows involving transformers, recurrent networks, and gen

CrawlerTutorial est un tutoriel complet de web scraping en Python et un framework conçu pour extraire des données de sites web statiques et dynamiques. Il fonctionne comme un pipeline d'extraction de données web et un orchestrateur de requêtes HTTP, couvrant tout le cycle de vie des applications de scraping, de la récupération initiale au stockage final des données. Le projet fournit des conseils spécialisés sur les techniques de contournement anti-bot et l'ingénierie inverse d'API web. Il inclut des méthodes pour échapper à la détection par navigateur via le masquage d'identité et la rotation de proxies, ainsi que des techniques pour identifier les points de terminaison d'API cachés en analysant le trafic réseau et les signatures de requêtes. Le framework englobe un large ensemble de capacités, incluant l'automatisation de navigateur pour les pages riches en JavaScript, l'authentification utilisateur automatisée via codes QR ou SMS, et la gestion de la persistance de session. Il dispose également d'outils de prétraitement de données pour nettoyer le texte brut, supprimer les enregistrements en double et persister les informations recueillies dans des fichiers plats ou des bases de données relationnelles.

Spark NLP est une boîte à outils pour l'analyse de texte évolutive et l'apprentissage automatique construite sur le framework de calcul distribué Apache Spark. Il fournit un framework d'apprentissage automatique multimodal et un système de pipeline distribué pour séquencer les annotateurs afin de traiter des données linguistiques à grande échelle. La bibliothèque inclut un processeur de texte transformer pour générer des embeddings vectoriels contextuels et un moteur d'inférence dédié pour gérer les grands modèles de langage. Le projet se distingue par sa capacité à traiter des types de données hétérogènes, y compris le texte, l'audio et les images, au sein d'une architecture vision-langage unifiée. Il prend en charge des capacités avancées d'IA générative telles que le prompt engineering, l'extraction d'entités structurées avec sortie JSON contrainte, et l'inférence locale pour éliminer la latence réseau. De plus, il fournit des outils pour la traduction inter-langues et la classification zero-shot à travers les modalités texte et image. Le framework couvre un large éventail de capacités, y compris l'entraînement de modèles supervisés pour la reconnaissance d'entités et l'analyse de sentiment, ainsi que la réponse aux questions extractive et la synthèse de documents. Il intègre la prise en charge des bases de données vectorielles pour la recherche de similarité et offre une infrastructure pour l'accélération GPU et la gestion du cycle de vie des modèles via un registre centralisé. La boîte à outils permet la distribution de modèles et de pipelines personnalisés via un dépôt public et prend en charge le déploiement de modèles via des API REST.

python-ftfy est une bibliothèque de réparation de texte Unicode conçue pour corriger le mojibake et les problèmes d'encodage. Elle fournit des utilitaires pour la détection d'encodage d'octets, le décodage d'entités HTML et la récupération de texte corrompu pour le restaurer sous sa forme Unicode prévue. Le projet se distingue par un pipeline de décodage multicouche qui identifie et inverse les mélanges d'encodage complexes. Il utilise une détection basée sur l'heuristique pour résoudre les cas où le texte a été décodé en utilisant le mauvais codec à travers plusieurs couches de corruption, et il peut gérer les variantes UTF-8 non standard et les mappages d'encodage négligents. La bibliothèque couvre également un large éventail de tâches de normalisation de texte, notamment la normalisation Unicode, la normalisation des sauts de ligne et l'expansion des ligatures latines. Elle inclut des capacités pour la normalisation de la largeur des caractères et la suppression des échappements de terminal et des caractères de contrôle. Une interface en ligne de commande est disponible pour automatiser la détection et la réparation des problèmes Unicode dans les fichiers.

Ce projet est un outil de réparation de texte Unicode et une bibliothèque de correction de mojibake conçus pour corriger les problèmes d'encodage et restaurer les caractères originaux à partir de chaînes corrompues. Il fonctionne comme un détecteur d'encodage de texte et un outil de normalisation Unicode pour résoudre les problèmes où le texte a été incorrectement décodé. La bibliothèque se spécialise dans l'inversion des erreurs d'encodage multicouches et la réparation des modèles de mojibake complexes. Elle inclut des capacités pour détecter les séquences d'encodage avec perte, deviner les encodages d'octets et décoder les variantes UTF-8 non standard. L'ensemble d'outils couvre un large éventail de tâches de nettoyage et de normalisation de texte, notamment le décodage des entités HTML et des échappements par barre oblique inverse, l'expansion des ligatures latines et la normalisation des largeurs de caractères et des sauts de ligne. Il fournit également des utilitaires pour supprimer les caractères de contrôle invisibles et inspecter les chaînes Unicode par point de code. Une interface en ligne de commande est disponible pour réparer les problèmes Unicode et les erreurs d'encodage dans les fichiers ou les flux d'entrée.