Awesome GitHub RepositoriesPattern-Based Scraping

Autoscraper est une bibliothèque de web scraping automatique et un extracteur de données basé sur des modèles qui apprend les règles d'extraction à partir d'échantillons de données. Il identifie et récupère du texte, des URL et des éléments HTML à partir de pages web en analysant des valeurs d'échantillon pour reproduire des modèles de données à travers différentes URL. Le système fonctionne comme un gestionnaire de modèles de web scraping, permettant aux utilisateurs d'enregistrer et de recharger les règles apprises pour maintenir une extraction de données cohérente. Il prend en charge l'exportation et l'importation des règles de scraping vers un système de fichiers local pour éviter de répéter le processus d'entraînement pour le même site web. La bibliothèque couvre l'extraction automatisée de données web et la récolte de contenu web grâce à l'apprentissage de modèles basé sur des échantillons et à la récupération d'éléments positionnels. Elle peut récupérer à la fois des points de données spécifiques et tous les éléments d'une page qui correspondent aux modèles identifiés à partir des données d'échantillon initiales.

snscrape est un scraper et crawler web de réseaux sociaux basé sur Python conçu pour extraire des publications publiques, des profils et des hashtags de réseaux sociaux sans utiliser d'API officielles. Il fonctionne comme un outil d'archivage et un utilitaire pour la collecte de données en source ouverte (OSINT), permettant le rassemblement d'informations accessibles publiquement pour enquêter sur les tendances et les personnes. L'outil facilite l'extraction de données de réseaux sociaux à des fins de recherche et d'archivage, permettant la création d'enregistrements historiques de conversations et d'activité utilisateur. Il prend en charge des workflows pour l'analyse sociale académique et l'exportation de grands ensembles de métadonnées et de messages dans des fichiers locaux. Les capacités incluent la possibilité de scraper diverses plateformes de réseaux sociaux et de limiter le volume de résultats extraits. Le système peut exporter les éléments découverts sous forme de listes d'URL ou de fichiers détaillés contenant le contenu et les horodatages.

Scraperjs is a JavaScript web scraping library and headless browser automation tool designed to extract structured data from both static HTML and JavaScript-rendered websites. It functions as an asynchronous scraping workflow orchestrator and a selector-based engine for transforming unstructured web content into usable data. The library distinguishes itself by managing a shared browser instance across multiple tasks to optimize resource usage and reduce startup latency. It supports custom script injection into sandboxed browser environments to manipulate the DOM or execute browser-side logic