Awesome GitHub RepositoriesData Extraction

Changedetection.io is a self-hosted monitoring service designed to track web pages for content updates and notify users of changes. It functions as a centralized platform where users can manage tracking tasks, observe specific website elements, and receive automated alerts through various communication channels whenever modifications are detected. The service distinguishes itself through an integrated headless browser engine that executes interaction sequences, such as logins or form submissions, to access dynamic or restricted content. It maintains a historical record of page snapshots, util

Katana is a web crawler and spider designed for security reconnaissance and web application mapping. It functions as a utility for identifying endpoints, forms, and API structures across web targets by combining standard HTTP request traversal with headless browser automation to render dynamic, JavaScript-heavy content. The tool distinguishes itself through its ability to maintain authenticated sessions and handle complex web interactions, such as automated form submission and captcha resolution. It provides granular control over the discovery process, allowing users to define specific crawl

Photon is a command-line web crawler designed for security reconnaissance and information gathering. It systematically traverses websites to discover URLs, map domain infrastructure, and identify associated subdomains by retrieving DNS records. The tool distinguishes itself through its ability to perform deep content analysis, including the extraction of sensitive data such as API keys and authentication tokens using user-defined regular expressions. It supports offline inspection by cloning crawled web content to the local filesystem, allowing for structural analysis without additional netwo

Firefox is a cross-platform web browser engine designed to render web content, execute JavaScript, and manage secure browsing sessions. It utilizes a multi-process isolation architecture that distributes browser tasks across independent operating system processes to ensure stability and prevent site-specific failures from impacting the entire application. The engine incorporates a sandboxed execution environment to restrict web content and untrusted scripts to isolated memory compartments, enforcing security policies that prevent unauthorized access to system resources. The project distinguis

weiboSpider is a Python web scraper and social media crawler designed to extract user profiles, posts, and engagement metrics from Sina Weibo. It functions as an automated data pipeline for academic research and trend analysis, collecting long-form text and multimedia content. The tool distinguishes itself through the use of browser session cookies to authenticate requests and access protected profiles. It implements randomized request pacing and global pauses to manage traffic and avoid platform rate limits, while supporting incremental crawling to capture only new content based on timestamp

Pholcus est un framework de web crawler distribué écrit en Go, conçu pour l'extraction de données à haute concurrence. Il fonctionne comme un orchestrateur de crawling distribué et un moteur d'extraction de données dynamique, utilisant une architecture serveur-client pour coordonner les tâches sur plusieurs nœuds. Le système intègre un moteur de navigateur headless pour rendre le contenu dynamique et exécuter du JavaScript, lui permettant d'extraire des données d'applications monopages (SPA). Il dispose d'une interface de gestion web pour configurer les paramètres des spiders et surveiller la progression de l'exécution, ainsi que la capacité de mettre à jour les règles d'extraction via des fichiers de configuration à chaud (hot-reloading) sans redémarrer le système. La gestion du trafic est assurée par la rotation de pools de proxys et la randomisation des requêtes pour échapper à la détection des bots et éviter les limites de débit. Le framework inclut une récupération de points de contrôle basée sur l'état pour reprendre les tâches après des échecs et fournit des adaptateurs de stockage enfichables pour exporter les données extraites vers des bases de données, des files d'attente de messages ou des fichiers.

pydoll is a Chrome DevTools Protocol automation library and headless browser controller used for web data extraction and parallel browser automation. It controls Chromium-based browsers via direct WebSocket connections, allowing it to manage isolated browser contexts and tabs while bypassing the overhead and detection associated with WebDriver. The project features an anti-bot evasion framework that mimics natural human behavior, including mouse movements generated via Bezier curves and variable typing patterns. It provides specialized stealth capabilities to bypass behavioral analysis and au

Steel is a cloud browser automation platform that provides a REST API for launching and controlling remote Chrome browser sessions. It enables programmatic browsing and web scraping using standard automation tools like Puppeteer, Playwright, and Selenium, connecting to cloud-hosted browser instances via WebSocket and the Chrome DevTools Protocol. The platform supports both headless and headful browser sessions, with language-specific SDKs for TypeScript and Python. The service distinguishes itself through comprehensive anti-detection capabilities, including residential proxy rotation, CAPTCHA

Open Deep Research is an AI-powered web research agent that combines a reasoning model with live web search and data extraction to perform deep, multi-source investigations on any topic. It operates through a dual interface, offering both a command-line tool and a Model Context Protocol server, allowing developers to integrate web capabilities directly into AI agents and coding assistants. The project distinguishes itself by orchestrating an iterative research loop where a reasoning model plans steps, interprets search results, and guides subsequent web interactions. It uses Firecrawl for scr

X-Ray est un framework de scraping web et un crawler web asynchrone conçu pour extraire des données structurées à partir de sites web. Il fonctionne comme un extracteur de données HTML qui transforme le contenu brut de la page en un schéma défini en utilisant des sélecteurs de style CSS. Le projet implémente un crawler de navigateur headless capable d'exécuter du JavaScript pour rendre du contenu dynamique. Il gère la découverte de contenu de site web via une stratégie de crawling en largeur d'abord et la découverte automatique de pagination pour traverser les jeux de résultats multi-pages. Le framework gère les pipelines de données web en utilisant une file d'attente de requêtes à concurrence limitée et un contrôle du taux de requête pour réguler les appels réseau sortants. Les résultats extraits sont gérés via une persistance de données basée sur les flux pour traiter de grands jeux de données sans surcharger la mémoire système.

Ce projet est un framework distribué de crawling web headless Chrome et d'extraction de données. Il fonctionne comme un moteur de rendu JavaScript qui utilise un navigateur headless pour traiter les pages dynamiques, extrayant des données structurées à partir de sites web nécessitant l'exécution de JavaScript. Le système est conçu pour la collecte de données évolutive sur plusieurs nœuds, utilisant la synchronisation de tâches distribuée et des caches partagés pour éviter le travail en double. Il se distingue par sa capacité à émuler des environnements clients spécifiques en configurant les user agents et les dimensions de la fenêtre d'affichage, tout en capturant des preuves visuelles telles que des captures d'écran de pages. Le framework couvre une gestion complète du crawl, incluant la planification des requêtes par file d'attente prioritaire, le parcours en profondeur et en largeur, et le respect des fichiers robots.txt et sitemap.xml. Il fournit des outils pour limiter la concurrence, surveiller les événements et streamer les données extraites aux formats CSV ou JSON.

Ce projet est un scraper web pour Sina Weibo et un pipeline de données de réseaux sociaux conçu pour extraire les profils d'utilisateurs, les publications, les commentaires et les ressources multimédias. Il fonctionne comme un crawler de données conteneurisé qui automatise la collecte et le stockage local de contenu de réseaux sociaux et de métriques d'engagement. Le système inclut une couche de traitement qui utilise des modèles de langage étendus (LLM) pour analyser le texte extrait, générant des résumés et une analyse de sentiment. Il se distingue par un modèle de déploiement prêt à l'emploi sous forme de conteneur, doté d'une interface HTTP pour gérer les tâches d'extraction et surveiller la progression des travaux. Le crawler couvre un large éventail de capacités, incluant la surveillance des réseaux sociaux via des mises à jour incrémentales planifiées, l'archivage des ressources multimédias sur disques locaux et l'exportation de données multi-formats vers des fichiers plats ou des bases de données. Il capture également des interactions sociales détaillées, telles que les commentaires de premier niveau et les reposts.

CrawlerTutorial est un tutoriel complet de web scraping en Python et un framework conçu pour extraire des données de sites web statiques et dynamiques. Il fonctionne comme un pipeline d'extraction de données web et un orchestrateur de requêtes HTTP, couvrant tout le cycle de vie des applications de scraping, de la récupération initiale au stockage final des données. Le projet fournit des conseils spécialisés sur les techniques de contournement anti-bot et l'ingénierie inverse d'API web. Il inclut des méthodes pour échapper à la détection par navigateur via le masquage d'identité et la rotation de proxies, ainsi que des techniques pour identifier les points de terminaison d'API cachés en analysant le trafic réseau et les signatures de requêtes. Le framework englobe un large ensemble de capacités, incluant l'automatisation de navigateur pour les pages riches en JavaScript, l'authentification utilisateur automatisée via codes QR ou SMS, et la gestion de la persistance de session. Il dispose également d'outils de prétraitement de données pour nettoyer le texte brut, supprimer les enregistrements en double et persister les informations recueillies dans des fichiers plats ou des bases de données relationnelles.

Scylla est un système pour gérer des pools de proxys HTTP et automatiser l'extraction web. Il fournit un pipeline d'acquisition de données spécialisé conçu pour rassembler des jeux de données internet à grande échelle pour l'entraînement et le réglage fin de modèles de langage de grande taille. Le projet dispose d'une passerelle de rotation de proxy qui assigne de nouvelles adresses proxy aux requêtes entrantes pour masquer le trafic d'origine et éviter le blocage IP. Il inclut un gestionnaire de pool de proxys qui gère la collecte, la validation fonctionnelle et l'orchestration des serveurs proxy, complété par un tableau de bord web pour surveiller la santé et la distribution géographique du réseau. Le système prend en charge l'extraction de contenu dynamique en utilisant un crawler de navigateur headless pour capturer des données à partir de sites web qui reposent sur le rendu JavaScript. Il fournit également une interface JSON pour la gestion des proxys et l'intégration avec des frameworks de scraping externes.

This project is an unauthenticated web scraper designed to extract public data from the Twitter frontend API. It functions as a social media data extractor that simulates browser requests to gather information without the need for official API keys or user account authentication. The tool provides capabilities for gathering public posts, harvesting user profile metadata such as biographies and locations, and retrieving trending topics categorized by geographical region. It can perform targeted content scraping based on specific usernames, hashtags, or search queries. The system manages data