Awesome GitHub RepositoriesJavaScript-Rendered Content Extractors

Pholcus est un framework de web crawler distribué écrit en Go, conçu pour l'extraction de données à haute concurrence. Il fonctionne comme un orchestrateur de crawling distribué et un moteur d'extraction de données dynamique, utilisant une architecture serveur-client pour coordonner les tâches sur plusieurs nœuds. Le système intègre un moteur de navigateur headless pour rendre le contenu dynamique et exécuter du JavaScript, lui permettant d'extraire des données d'applications monopages (SPA). Il dispose d'une interface de gestion web pour configurer les paramètres des spiders et surveiller la progression de l'exécution, ainsi que la capacité de mettre à jour les règles d'extraction via des fichiers de configuration à chaud (hot-reloading) sans redémarrer le système. La gestion du trafic est assurée par la rotation de pools de proxys et la randomisation des requêtes pour échapper à la détection des bots et éviter les limites de débit. Le framework inclut une récupération de points de contrôle basée sur l'état pour reprendre les tâches après des échecs et fournit des adaptateurs de stockage enfichables pour exporter les données extraites vers des bases de données, des files d'attente de messages ou des fichiers.

Steel is a cloud browser automation platform that provides a REST API for launching and controlling remote Chrome browser sessions. It enables programmatic browsing and web scraping using standard automation tools like Puppeteer, Playwright, and Selenium, connecting to cloud-hosted browser instances via WebSocket and the Chrome DevTools Protocol. The platform supports both headless and headful browser sessions, with language-specific SDKs for TypeScript and Python. The service distinguishes itself through comprehensive anti-detection capabilities, including residential proxy rotation, CAPTCHA

Open Deep Research is an AI-powered web research agent that combines a reasoning model with live web search and data extraction to perform deep, multi-source investigations on any topic. It operates through a dual interface, offering both a command-line tool and a Model Context Protocol server, allowing developers to integrate web capabilities directly into AI agents and coding assistants. The project distinguishes itself by orchestrating an iterative research loop where a reasoning model plans steps, interprets search results, and guides subsequent web interactions. It uses Firecrawl for scr

X-Ray est un framework de scraping web et un crawler web asynchrone conçu pour extraire des données structurées à partir de sites web. Il fonctionne comme un extracteur de données HTML qui transforme le contenu brut de la page en un schéma défini en utilisant des sélecteurs de style CSS. Le projet implémente un crawler de navigateur headless capable d'exécuter du JavaScript pour rendre du contenu dynamique. Il gère la découverte de contenu de site web via une stratégie de crawling en largeur d'abord et la découverte automatique de pagination pour traverser les jeux de résultats multi-pages. Le framework gère les pipelines de données web en utilisant une file d'attente de requêtes à concurrence limitée et un contrôle du taux de requête pour réguler les appels réseau sortants. Les résultats extraits sont gérés via une persistance de données basée sur les flux pour traiter de grands jeux de données sans surcharger la mémoire système.

Ce projet est un framework distribué de crawling web headless Chrome et d'extraction de données. Il fonctionne comme un moteur de rendu JavaScript qui utilise un navigateur headless pour traiter les pages dynamiques, extrayant des données structurées à partir de sites web nécessitant l'exécution de JavaScript. Le système est conçu pour la collecte de données évolutive sur plusieurs nœuds, utilisant la synchronisation de tâches distribuée et des caches partagés pour éviter le travail en double. Il se distingue par sa capacité à émuler des environnements clients spécifiques en configurant les user agents et les dimensions de la fenêtre d'affichage, tout en capturant des preuves visuelles telles que des captures d'écran de pages. Le framework couvre une gestion complète du crawl, incluant la planification des requêtes par file d'attente prioritaire, le parcours en profondeur et en largeur, et le respect des fichiers robots.txt et sitemap.xml. Il fournit des outils pour limiter la concurrence, surveiller les événements et streamer les données extraites aux formats CSV ou JSON.

CrawlerTutorial est un tutoriel complet de web scraping en Python et un framework conçu pour extraire des données de sites web statiques et dynamiques. Il fonctionne comme un pipeline d'extraction de données web et un orchestrateur de requêtes HTTP, couvrant tout le cycle de vie des applications de scraping, de la récupération initiale au stockage final des données. Le projet fournit des conseils spécialisés sur les techniques de contournement anti-bot et l'ingénierie inverse d'API web. Il inclut des méthodes pour échapper à la détection par navigateur via le masquage d'identité et la rotation de proxies, ainsi que des techniques pour identifier les points de terminaison d'API cachés en analysant le trafic réseau et les signatures de requêtes. Le framework englobe un large ensemble de capacités, incluant l'automatisation de navigateur pour les pages riches en JavaScript, l'authentification utilisateur automatisée via codes QR ou SMS, et la gestion de la persistance de session. Il dispose également d'outils de prétraitement de données pour nettoyer le texte brut, supprimer les enregistrements en double et persister les informations recueillies dans des fichiers plats ou des bases de données relationnelles.

Scylla est un système pour gérer des pools de proxys HTTP et automatiser l'extraction web. Il fournit un pipeline d'acquisition de données spécialisé conçu pour rassembler des jeux de données internet à grande échelle pour l'entraînement et le réglage fin de modèles de langage de grande taille. Le projet dispose d'une passerelle de rotation de proxy qui assigne de nouvelles adresses proxy aux requêtes entrantes pour masquer le trafic d'origine et éviter le blocage IP. Il inclut un gestionnaire de pool de proxys qui gère la collecte, la validation fonctionnelle et l'orchestration des serveurs proxy, complété par un tableau de bord web pour surveiller la santé et la distribution géographique du réseau. Le système prend en charge l'extraction de contenu dynamique en utilisant un crawler de navigateur headless pour capturer des données à partir de sites web qui reposent sur le rendu JavaScript. Il fournit également une interface JSON pour la gestion des proxys et l'intégration avec des frameworks de scraping externes.