Awesome GitHub RepositoriesData Extraction

Changedetection.io is a self-hosted monitoring service designed to track web pages for content updates and notify users of changes. It functions as a centralized platform where users can manage tracking tasks, observe specific website elements, and receive automated alerts through various communication channels whenever modifications are detected. The service distinguishes itself through an integrated headless browser engine that executes interaction sequences, such as logins or form submissions, to access dynamic or restricted content. It maintains a historical record of page snapshots, util

Katana is a web crawler and spider designed for security reconnaissance and web application mapping. It functions as a utility for identifying endpoints, forms, and API structures across web targets by combining standard HTTP request traversal with headless browser automation to render dynamic, JavaScript-heavy content. The tool distinguishes itself through its ability to maintain authenticated sessions and handle complex web interactions, such as automated form submission and captcha resolution. It provides granular control over the discovery process, allowing users to define specific crawl

Photon is a command-line web crawler designed for security reconnaissance and information gathering. It systematically traverses websites to discover URLs, map domain infrastructure, and identify associated subdomains by retrieving DNS records. The tool distinguishes itself through its ability to perform deep content analysis, including the extraction of sensitive data such as API keys and authentication tokens using user-defined regular expressions. It supports offline inspection by cloning crawled web content to the local filesystem, allowing for structural analysis without additional netwo

Firefox is a cross-platform web browser engine designed to render web content, execute JavaScript, and manage secure browsing sessions. It utilizes a multi-process isolation architecture that distributes browser tasks across independent operating system processes to ensure stability and prevent site-specific failures from impacting the entire application. The engine incorporates a sandboxed execution environment to restrict web content and untrusted scripts to isolated memory compartments, enforcing security policies that prevent unauthorized access to system resources. The project distinguis

weiboSpider is a Python web scraper and social media crawler designed to extract user profiles, posts, and engagement metrics from Sina Weibo. It functions as an automated data pipeline for academic research and trend analysis, collecting long-form text and multimedia content. The tool distinguishes itself through the use of browser session cookies to authenticate requests and access protected profiles. It implements randomized request pacing and global pauses to manage traffic and avoid platform rate limits, while supporting incremental crawling to capture only new content based on timestamp

Pholcus es un framework de web crawler distribuido escrito en Go, diseñado para la extracción de datos de alta concurrencia. Funciona como un orquestador de rastreo distribuido y un motor de extracción de datos dinámicos, utilizando una arquitectura servidor-cliente para coordinar tareas a través de múltiples nodos. El sistema integra un motor de navegador headless para renderizar contenido dinámico y ejecutar JavaScript, permitiéndole extraer datos de aplicaciones de una sola página (SPA). Cuenta con una interfaz de gestión basada en web para configurar parámetros de arañas y monitorear el progreso de la ejecución, junto con la capacidad de actualizar reglas de extracción mediante archivos de configuración con recarga en caliente (hot-reloading) sin reiniciar el sistema. La gestión del tráfico se maneja mediante la rotación de pools de proxies y la aleatorización de solicitudes para evadir la detección de bots y evitar límites de tasa. El framework incluye recuperación de puntos de control basada en estado para reanudar tareas tras fallos y proporciona adaptadores de almacenamiento conectables para exportar datos extraídos a bases de datos, colas de mensajes o archivos.

pydoll is a Chrome DevTools Protocol automation library and headless browser controller used for web data extraction and parallel browser automation. It controls Chromium-based browsers via direct WebSocket connections, allowing it to manage isolated browser contexts and tabs while bypassing the overhead and detection associated with WebDriver. The project features an anti-bot evasion framework that mimics natural human behavior, including mouse movements generated via Bezier curves and variable typing patterns. It provides specialized stealth capabilities to bypass behavioral analysis and au

Steel is a cloud browser automation platform that provides a REST API for launching and controlling remote Chrome browser sessions. It enables programmatic browsing and web scraping using standard automation tools like Puppeteer, Playwright, and Selenium, connecting to cloud-hosted browser instances via WebSocket and the Chrome DevTools Protocol. The platform supports both headless and headful browser sessions, with language-specific SDKs for TypeScript and Python. The service distinguishes itself through comprehensive anti-detection capabilities, including residential proxy rotation, CAPTCHA

Open Deep Research is an AI-powered web research agent that combines a reasoning model with live web search and data extraction to perform deep, multi-source investigations on any topic. It operates through a dual interface, offering both a command-line tool and a Model Context Protocol server, allowing developers to integrate web capabilities directly into AI agents and coding assistants. The project distinguishes itself by orchestrating an iterative research loop where a reasoning model plans steps, interprets search results, and guides subsequent web interactions. It uses Firecrawl for scr

X-Ray es un framework de scraping web y crawler web asíncrono diseñado para extraer datos estructurados de sitios web. Funciona como un extractor de datos HTML que transforma el contenido de páginas sin formato en un esquema definido utilizando selectores de estilo CSS. El proyecto implementa un crawler de navegador headless capaz de ejecutar JavaScript para renderizar contenido dinámico. Maneja el descubrimiento de contenido de sitios web a través de una estrategia de rastreo en anchura y descubrimiento automático de paginación para recorrer conjuntos de resultados de múltiples páginas. El framework gestiona tuberías de datos web utilizando una cola de solicitudes con concurrencia limitada y control de tasa de solicitudes para regular las llamadas de red salientes. Los resultados extraídos se manejan mediante persistencia de datos basada en flujos para procesar grandes conjuntos de datos sin sobrecargar la memoria del sistema.

Este proyecto es un framework de rastreo web (web crawler) distribuido y headless Chrome para la extracción de datos. Funciona como un motor de renderizado de JavaScript que utiliza un navegador headless para procesar páginas dinámicas, extrayendo datos estructurados de sitios web que requieren ejecución de JavaScript. El sistema está diseñado para la recolección de datos escalable a través de múltiples nodos, utilizando sincronización de tareas distribuida y cachés compartidas para evitar el trabajo duplicado. Se distingue por la capacidad de emular entornos de cliente específicos configurando user agents y dimensiones de viewport, mientras captura evidencia visual como capturas de pantalla de la página. El framework cubre una gestión integral del rastreo, incluyendo programación de solicitudes con cola de prioridad, recorrido en profundidad y en anchura, y cumplimiento de archivos robots.txt y sitemap.xml. Proporciona herramientas para limitar la concurrencia, monitoreo de eventos y streaming de datos extraídos en formatos CSV o JSON.

Este proyecto es un scraper web de Sina Weibo y una tubería de datos de redes sociales diseñada para extraer perfiles de usuario, publicaciones, comentarios y activos multimedia. Funciona como un crawler de datos contenedorizado que automatiza la recopilación y el almacenamiento local de contenido de redes sociales y métricas de interacción. El sistema incluye una capa de procesamiento que utiliza modelos de lenguaje de gran tamaño (LLM) para analizar el texto extraído, generando resúmenes y análisis de sentimiento. Se diferencia por un modelo de contenedor listo para el despliegue que cuenta con una interfaz HTTP para gestionar tareas de extracción y monitorear el progreso de los trabajos. El crawler cubre una amplia gama de capacidades, incluyendo el monitoreo de redes sociales mediante actualizaciones incrementales programadas, el archivo de activos multimedia en discos locales y la exportación de datos en múltiples formatos a archivos planos o bases de datos. También captura interacciones sociales detalladas, como comentarios de primer nivel y republicaciones.

CrawlerTutorial is a comprehensive Python web scraping tutorial and framework designed for extracting data from static and dynamic websites. It functions as a web data extraction pipeline and an HTTP request orchestrator, covering the full lifecycle of scraping applications from initial fetching to final data storage. The project provides specialized guidance on anti-bot bypass techniques and web API reverse engineering. It includes methods for evading browser detection through identity masking and proxy rotation, as well as techniques for identifying hidden API endpoints by analyzing network

Scylla is a system for managing HTTP proxy pools and automating web extraction. It provides a specialized data acquisition pipeline designed for gathering large-scale internet datasets for training and fine-tuning large language models. The project features a proxy rotation gateway that assigns fresh proxy addresses to incoming requests to mask origin traffic and avoid IP blocking. It includes a proxy pool manager that handles the collection, functional validation, and orchestration of proxy servers, complemented by a web dashboard for monitoring the health and geographic distribution of the

Este proyecto es un scraper web no autenticado diseñado para extraer datos públicos de la API frontend de Twitter. Funciona como un extractor de datos de redes sociales que simula solicitudes de navegador para recopilar información sin necesidad de claves de API oficiales o autenticación de cuenta de usuario. La herramienta proporciona capacidades para recopilar publicaciones públicas, recolectar metadatos de perfiles de usuario como biografías y ubicaciones, y recuperar temas de tendencia categorizados por región geográfica. Puede realizar scraping de contenido dirigido basado en nombres de usuario, hashtags o consultas de búsqueda específicas. El sistema gestiona la recolección de datos a través de paginación, emulación de cliente basada en cabeceras para imitar navegadores web y el análisis de respuestas JSON estructuradas desde endpoints públicos.