Awesome GitHub RepositoriesData Extraction

Changedetection.io is a self-hosted monitoring service designed to track web pages for content updates and notify users of changes. It functions as a centralized platform where users can manage tracking tasks, observe specific website elements, and receive automated alerts through various communication channels whenever modifications are detected. The service distinguishes itself through an integrated headless browser engine that executes interaction sequences, such as logins or form submissions, to access dynamic or restricted content. It maintains a historical record of page snapshots, util

Katana is a web crawler and spider designed for security reconnaissance and web application mapping. It functions as a utility for identifying endpoints, forms, and API structures across web targets by combining standard HTTP request traversal with headless browser automation to render dynamic, JavaScript-heavy content. The tool distinguishes itself through its ability to maintain authenticated sessions and handle complex web interactions, such as automated form submission and captcha resolution. It provides granular control over the discovery process, allowing users to define specific crawl

Photon is a command-line web crawler designed for security reconnaissance and information gathering. It systematically traverses websites to discover URLs, map domain infrastructure, and identify associated subdomains by retrieving DNS records. The tool distinguishes itself through its ability to perform deep content analysis, including the extraction of sensitive data such as API keys and authentication tokens using user-defined regular expressions. It supports offline inspection by cloning crawled web content to the local filesystem, allowing for structural analysis without additional netwo

Firefox is a cross-platform web browser engine designed to render web content, execute JavaScript, and manage secure browsing sessions. It utilizes a multi-process isolation architecture that distributes browser tasks across independent operating system processes to ensure stability and prevent site-specific failures from impacting the entire application. The engine incorporates a sandboxed execution environment to restrict web content and untrusted scripts to isolated memory compartments, enforcing security policies that prevent unauthorized access to system resources. The project distinguis

weiboSpider is a Python web scraper and social media crawler designed to extract user profiles, posts, and engagement metrics from Sina Weibo. It functions as an automated data pipeline for academic research and trend analysis, collecting long-form text and multimedia content. The tool distinguishes itself through the use of browser session cookies to authenticate requests and access protected profiles. It implements randomized request pacing and global pauses to manage traffic and avoid platform rate limits, while supporting incremental crawling to capture only new content based on timestamp

Pholcus este un framework de web crawler distribuit scris în Go, conceput pentru extragerea de date cu concurență ridicată. Acesta funcționează ca un orchestrator de crawling distribuit și un motor de extragere dinamică a datelor, utilizând o arhitectură server-client pentru a coordona sarcinile pe mai multe noduri. Sistemul integrează un motor de browser headless pentru a randa conținut dinamic și a executa JavaScript, permițându-i să extragă date din aplicații single-page. Dispune de o interfață de gestionare bazată pe web pentru configurarea parametrilor spider-ului și monitorizarea progresului execuției, alături de capacitatea de a actualiza regulile de extragere prin fișiere de configurare cu hot-reloading, fără a reporni sistemul. Gestionarea traficului este realizată prin rotația pool-ului de proxy-uri și randomizarea cererilor pentru a evita detectarea bot-urilor și limitările de rată. Framework-ul include recuperarea stării bazată pe puncte de control pentru a relua sarcinile după eșecuri și oferă adaptoare de stocare pluggable pentru a exporta datele extrase în baze de date, cozi de mesaje sau fișiere.

pydoll is a Chrome DevTools Protocol automation library and headless browser controller used for web data extraction and parallel browser automation. It controls Chromium-based browsers via direct WebSocket connections, allowing it to manage isolated browser contexts and tabs while bypassing the overhead and detection associated with WebDriver. The project features an anti-bot evasion framework that mimics natural human behavior, including mouse movements generated via Bezier curves and variable typing patterns. It provides specialized stealth capabilities to bypass behavioral analysis and au

Steel is a cloud browser automation platform that provides a REST API for launching and controlling remote Chrome browser sessions. It enables programmatic browsing and web scraping using standard automation tools like Puppeteer, Playwright, and Selenium, connecting to cloud-hosted browser instances via WebSocket and the Chrome DevTools Protocol. The platform supports both headless and headful browser sessions, with language-specific SDKs for TypeScript and Python. The service distinguishes itself through comprehensive anti-detection capabilities, including residential proxy rotation, CAPTCHA

Open Deep Research is an AI-powered web research agent that combines a reasoning model with live web search and data extraction to perform deep, multi-source investigations on any topic. It operates through a dual interface, offering both a command-line tool and a Model Context Protocol server, allowing developers to integrate web capabilities directly into AI agents and coding assistants. The project distinguishes itself by orchestrating an iterative research loop where a reasoning model plans steps, interprets search results, and guides subsequent web interactions. It uses Firecrawl for scr

X-Ray este un framework de scraping web și un crawler web asincron conceput pentru a extrage date structurate de pe site-uri web. Funcționează ca un extractor de date HTML care transformă conținutul brut al paginii într-o schemă definită folosind selectori de tip CSS. Proiectul implementează un crawler cu browser headless capabil să execute JavaScript pentru a randa conținut dinamic. Gestionează descoperirea conținutului site-ului printr-o strategie de crawling în lățime și descoperirea automată a paginării pentru a traversa seturile de rezultate multi-pagină. Framework-ul gestionează pipeline-urile de date web folosind o coadă de cereri cu concurență limitată și controlul ratei cererilor pentru a regla apelurile de rețea de ieșire. Rezultatele extrase sunt gestionate prin persistența datelor bazată pe flux pentru a procesa seturi mari de date fără a supraîncărca memoria sistemului.

Acest proiect este un framework distribuit de web crawling headless Chrome și de extracție a datelor. Funcționează ca un motor de randare JavaScript care utilizează un browser headless pentru a procesa pagini dinamice, extrăgând date structurate de pe site-uri web care necesită execuție JavaScript. Sistemul este conceput pentru colectarea scalabilă a datelor pe mai multe noduri, utilizând sincronizarea distribuită a sarcinilor și cache-uri partajate pentru a preveni munca duplicată. Se distinge prin capacitatea de a emula medii client specifice prin configurarea user-agent-urilor și a dimensiunilor viewport-ului, capturând în același timp dovezi vizuale precum capturi de ecran ale paginilor. Framework-ul acoperă gestionarea cuprinzătoare a crawl-ului, inclusiv programarea cererilor în cozi de prioritate, traversarea depth-first și breadth-first și respectarea fișierelor robots.txt și sitemap.xml. Oferă instrumente pentru limitarea concurenței, monitorizarea evenimentelor și streaming-ul datelor extrase în formate CSV sau JSON.

Acest proiect este un scraper web pentru Sina Weibo și un pipeline de date pentru social media, conceput pentru a extrage profiluri de utilizatori, postări, comentarii și active multimedia. Acesta funcționează ca un crawler de date containerizat care automatizează colectarea și stocarea locală a conținutului de social media și a metricilor de engagement. Sistemul include un strat de procesare care utilizează modele de limbaj mari (LLM) pentru a analiza textul extras, generând rezumate și analize de sentiment. Se diferențiază printr-un model de container gata de deployment, care dispune de o interfață HTTP pentru gestionarea sarcinilor de extracție și monitorizarea progresului joburilor. Crawler-ul acoperă o gamă largă de capabilități, inclusiv monitorizarea social media prin actualizări incrementale programate, arhivarea activelor multimedia pe discuri locale și exportul de date în formate multiple către fișiere plate sau baze de date. De asemenea, captează interacțiuni sociale detaliate, cum ar fi comentariile de prim nivel și repostările.

CrawlerTutorial este un tutorial cuprinzător de web scraping în Python și un framework conceput pentru extragerea datelor de pe site-uri web statice și dinamice. Acesta funcționează ca o conductă de extracție a datelor web și un orchestrator de cereri HTTP, acoperind întregul ciclu de viață al aplicațiilor de scraping, de la preluarea inițială până la stocarea finală a datelor. Proiectul oferă îndrumări specializate privind tehnicile de evitare a sistemelor anti-bot și ingineria inversă a API-urilor web. Include metode pentru evitarea detectării browserului prin mascarea identității și rotația proxy-urilor, precum și tehnici pentru identificarea endpoint-urilor API ascunse prin analizarea traficului de rețea și a semnăturilor cererilor. Framework-ul cuprinde un set larg de capabilități, inclusiv automatizarea browserului pentru pagini cu conținut JavaScript intens, autentificarea automată a utilizatorilor prin coduri QR sau SMS și gestionarea persistenței sesiunii. De asemenea, dispune de instrumente de preprocesare a datelor pentru curățarea textului brut, eliminarea înregistrărilor duplicate și persistența informațiilor colectate în fișiere plate sau baze de date relaționale.

Scylla este un sistem pentru gestionarea pool-urilor de proxy HTTP și automatizarea extracției web. Oferă un pipeline specializat de achiziție de date conceput pentru colectarea seturilor de date de internet la scară largă pentru antrenarea și fine-tuning-ul modelelor de limbaj mari. Proiectul dispune de un gateway de rotație proxy care atribuie adrese proxy noi cererilor primite pentru a masca traficul de origine și a evita blocarea IP-urilor. Include un manager de pool proxy care gestionează colectarea, validarea funcțională și orchestrarea serverelor proxy, completat de un dashboard web pentru monitorizarea stării și distribuției geografice a rețelei. Sistemul suportă extracția de conținut dinamic folosind un crawler de browser headless pentru a captura date de pe site-uri web care se bazează pe randarea JavaScript. Oferă, de asemenea, o interfață JSON pentru gestionarea proxy-urilor și integrarea cu framework-uri de scraping externe.

Acest proiect este un scraper web neautentificat, conceput pentru a extrage date publice din API-ul frontend Twitter. Acesta funcționează ca un extractor de date din rețelele sociale care simulează cereri de browser pentru a colecta informații fără a fi nevoie de chei API oficiale sau autentificarea contului de utilizator. Instrumentul oferă capabilități pentru colectarea postărilor publice, recoltarea metadatelor profilurilor de utilizator (cum ar fi biografii și locații) și preluarea subiectelor în tendințe (trending topics) clasificate pe regiuni geografice. Poate efectua scraping de conținut vizat pe baza unor nume de utilizator, hashtag-uri sau interogări de căutare specifice. Sistemul gestionează colectarea datelor prin paginare, emularea clientului bazată pe headere pentru a imita browserele web și parsarea răspunsurilor JSON structurate din endpoint-uri publice.