Awesome GitHub RepositoriesJavaScript-Rendered Content Extractors

Pholcus este un framework de web crawler distribuit scris în Go, conceput pentru extragerea de date cu concurență ridicată. Acesta funcționează ca un orchestrator de crawling distribuit și un motor de extragere dinamică a datelor, utilizând o arhitectură server-client pentru a coordona sarcinile pe mai multe noduri. Sistemul integrează un motor de browser headless pentru a randa conținut dinamic și a executa JavaScript, permițându-i să extragă date din aplicații single-page. Dispune de o interfață de gestionare bazată pe web pentru configurarea parametrilor spider-ului și monitorizarea progresului execuției, alături de capacitatea de a actualiza regulile de extragere prin fișiere de configurare cu hot-reloading, fără a reporni sistemul. Gestionarea traficului este realizată prin rotația pool-ului de proxy-uri și randomizarea cererilor pentru a evita detectarea bot-urilor și limitările de rată. Framework-ul include recuperarea stării bazată pe puncte de control pentru a relua sarcinile după eșecuri și oferă adaptoare de stocare pluggable pentru a exporta datele extrase în baze de date, cozi de mesaje sau fișiere.

Steel is a cloud browser automation platform that provides a REST API for launching and controlling remote Chrome browser sessions. It enables programmatic browsing and web scraping using standard automation tools like Puppeteer, Playwright, and Selenium, connecting to cloud-hosted browser instances via WebSocket and the Chrome DevTools Protocol. The platform supports both headless and headful browser sessions, with language-specific SDKs for TypeScript and Python. The service distinguishes itself through comprehensive anti-detection capabilities, including residential proxy rotation, CAPTCHA

Open Deep Research is an AI-powered web research agent that combines a reasoning model with live web search and data extraction to perform deep, multi-source investigations on any topic. It operates through a dual interface, offering both a command-line tool and a Model Context Protocol server, allowing developers to integrate web capabilities directly into AI agents and coding assistants. The project distinguishes itself by orchestrating an iterative research loop where a reasoning model plans steps, interprets search results, and guides subsequent web interactions. It uses Firecrawl for scr

X-Ray este un framework de scraping web și un crawler web asincron conceput pentru a extrage date structurate de pe site-uri web. Funcționează ca un extractor de date HTML care transformă conținutul brut al paginii într-o schemă definită folosind selectori de tip CSS. Proiectul implementează un crawler cu browser headless capabil să execute JavaScript pentru a randa conținut dinamic. Gestionează descoperirea conținutului site-ului printr-o strategie de crawling în lățime și descoperirea automată a paginării pentru a traversa seturile de rezultate multi-pagină. Framework-ul gestionează pipeline-urile de date web folosind o coadă de cereri cu concurență limitată și controlul ratei cererilor pentru a regla apelurile de rețea de ieșire. Rezultatele extrase sunt gestionate prin persistența datelor bazată pe flux pentru a procesa seturi mari de date fără a supraîncărca memoria sistemului.

Acest proiect este un framework distribuit de web crawling headless Chrome și de extracție a datelor. Funcționează ca un motor de randare JavaScript care utilizează un browser headless pentru a procesa pagini dinamice, extrăgând date structurate de pe site-uri web care necesită execuție JavaScript. Sistemul este conceput pentru colectarea scalabilă a datelor pe mai multe noduri, utilizând sincronizarea distribuită a sarcinilor și cache-uri partajate pentru a preveni munca duplicată. Se distinge prin capacitatea de a emula medii client specifice prin configurarea user-agent-urilor și a dimensiunilor viewport-ului, capturând în același timp dovezi vizuale precum capturi de ecran ale paginilor. Framework-ul acoperă gestionarea cuprinzătoare a crawl-ului, inclusiv programarea cererilor în cozi de prioritate, traversarea depth-first și breadth-first și respectarea fișierelor robots.txt și sitemap.xml. Oferă instrumente pentru limitarea concurenței, monitorizarea evenimentelor și streaming-ul datelor extrase în formate CSV sau JSON.

CrawlerTutorial este un tutorial cuprinzător de web scraping în Python și un framework conceput pentru extragerea datelor de pe site-uri web statice și dinamice. Acesta funcționează ca o conductă de extracție a datelor web și un orchestrator de cereri HTTP, acoperind întregul ciclu de viață al aplicațiilor de scraping, de la preluarea inițială până la stocarea finală a datelor. Proiectul oferă îndrumări specializate privind tehnicile de evitare a sistemelor anti-bot și ingineria inversă a API-urilor web. Include metode pentru evitarea detectării browserului prin mascarea identității și rotația proxy-urilor, precum și tehnici pentru identificarea endpoint-urilor API ascunse prin analizarea traficului de rețea și a semnăturilor cererilor. Framework-ul cuprinde un set larg de capabilități, inclusiv automatizarea browserului pentru pagini cu conținut JavaScript intens, autentificarea automată a utilizatorilor prin coduri QR sau SMS și gestionarea persistenței sesiunii. De asemenea, dispune de instrumente de preprocesare a datelor pentru curățarea textului brut, eliminarea înregistrărilor duplicate și persistența informațiilor colectate în fișiere plate sau baze de date relaționale.

Scylla este un sistem pentru gestionarea pool-urilor de proxy HTTP și automatizarea extracției web. Oferă un pipeline specializat de achiziție de date conceput pentru colectarea seturilor de date de internet la scară largă pentru antrenarea și fine-tuning-ul modelelor de limbaj mari. Proiectul dispune de un gateway de rotație proxy care atribuie adrese proxy noi cererilor primite pentru a masca traficul de origine și a evita blocarea IP-urilor. Include un manager de pool proxy care gestionează colectarea, validarea funcțională și orchestrarea serverelor proxy, completat de un dashboard web pentru monitorizarea stării și distribuției geografice a rețelei. Sistemul suportă extracția de conținut dinamic folosind un crawler de browser headless pentru a captura date de pe site-uri web care se bazează pe randarea JavaScript. Oferă, de asemenea, o interfață JSON pentru gestionarea proxy-urilor și integrarea cu framework-uri de scraping externe.