Awesome GitHub RepositoriesDynamic

Webmagic is a Java web crawling framework designed for building scalable automated crawlers to download and process large volumes of web pages. It functions as a distributed web crawler and dynamic content crawler, utilizing an XPath HTML parser to locate and extract specific data points from page structures. The framework distinguishes itself through its ability to handle dynamic content by rendering JavaScript and executing asynchronous requests to extract data from non-static pages. It also allows users to define and execute crawler logic via scripting languages, enabling the update of col

Pholcus is a distributed web crawling system designed for large-scale data scraping. It employs a master-worker distribution model to coordinate high-concurrency scraping tasks across a network of remote client nodes, enabling both horizontal and vertical data collection. The system features a hot-loadable rule engine that allows extraction and navigation logic to be updated at runtime without restarting the process. It handles dynamic content through headless browser integration and bypasses bot detection using proxy rotation, automated user authentication, and simulated human behavior. The

X-ray este un scraper web cu browser headless și un crawler de conținut HTML conceput pentru a extrage date structurate de pe site-uri web. Funcționează ca un scraper de date bazat pe flux și un extractor de date structurate, utilizând selectori pentru a prelua text și atribute din HTML sub formă de obiecte sau array-uri imbricate. Proiectul include un controler de rată a cererilor pentru a gestiona traficul de rețea prin limite de concurență, throttle-uri și timeout-uri. Gestionează scraping-ul site-urilor dinamice prin randarea JavaScript-ului via un browser headless și efectuează crawling automat al site-urilor folosind parcurgerea link-urilor în lățime (breadth-first) și gestionarea paginării. Sistemul oferă un pipeline de date care aplică transformări funcționale de valori asupra șirurilor brute și scrie rezultatele într-un flux (stream) lizibil pentru a preveni depășirea memoriei în timpul sarcinilor de scraping web la scară largă.