Awesome GitHub RepositoriesData Extractions

Goutte is a PHP web scraper and DOM crawler designed for extracting data from websites. It functions as an HTTP client wrapper that enables the retrieval of web pages and the parsing of HTML content. The project provides a web form automator to programmatically fill and submit HTML forms to remote servers. It also includes a mechanism for automated website crawling by following links to discover and archive web content. The system supports stateful session management to maintain cookies and headers across requests. It further covers HTML data extraction through DOM-based element selection an

htmlq is a suite of command-line utilities for querying and extracting data from HTML documents using CSS selectors. It functions as a query language tool for HTML structures and attributes, providing a way to retrieve specific information from documents via the terminal. The tool provides capabilities for extracting text content, specific HTML attributes, and document fragments. It includes an HTML document formatter for cleaning and reformatting output with consistent indentation, as well as utilities for stripping tags to isolate plain text. The software handles structural HTML processing

Autoscraper este o bibliotecă de web scraping automat și un extractor de date bazat pe tipare care învață reguli de extragere din date eșantion. Acesta identifică și preia text, URL-uri și elemente HTML de pe paginile web prin analizarea valorilor eșantion pentru a replica tiparele de date pe diferite URL-uri. Sistemul funcționează ca un manager de modele de web scraping, permițând utilizatorilor să salveze și să reîncarce regulile învățate pentru a menține o extragere consistentă a datelor. Suportă exportul și importul regulilor de scraping în sistemul de fișiere local pentru a evita repetarea procesului de antrenare pentru același site web. Biblioteca acoperă extragerea automată a datelor web și colectarea conținutului web prin învățarea tiparelor bazată pe eșantioane și regăsirea elementelor poziționale. Poate prelua atât puncte de date specifice, cât și toate elementele de pe o pagină care se potrivesc cu tiparele identificate din datele eșantion inițiale.

pydoll is a Chrome DevTools Protocol automation library and headless browser controller used for web data extraction and parallel browser automation. It controls Chromium-based browsers via direct WebSocket connections, allowing it to manage isolated browser contexts and tabs while bypassing the overhead and detection associated with WebDriver. The project features an anti-bot evasion framework that mimics natural human behavior, including mouse movements generated via Bezier curves and variable typing patterns. It provides specialized stealth capabilities to bypass behavioral analysis and au

X-ray este un scraper web cu browser headless și un crawler de conținut HTML conceput pentru a extrage date structurate de pe site-uri web. Funcționează ca un scraper de date bazat pe flux și un extractor de date structurate, utilizând selectori pentru a prelua text și atribute din HTML sub formă de obiecte sau array-uri imbricate. Proiectul include un controler de rată a cererilor pentru a gestiona traficul de rețea prin limite de concurență, throttle-uri și timeout-uri. Gestionează scraping-ul site-urilor dinamice prin randarea JavaScript-ului via un browser headless și efectuează crawling automat al site-urilor folosind parcurgerea link-urilor în lățime (breadth-first) și gestionarea paginării. Sistemul oferă un pipeline de date care aplică transformări funcționale de valori asupra șirurilor brute și scrie rezultatele într-un flux (stream) lizibil pentru a preveni depășirea memoriei în timpul sarcinilor de scraping web la scară largă.

php-webdriver este un client WebDriver PHP și un framework de automatizare a browserului care implementează standardul W3C WebDriver. Servește ca interfață programatică pentru controlul browserelor web, executarea JavaScript și gestionarea sesiunilor de browser atât în medii cu interfață grafică (headed), cât și fără (headless). Biblioteca funcționează ca o implementare a protocolului Selenium, permițând aplicațiilor PHP să comunice cu driverele de browser precum ChromeDriver sau GeckoDriver. Oferă posibilitatea de a automatiza acțiunile utilizatorului, de a naviga prin pagini și de a valida elementele DOM pentru testarea UI-ului web. Capabilitățile sale acoperă domenii largi de interacțiune cu browserul, incluzând localizarea elementelor de pagină, gestionarea formularelor și controlul ferestrelor. Instrumentul suportă, de asemenea, configurații avansate de browser, cum ar fi gestionarea cookie-urilor, rutarea traficului prin proxy-uri, accesarea shadow DOM și executarea comenzilor low-level DevTools. Framework-ul include utilitare pentru sincronizarea cu stările paginii și capturarea de screenshot-uri atât pentru pagini întregi, cât și pentru elemente individuale.

Scraperr is a self-hosted web scraping and crawling platform designed for extracting structured data from websites using XPath selectors. It functions as a containerized system for managing scraping jobs through a queue and analyzing the resulting content using artificial intelligence. The project differentiates itself through its Kubernetes-native architecture, allowing for scalable deployment and management via package managers. It includes a crawling engine capable of domain-level spidering to discover linked pages and a data analyzer that uses artificial intelligence to query extracted we

MechanicalSoup este o bibliotecă Python de automatizare web concepută pentru a simula comportamentul browserului. Funcționează ca un set de instrumente pentru web scraping și automatizare, oferind un motor de parsare HTML și un manager de sesiune HTTP pentru a interacționa cu site-urile web programatic. Biblioteca permite interacțiunea web headless prin imitarea unei sesiuni reale de utilizator. Gestionează starea persistentă prin gestionarea cookie-urilor și urmărirea automată a redirectărilor, permițând navigarea programatică pe site-uri web și simularea interacțiunilor complexe cu browserul. Capabilitățile sale acoperă popularea și trimiterea automată a formularelor folosind selectori CSS, precum și extragerea datelor din răspunsurile HTML. Setul de instrumente include utilitare pentru descărcarea fișierelor linkate, specificarea user-agent-urilor personalizate și căutarea paginilor pe baza unor cuvinte cheie specifice. De asemenea, oferă instrumente de diagnosticare pentru a randa starea curentă a paginii într-un browser pentru verificare vizuală.

Splash este un API HTTP de browser headless și un motor de randare JavaScript conceput pentru a converti conținutul web dinamic în HTML static sau imagini. Funcționează ca un serviciu de browser scriptabil în Lua care expune capabilități de automatizare și randare a browserului printr-o interfață RESTful pentru extragerea programatică a datelor. Serviciul se distinge prin faptul că permite executarea de scripturi Lua personalizate pentru a automatiza secvențe complexe de interacțiune cu utilizatorul și navigarea pe pagini. Oferă posibilitatea de a comuta motoarele de randare per cerere pentru a verifica compatibilitatea cross-browser și consistența vizuală. Platforma acoperă o gamă largă de capabilități, inclusiv interacțiunea web automatizată prin evenimente simulate de tastatură și mouse, precum și interceptarea traficului de rețea pentru a monitoriza sau modifica cererile și răspunsurile. De asemenea, suportă extragerea DOM folosind selectori CSS și exportul jurnalelor de rețea pentru analiza traficului.

scrape-it este un scraper web și parser HTML pentru Node.js, conceput pentru a extrage date structurate de pe site-uri web și fișiere HTML. Funcționează ca un instrument de extracție a datelor web care preia informații specifice din elementele DOM și convertește conținutul web în câmpuri de date utilizabile. Instrumentul folosește selectori CSS pentru a viza puncte de date specifice și utilizează maparea datelor bazată pe schemă pentru a organiza textul web nestructurat într-un format consistent. Suportă transformarea personalizată a valorilor pentru a converti șirurile brute extrase în formate de date specifice. Sistemul oferă capabilități pentru extracția datelor web și maparea automată a conținutului. Poate analiza conținut HTML provenit din URL-uri, șiruri HTML brute sau stocare locală și se integrează cu browsere headless pentru a procesa conținutul din pagini web dinamice.