Awesome GitHub RepositoriesWeb Crawling Frameworks

PySpider is a Python web crawling framework designed for automated data extraction. It provides a pipeline for periodically fetching web content, processing HTML, and persisting scraped information into database backends. The system features a web-based management interface for editing scraping scripts, monitoring task progress, and reviewing collected data. It includes a headless browser JavaScript renderer to capture rendered HTML from dynamic web pages and a distributed architecture that uses message queues to scale crawling workloads across multiple nodes. The framework also covers task

Webmagic is a Java web crawling framework designed for building scalable automated crawlers to download and process large volumes of web pages. It functions as a distributed web crawler and dynamic content crawler, utilizing an XPath HTML parser to locate and extract specific data points from page structures. The framework distinguishes itself through its ability to handle dynamic content by rendering JavaScript and executing asynchronous requests to extract data from non-static pages. It also allows users to define and execute crawler logic via scripting languages, enabling the update of col

Portia is a containerized scraping platform and visual web scraper that enables no-code data extraction. It serves as a Scrapy visual scraping tool and spider generator, allowing users to design and deploy web scrapers through a graphical interface instead of writing manual selector code. The system distinguishes itself by converting visual web page annotations into executable Scrapy spider code and structured JSON specifications. This visual-to-code mapping allows users to define scraping logic and extraction rules through a point-and-click interface, which can then be exported for use in ex

Crawlee-python is a web crawling framework for building scalable scrapers using Python. It serves as a comprehensive tool for web scraping automation, providing a system to extract structured data from websites using both lightweight HTTP requests and headless browser automation. The framework is distinguished by its anti-bot evasion capabilities, which include browser fingerprint impersonation and tiered proxy rotation to bypass detection systems and solve challenges such as Cloudflare. It also incorporates artificial intelligence for autonomous website navigation and schema-based data extra

This project is a self-hosted system for discovering, browsing, and receiving personalized recommendations from academic papers on arXiv. It combines an arXiv API client that downloads paper metadata and PDFs with a TF-IDF document similarity engine and an SVM-based recommendation system that trains a classifier per user based on their preferences. The system provides a web interface for browsing, searching, and filtering recent arXiv submissions, alongside personalized paper recommendations generated from individual user signals. It also includes a Twitter mention tracker that periodically p

Acest proiect este un framework distribuit de web crawling care permite scalarea orizontală a sarcinilor de scraping. Utilizează Redis ca manager centralizat de cozi de cereri și stocare de stare pentru a coordona progresul crawl-ului și metadatele cererilor pe mai multe instanțe de server. Sistemul distribuie sarcinile de crawling prin partajarea unei singure cozi de cereri și utilizează un filtru distribuit de duplicate pentru a preveni vizitarea aceleiași pagini de către mai mulți lucrători. Acesta persistă starea complexă a cererilor și metadatele sub formă de șiruri JSON în cadrul stocării remote partajate. Framework-ul oferă, de asemenea, capabilități pentru procesarea distribuită a datelor prin trimiterea elementelor extrase într-o coadă partajată pentru consumul paralel de către lucrători de procesare separați.

OpenChat is a conversational AI agent builder and customer service automation platform that uses large language models to power customer support chatbots across multiple channels. It provides tools for defining AI agent behavior, training on custom knowledge, managing actions, and controlling autopilot responses per channel. The platform enables deploying AI agents on web, phone, email, SMS, and WhatsApp, with a unified inbox for managing conversations across all channels. It includes CRM synchronization, automated workflows, contact segmentation, and analytics for tracking customer satisfact

Crawler4j is a multi-threaded Java web crawler and spider designed for high-volume web traversal and content extraction. It functions as a polite crawling framework that enables the discovery and indexing of HTML and binary content across multiple websites. The project distinguishes itself through a persistent crawling model that serializes session state to local storage, allowing the engine to resume indexing after a crash or interruption. It includes a politeness controller to regulate request frequency and delays, preventing server overloading and IP blocking. The system covers a broad ra

DotnetSpider este un framework .NET de web crawling și un instrument C# de extracție a datelor conceput pentru descoperirea automată a paginilor web și recuperarea datelor structurate de pe internet la scară largă. Funcționează ca o bibliotecă de web scraping de nivel înalt pentru colectarea informațiilor de pe diverse site-uri web. Framework-ul oferă capabilități pentru web crawling automat și web scraping la scară largă. Permite extracția conținutului web pentru a facilita crearea de baze de date locale sau analiza informațiilor online prin automatizarea web programatică în ecosistemul .NET. Sistemul utilizează un model de procesare a datelor bazat pe pipeline, cu gestionarea asincronă a cererilor și execuția concurentă a worker-ilor. Dispune de un scheduler bazat pe cozi de sarcini, furnizori de stocare modulari și o implementare bazată pe interfețe pentru logica de scraping personalizată.

MNBVC is a dataset pipeline and toolkit designed for the collection, cleaning, and normalization of massive text and code corpora used to train large language models. It provides specialized tools for harvesting source code, commit histories, and repository metadata from version control platforms, alongside a multilingual text corpus collector for gathering parallel text and academic papers. The project distinguishes itself through comprehensive capabilities for processing diverse document types, including a PDF-to-text converter that transforms complex layouts and formulas into structured JS

X-crawl este un framework de web scraping bazat pe Node.js, conceput pentru a automatiza colectarea datelor de pe site-uri statice și dinamice. Acesta integrează inteligența artificială pentru a efectua parsarea semantică, permițând transformarea HTML-ului nestructurat în formate de date structurate care rămân precise chiar și atunci când layout-ul site-ului sau numele claselor se schimbă. Proiectul se distinge printr-o suită cuprinzătoare de funcționalități pentru stealth și fiabilitate. Gestionează identitatea crawler-ului prin randomizarea amprentelor dispozitivelor și rotirea serverelor proxy pentru a ocoli restricțiile de acces. Pentru a gestiona interfețele complexe, bogate în JavaScript, utilizează automatizarea browserelor headless pentru a simula comportamentul uman, cum ar fi click-urile și tastarea, asigurând accesibilitatea conținutului ascuns în timpul procesului de extracție. Framework-ul oferă un control extins asupra fluxurilor de lucru de crawling prin programarea sarcinilor, prioritizarea cererilor și gestionarea concurenței. Include mecanisme de reziliență încorporate, cum ar fi logica de reîncercare automată și gestionarea erorilor, pentru a menține o performanță constantă în condiții de rețea variabile. În plus, suportă hook-uri de ciclu de viață pentru gestionarea descărcărilor de fișiere și monitorizarea programatică a progresului pentru a urmări execuția sarcinilor și rezultatele.