Awesome GitHub RepositoriesWeb Crawling Frameworks

PySpider is a Python web crawling framework designed for automated data extraction. It provides a pipeline for periodically fetching web content, processing HTML, and persisting scraped information into database backends. The system features a web-based management interface for editing scraping scripts, monitoring task progress, and reviewing collected data. It includes a headless browser JavaScript renderer to capture rendered HTML from dynamic web pages and a distributed architecture that uses message queues to scale crawling workloads across multiple nodes. The framework also covers task

Webmagic is a Java web crawling framework designed for building scalable automated crawlers to download and process large volumes of web pages. It functions as a distributed web crawler and dynamic content crawler, utilizing an XPath HTML parser to locate and extract specific data points from page structures. The framework distinguishes itself through its ability to handle dynamic content by rendering JavaScript and executing asynchronous requests to extract data from non-static pages. It also allows users to define and execute crawler logic via scripting languages, enabling the update of col

Portia is a containerized scraping platform and visual web scraper that enables no-code data extraction. It serves as a Scrapy visual scraping tool and spider generator, allowing users to design and deploy web scrapers through a graphical interface instead of writing manual selector code. The system distinguishes itself by converting visual web page annotations into executable Scrapy spider code and structured JSON specifications. This visual-to-code mapping allows users to define scraping logic and extraction rules through a point-and-click interface, which can then be exported for use in ex

Crawlee-python is a web crawling framework for building scalable scrapers using Python. It serves as a comprehensive tool for web scraping automation, providing a system to extract structured data from websites using both lightweight HTTP requests and headless browser automation. The framework is distinguished by its anti-bot evasion capabilities, which include browser fingerprint impersonation and tiered proxy rotation to bypass detection systems and solve challenges such as Cloudflare. It also incorporates artificial intelligence for autonomous website navigation and schema-based data extra

This project is a self-hosted system for discovering, browsing, and receiving personalized recommendations from academic papers on arXiv. It combines an arXiv API client that downloads paper metadata and PDFs with a TF-IDF document similarity engine and an SVM-based recommendation system that trains a classifier per user based on their preferences. The system provides a web interface for browsing, searching, and filtering recent arXiv submissions, alongside personalized paper recommendations generated from individual user signals. It also includes a Twitter mention tracker that periodically p

Ce projet est un framework de crawling web distribué qui permet la mise à l'échelle horizontale des tâches de scraping. Il utilise Redis comme gestionnaire de file d'attente de requêtes centralisé et magasin d'état pour coordonner la progression du crawl et les métadonnées des requêtes sur plusieurs instances de serveur. Le système distribue les charges de travail de crawling en partageant une file d'attente de requêtes unique et utilise un filtre de doublons distribué pour empêcher plusieurs workers de visiter la même page. Il persiste l'état complexe des requêtes et les métadonnées sous forme de chaînes JSON au sein du magasin distant partagé. Le framework fournit également des capacités pour le traitement de données distribué en poussant les éléments scrapés dans une file d'attente partagée pour une consommation parallèle par des workers de traitement séparés.

OpenChat is a conversational AI agent builder and customer service automation platform that uses large language models to power customer support chatbots across multiple channels. It provides tools for defining AI agent behavior, training on custom knowledge, managing actions, and controlling autopilot responses per channel. The platform enables deploying AI agents on web, phone, email, SMS, and WhatsApp, with a unified inbox for managing conversations across all channels. It includes CRM synchronization, automated workflows, contact segmentation, and analytics for tracking customer satisfact

Crawler4j est un crawler web Java multi-threadé conçu pour le parcours web à haut volume et l'extraction de contenu. Il fonctionne comme un framework de crawling poli qui permet la découverte et l'indexation de contenu HTML et binaire sur plusieurs sites web. Le projet se distingue par un modèle de crawling persistant qui sérialise l'état de la session vers un stockage local, permettant au moteur de reprendre l'indexation après un crash ou une interruption. Il inclut un contrôleur de politesse pour réguler la fréquence des requêtes et les délais, évitant ainsi la surcharge des serveurs et le blocage IP. Le système couvre un large éventail de capacités de parcours, incluant la gestion de la portée limitée par la profondeur, le filtrage des cibles et l'interception de requêtes pour des user-agents personnalisés et le routage par proxy. Le stockage des données est géré via un pattern repository qui découple la logique de crawling de la persistance des métadonnées de page dans des bases de données relationnelles.

DotnetSpider est un framework de crawling web .NET et un outil d'extraction de données C# conçu pour la découverte automatisée de pages web et la récupération de données structurées sur Internet à grande échelle. Il fonctionne comme une bibliothèque de web scraping de haut niveau pour collecter des informations sur divers sites web. Le framework offre des capacités pour le crawling web automatisé et le scraping de données à grande échelle. Il permet l'extraction de contenu web pour faciliter la création de bases de données locales ou l'analyse d'informations en ligne via l'automatisation web programmatique au sein de l'écosystème .NET. Le système utilise un modèle de traitement de données basé sur un pipeline avec une gestion asynchrone des requêtes et une exécution concurrente des workers. Il dispose d'un planificateur basé sur une file d'attente de tâches, de fournisseurs de stockage modulaires et d'une implémentation pilotée par interface pour une logique de scraping personnalisée.

MNBVC is a dataset pipeline and toolkit designed for the collection, cleaning, and normalization of massive text and code corpora used to train large language models. It provides specialized tools for harvesting source code, commit histories, and repository metadata from version control platforms, alongside a multilingual text corpus collector for gathering parallel text and academic papers. The project distinguishes itself through comprehensive capabilities for processing diverse document types, including a PDF-to-text converter that transforms complex layouts and formulas into structured JS

X-crawl est un framework de web scraping basé sur Node.js, conçu pour automatiser la collecte de données sur des sites web statiques et dynamiques. Il intègre l'intelligence artificielle pour effectuer une analyse sémantique, permettant de transformer du HTML non structuré en données structurées, tout en restant précis même lorsque la mise en page ou les noms de classes des sites changent. Le projet se distingue par une suite complète de fonctionnalités de furtivité et de fiabilité. Il gère l'identité du crawler en randomisant les empreintes numériques des appareils et en faisant tourner des serveurs proxy pour contourner les restrictions d'accès. Pour gérer les interfaces complexes riches en JavaScript, il utilise l'automatisation de navigateurs headless afin de simuler des comportements humains comme le clic et la saisie, garantissant ainsi l'accès au contenu masqué lors du processus d'extraction. Le framework offre un contrôle étendu sur les flux de travail de crawling grâce à la planification des tâches, la priorisation des requêtes et la gestion de la concurrence. Il inclut des mécanismes de résilience intégrés, tels qu'une logique de réessai automatique et une gestion des erreurs, pour maintenir des performances constantes dans des conditions réseau variables. De plus, il prend en charge des hooks de cycle de vie pour gérer les téléchargements de fichiers et le suivi programmatique de la progression afin de surveiller l'exécution des tâches et leurs résultats.