Awesome GitHub RepositoriesDistributed Web

Colly is a web scraping framework and concurrent crawler written in Go. It provides a system for traversing web pages, following links, and extracting structured data from HTML and XML documents. The framework includes a distributed scraping engine designed to spread data collection tasks across multiple instances to increase throughput. It ensures compliance with website owner policies by automatically reading and respecting robots.txt files. The system manages request lifecycles through domain-based rate limiting, concurrency controls, and session management via a stateful cookie jar. It s

DotnetSpider est un framework de crawler web .NET et un outil programmable conçu pour parcourir les sites web et capturer des données structurées à partir de pages web. Il fonctionne comme un moteur de crawling distribué qui permet l'automatisation du crawling web pour découvrir et extraire des données. Le framework est conçu pour l'extraction de données distribuée, permettant aux tâches de crawling d'être réparties sur plusieurs serveurs pour traiter de grands volumes de contenu web. Cette architecture prend en charge le web scraping haute performance et les flux de travail de collecte de données en entreprise pour rassembler des informations structurées.