Awesome GitHub RepositoriesDistributed Web

Colly is a web scraping framework and concurrent crawler written in Go. It provides a system for traversing web pages, following links, and extracting structured data from HTML and XML documents. The framework includes a distributed scraping engine designed to spread data collection tasks across multiple instances to increase throughput. It ensures compliance with website owner policies by automatically reading and respecting robots.txt files. The system manages request lifecycles through domain-based rate limiting, concurrency controls, and session management via a stateful cookie jar. It s

DotnetSpider es un framework de rastreo web para .NET y una herramienta programable diseñada para recorrer sitios web y capturar datos estructurados de páginas web. Funciona como un motor de rastreo distribuido que permite la automatización del rastreo web para descubrir y extraer datos. El framework está diseñado para la extracción de datos distribuida, permitiendo que las tareas de rastreo se repartan entre múltiples servidores para procesar grandes volúmenes de contenido web. Esta arquitectura admite el web scraping de alto rendimiento y flujos de trabajo de recopilación de datos empresariales para reunir información estructurada.