Awesome GitHub RepositoriesGo Crawling Frameworks

Colly is a web scraping framework and concurrent crawler written in Go. It provides a system for traversing web pages, following links, and extracting structured data from HTML and XML documents. The framework includes a distributed scraping engine designed to spread data collection tasks across multiple instances to increase throughput. It ensures compliance with website owner policies by automatically reading and respecting robots.txt files. The system manages request lifecycles through domain-based rate limiting, concurrency controls, and session management via a stateful cookie jar. It s

Pholcus est un framework de web crawler distribué écrit en Go, conçu pour l'extraction de données à haute concurrence. Il fonctionne comme un orchestrateur de crawling distribué et un moteur d'extraction de données dynamique, utilisant une architecture serveur-client pour coordonner les tâches sur plusieurs nœuds. Le système intègre un moteur de navigateur headless pour rendre le contenu dynamique et exécuter du JavaScript, lui permettant d'extraire des données d'applications monopages (SPA). Il dispose d'une interface de gestion web pour configurer les paramètres des spiders et surveiller la progression de l'exécution, ainsi que la capacité de mettre à jour les règles d'extraction via des fichiers de configuration à chaud (hot-reloading) sans redémarrer le système. La gestion du trafic est assurée par la rotation de pools de proxys et la randomisation des requêtes pour échapper à la détection des bots et éviter les limites de débit. Le framework inclut une récupération de points de contrôle basée sur l'état pour reprendre les tâches après des échecs et fournit des adaptateurs de stockage enfichables pour exporter les données extraites vers des bases de données, des files d'attente de messages ou des fichiers.

Hakrawler is a command-line web spider tool designed for security reconnaissance, built to crawl target websites and extract hyperlinks along with JavaScript file references. As a focused reconnaissance utility, it collects every discoverable URL and script source from a given domain, mapping the attack surface for penetration testing and vulnerability assessment. The tool differentiates itself through its concurrent architecture: a fixed-size goroutine pool fetches pages in parallel, while CSS selectors parse HTML to extract anchor and script references. A depth-aware recursion limiter preve

See the video on the Youtube.

gocrawl is a polite, slim and concurrent web crawler written in Go.

A simple, higher level interface for Go web scraping.

Package fetchbot provides a simple and flexible web crawler that follows the robots.txt policies and crawl delays.

Dataflow kit ("DFK") is a Web Scraping framework for Gophers. It extracts data from web pages, following the specified CSS Selectors.

open source, restful, distributed crawler engine

Creeper is a next-generation crawler which fetches web page by creeper script. As a cross-platform embedded crawler, you can use it for your news app, subscribe program, etc.