Awesome GitHub RepositoriesPHP Crawling Frameworks

Goutte is a PHP web scraper and DOM crawler designed for extracting data from websites. It functions as an HTTP client wrapper that enables the retrieval of web pages and the parsing of HTML content. The project provides a web form automator to programmatically fill and submit HTML forms to remote servers. It also includes a mechanism for automated website crawling by following links to discover and archive web content. The system supports stateful session management to maintain cookies and headers across requests. It further covers HTML data extraction through DOM-based element selection an

Ce projet est un analyseur DOM HTML et XML conçu pour charger et naviguer dans la structure des documents web afin d'extraire des points de données spécifiques. Il fonctionne comme un utilitaire de web scraping qui fournit un système pour localiser des éléments précis en utilisant un moteur de sélecteur CSS et XPath. La bibliothèque inclut un résolveur d'URI qui convertit les liens relatifs trouvés dans les documents en adresses absolues en utilisant une URI de base. Elle fournit un ensemble d'outils pour récupérer du texte, des attributs et des sources multimédias à partir du contenu analysé. L'ensemble d'outils couvre la traversée de la hiérarchie des documents, le filtrage basé sur les sélecteurs et l'extraction de texte avec normalisation des espaces blancs. Il prend en charge le traitement programmatique des structures XML et la vérification de la présence d'éléments dans les pages web.

https://spatie.be/docs/crawler

QueryList is a simple, elegant, extensible PHP Web Scraper (crawler/spider) ,based on phpQuery.

A configurable and extensible PHP web spider

For full documentation, visit phpscraper.de .

This repository implements a simple ServiceProvider that makes a singleton instance of the Goutte client easily accessible via a Facade in Laravel. See @FriendsOfPHP/Goutte for more information about the PHP web scraper and its interfaces.

PHP - spider 框架

Crawlzone is a fast asynchronous internet crawling framework aiming to provide open source web scraping and testing solution. It can be used for a wide range of purposes, from extracting and indexing structured data to monitoring and automated testing. Available for PHP 7.4, 8.0, 8.1.