Awesome GitHub RepositoriesHeadless Web Navigation

MechanicalSoup est une bibliothèque d'automatisation web et un framework de scraping Python conçus pour simuler des sessions de navigateur et naviguer sur des sites web sans nécessiter l'exécution de JavaScript. Elle fonctionne comme un outil d'analyse HTML et un gestionnaire de session HTTP, permettant la récupération programmatique du contenu des pages et l'automatisation des interactions web. La bibliothèque se distingue en combinant la persistance de session avec l'interaction automatisée des formulaires. Elle mappe les données utilisateur aux champs de saisie HTML et aux boîtes de sélection pour une soumission programmatique et maintient les états authentifiés en gérant les cookies et les en-têtes d'agent utilisateur à travers plusieurs requêtes. Elle inclut également des outils de diagnostic qui exportent l'état HTML actuel vers un fichier local pour une vérification visuelle dans un navigateur externe. Le framework couvre un large éventail de capacités, incluant la navigation HTTP headless, l'extraction de contenu via des sélecteurs CSS et des expressions régulières, et le téléchargement automatisé de fichiers. Il prend en outre en charge l'exécution de recherches par mots-clés et l'inspection d'éléments HTML pour simuler le mouvement de l'utilisateur à travers les hiérarchies des sites web.

Robobrowser is a Python web scraping library that provides a headless browser emulator and an HTML DOM parser. It is designed to programmatically navigate websites, interact with HTML forms, and extract data from web pages. The tool includes a web request caching mechanism to store previously fetched web content, reducing network traffic and increasing loading speeds for repeated requests. It covers capabilities for automated web navigation, programmatic web scraping, and web form automation, including the ability to populate input fields and trigger submission events. The system also manage