MechanicalSoup/MechanicalSoup
MechanicalSoup
MechanicalSoup ist eine Python-Webautomatisierungsbibliothek und ein Scraping-Framework, das dazu entwickelt wurde, Browsersitzungen zu simulieren und Websites zu navigieren, ohne JavaScript-Ausführung zu erfordern. Es fungiert als HTML-Parsing-Tool und HTTP-Session-Manager, was den programmatischen Abruf von Seiteninhalten und die Automatisierung von Web-Interaktionen ermöglicht.
Die Bibliothek zeichnet sich durch die Kombination von Session-Persistenz mit automatisierter Formularinteraktion aus. Sie bildet Benutzerdaten auf HTML-Eingabefelder und Auswahlboxen für die programmatische Übermittlung ab und verwaltet authentifizierte Zustände durch das Management von Cookies und User-Agent-Headern über mehrere Anfragen hinweg. Sie enthält zudem Diagnose-Tools, die den aktuellen HTML-Status zur visuellen Überprüfung in einem externen Browser in eine lokale Datei exportieren.
Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich headless HTTP-Navigation, Inhalts-Extraktion via CSS-Selektoren und regulären Ausdrücken sowie automatisiertem Datei-Download. Es unterstützt zudem die Ausführung von Keyword-Suchen und die Inspektion von HTML-Elementen, um Benutzerbewegungen durch Website-Hierarchien zu simulieren.
Features
- Automated Web Scraping - Provides a framework for automatically extracting structured information from websites via HTML parsing.
- Headless Browser Simulation - Simulates complete user browsing sessions and interactions using a headless approach without requiring JavaScript execution.
- HTML Element Scrapers - Implements targeted extraction of HTML elements based on content, CSS selectors, and regular expressions.
- HTML Parsing and Extraction - Extracts structured data, text, and attributes from HTML pages using CSS selectors and regular expressions.
- Python Browser Automation Libraries - Provides a Python toolkit for simulating browser sessions, navigating websites, and submitting forms.
- Session & Cookie Handlers - Maintains persistent user sessions and authenticated states by managing HTTP cookies and headers across requests.
- HTTP Session Simulations - Mimics a browser session by managing cookies and headers across a sequence of automated requests.
- Web Session Management - Maintains persistent user sessions and authentication through the management of cookies and headers.
- Form Data Submission - Populates and submits HTML forms automatically to perform bulk data entry tasks.
- Form Submission Clients - Provides tools for programmatically populating and submitting HTML form data to web servers.
- Headless HTTP Navigation - Navigates website hierarchies by extracting link tags and triggering new requests without executing JavaScript.
- Headless Web Navigation - Enables simulating user movement across websites by following links using tags and regular expressions.
- HTML String Parsing - Parses HTML strings into a traversable DOM structure to locate elements and extract data.
- Session and Cookie Automators - Maintains authenticated states and identity by automatically managing HTTP cookies and user-agent headers.
- Request-Response Loop Automation - Automates the cycle of sending HTTP requests and processing responses to simulate a user navigating a website.
- Web Page Automation - Simulates user browsing and form submission on websites using Python without needing a full browser engine.
- Web Scraping Frameworks - Implements a framework for automating data collection and file downloads from websites.
- Page Content Keyword Search - Filters for relevant web pages by matching specified keywords within the retrieved page content.
- Data Mapping - Maps user data to HTML input fields and selection boxes for programmatic form submission.
- Linked File Downloads - Retrieves content from hyperlinks and saves the target files directly to the local filesystem.
- Web Scraping - Library for automating interaction with websites.
