alirezamika/autoscraper
Autoscraper
Autoscraper هي مكتبة كشط ويب تلقائية ومستخرج بيانات قائم على الأنماط يتعلم قواعد الاستخراج من بيانات العينة. يحدد ويسترجع النصوص وعناوين URL وعناصر HTML من صفحات الويب عن طريق تحليل قيم العينة لتكرار أنماط البيانات عبر عناوين URL مختلفة.
يعمل النظام كمدير نموذج كشط ويب، مما يسمح للمستخدمين بحفظ وإعادة تحميل القواعد المستفادة للحفاظ على استخراج بيانات متسق. يدعم تصدير واستيراد قواعد الكشط إلى نظام ملفات محلي لتجنب تكرار عملية التدريب لنفس الموقع.
تغطي المكتبة استخراج بيانات الويب المؤتمت وحصاد محتوى الويب من خلال تعلم الأنماط القائم على العينة واسترجاع العناصر الموضعية. يمكنها استرجاع كل من نقاط بيانات محددة وجميع العناصر الموجودة على صفحة تطابق الأنماط المحددة من بيانات العينة الأولية.
Features
- Web Data Extraction - Provides a library for programmatically scraping and processing web content using learned patterns.
- Automated Web Scraping - Extracts structured information from websites by learning patterns from samples instead of manual selectors.
- Extraction Rule Learning - Analyzes sample text, URLs, or HTML tags to determine the patterns needed to retrieve similar web elements.
- Rule Derivation - Derives extraction rules by analyzing shared structural characteristics of provided text, URLs, or HTML tags.
- Pattern-Based Scraping - Identifies recurring elements on a webpage to automatically capture data across multiple similar URLs.
- Pattern-Based Extraction - Analyzes sample values to identify and replicate data patterns across different URLs.
- Web Content Harvesting - Collects structured data from HTML pages by training a model on examples of the desired output.
- Rule Serializers - Provides a mechanism to save learned extraction rules to the local file system for reuse across sessions.
- Model Persistence - Saves and retrieves learned scraping model files from disk to avoid repeating the training process.
- Pattern Extraction Utilities - Applies learned patterns to retrieve all elements on a page that match the training data.
- Scraping Configuration Portability - Allows writing learned extraction patterns to a file and reloading them to apply rules to different URLs.
- HTML Element Scrapers - Fetches specific or similar HTML elements based on learned positional and content-based rules.
- Scraping Model Managers - Saves and reloads learned scraping rules to maintain consistent data extraction across multiple pages.
- Extraction Rule Sets - Utilizes serialized extraction rule sets to parse and retrieve data from external web sources.
- Positional Element Access - Fetches specific data points by matching the exact index and order of elements found in training samples.
- Heuristic Selectors - Implements heuristic-based identification of UI elements to generate repeatable selectors for varying page layouts.
- Positional Data Extraction - Retrieves specific data points from pages based on the order and position of original samples.
- Structured Element Retrievers - Fetches multiple exact data points from a page using a predefined order based on sample values.
- Web Scraping - Automatic and lightweight web scraper.
