1 Repo
Awesome GitHub RepositoriesExtraction Rule Learning
The process of analyzing sample data to automatically determine patterns for data retrieval.
Distinguishing note: None of the candidates cover the 'learning' aspect of deriving scraping rules from samples.
Explore 1 awesome GitHub repository matching data & databases · Extraction Rule Learning. Refine with filters or upvote what's useful.
Awesome Extraction Rule Learning GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- alirezamika/autoscraper
alirezamika/autoscraper
7,297Auf GitHub ansehenAutoscraper ist eine automatische Web-Scraping-Bibliothek und ein musterbasierter Datenextraktor, der Extraktionsregeln aus Beispieldaten lernt. Er identifiziert und ruft Text, URLs und HTML-Elemente von Webseiten ab, indem er Beispielwerte analysiert, um Datenmuster über verschiedene URLs hinweg zu replizieren. Das System fungiert als Manager für Web-Scraping-Modelle, der es Benutzern ermöglicht, gelernte Regeln zu speichern und neu zu laden, um eine konsistente Datenextraktion aufrechtzuerhalten. Es unterstützt den Export und Import von Scraping-Regeln in ein lokales Dateisystem, um den Trainingsprozess für dieselbe Website nicht wiederholen zu müssen. Die Bibliothek deckt automatisiertes Web-Data-Scraping und Web-Content-Harvesting durch beispielbasiertes Musterlernen und positionsbasierte Elementabfrage ab. Sie kann sowohl spezifische Datenpunkte als auch alle Elemente auf einer Seite abrufen, die den aus den anfänglichen Beispieldaten identifizierten Mustern entsprechen.
Analyzes sample text, URLs, or HTML tags to determine the patterns needed to retrieve similar web elements.
Python
