Awesome GitHub RepositoriesPattern-Based Scraping

Autoscraper ist eine automatische Web-Scraping-Bibliothek und ein musterbasierter Datenextraktor, der Extraktionsregeln aus Beispieldaten lernt. Er identifiziert und ruft Text, URLs und HTML-Elemente von Webseiten ab, indem er Beispielwerte analysiert, um Datenmuster über verschiedene URLs hinweg zu replizieren. Das System fungiert als Manager für Web-Scraping-Modelle, der es Benutzern ermöglicht, gelernte Regeln zu speichern und neu zu laden, um eine konsistente Datenextraktion aufrechtzuerhalten. Es unterstützt den Export und Import von Scraping-Regeln in ein lokales Dateisystem, um den Trainingsprozess für dieselbe Website nicht wiederholen zu müssen. Die Bibliothek deckt automatisiertes Web-Data-Scraping und Web-Content-Harvesting durch beispielbasiertes Musterlernen und positionsbasierte Elementabfrage ab. Sie kann sowohl spezifische Datenpunkte als auch alle Elemente auf einer Seite abrufen, die den aus den anfänglichen Beispieldaten identifizierten Mustern entsprechen.

snscrape ist ein Python-basierter Social-Media-Web-Scraper und Crawler, der darauf ausgelegt ist, öffentliche Posts, Profile und Hashtags aus sozialen Netzwerken ohne die Verwendung offizieller APIs zu extrahieren. Er fungiert als Archivierungstool und Dienstprogramm für die Datensammlung im Bereich Open-Source-Intelligence, was das Sammeln öffentlich verfügbarer Informationen zur Untersuchung von Trends und Personen ermöglicht. Das Tool erleichtert die Extraktion von Social-Media-Daten für Forschungs- und Archivierungszwecke und ermöglicht die Erstellung historischer Aufzeichnungen von Konversationen und Benutzeraktivitäten. Es unterstützt Workflows für akademische soziale Analysen und den Export großer Mengen an Metadaten und Nachrichten in lokale Dateien. Die Funktionen umfassen die Fähigkeit, verschiedene soziale Netzwerke zu scrapen und das Volumen der extrahierten Ergebnisse zu begrenzen. Das System kann entdeckte Elemente als Listen von URLs oder detaillierte Dateien mit Inhalten und Zeitstempeln exportieren.

Scraperjs is a JavaScript web scraping library and headless browser automation tool designed to extract structured data from both static HTML and JavaScript-rendered websites. It functions as an asynchronous scraping workflow orchestrator and a selector-based engine for transforming unstructured web content into usable data. The library distinguishes itself by managing a shared browser instance across multiple tasks to optimize resource usage and reduce startup latency. It supports custom script injection into sandboxed browser environments to manipulate the DOM or execute browser-side logic