3 repository-uri
Awesome GitHub RepositoriesPattern-Based Scraping
Identifying recurring structural patterns on webpages to automate data capture across multiple URLs.
Distinguishing note: Candidates focus on ID generation or URL rewriting, not structural HTML pattern recognition for scraping.
Explore 3 awesome GitHub repositories matching data & databases · Pattern-Based Scraping. Refine with filters or upvote what's useful.
Awesome Pattern-Based Scraping GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- alirezamika/autoscraper
alirezamika/autoscraper
7,297Vezi pe GitHubAutoscraper este o bibliotecă de web scraping automat și un extractor de date bazat pe tipare care învață reguli de extragere din date eșantion. Acesta identifică și preia text, URL-uri și elemente HTML de pe paginile web prin analizarea valorilor eșantion pentru a replica tiparele de date pe diferite URL-uri. Sistemul funcționează ca un manager de modele de web scraping, permițând utilizatorilor să salveze și să reîncarce regulile învățate pentru a menține o extragere consistentă a datelor. Suportă exportul și importul regulilor de scraping în sistemul de fișiere local pentru a evita repetarea procesului de antrenare pentru același site web. Biblioteca acoperă extragerea automată a datelor web și colectarea conținutului web prin învățarea tiparelor bazată pe eșantioane și regăsirea elementelor poziționale. Poate prelua atât puncte de date specifice, cât și toate elementele de pe o pagină care se potrivesc cu tiparele identificate din datele eșantion inițiale.
Identifies recurring elements on a webpage to automatically capture data across multiple similar URLs.
Python - justanotherarchivist/snscrape
JustAnotherArchivist/snscrape
5,398Vezi pe GitHubsnscrape is a Python-based social media web scraper and crawler designed to extract public posts, profiles, and hashtags from social networks without the use of official APIs. It functions as an archival tool and a utility for open-source intelligence data collection, allowing for the gathering of publicly available information to investigate trends and people. The tool facilitates social media data extraction for research and archival purposes, enabling the creation of historical records of conversations and user activity. It supports workflows for academic social analysis and the export of
Uses recurring structural URL patterns to route requested data types to specific scraping logic.
Python - ruipgil/scraperjs
ruipgil/scraperjs
3,718Vezi pe GitHubScraperjs is a JavaScript web scraping library and headless browser automation tool designed to extract structured data from both static HTML and JavaScript-rendered websites. It functions as an asynchronous scraping workflow orchestrator and a selector-based engine for transforming unstructured web content into usable data. The library distinguishes itself by managing a shared browser instance across multiple tasks to optimize resource usage and reduce startup latency. It supports custom script injection into sandboxed browser environments to manipulate the DOM or execute browser-side logic
Maps different URL patterns to unique extraction logic to traverse and scrape multiple website structures simultaneously.
JavaScript
