2 Repos
Awesome GitHub RepositoriesExtracted Data Storage
Systems for persisting gathered web data into databases or indexes for retrieval and analysis.
Distinct from Search Data Extraction: Candidates focus on extraction from stores or niche translation stores, not the general act of storing scraped data.
Explore 2 awesome GitHub repositories matching data & databases · Extracted Data Storage. Refine with filters or upvote what's useful.
Awesome Extracted Data Storage GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- nanmicoder/crawlertutorial
NanmiCoder/CrawlerTutorial
4,262Auf GitHub ansehenCrawlerTutorial is a comprehensive Python web scraping tutorial and framework designed for extracting data from static and dynamic websites. It functions as a web data extraction pipeline and an HTTP request orchestrator, covering the full lifecycle of scraping applications from initial fetching to final data storage. The project provides specialized guidance on anti-bot bypass techniques and web API reverse engineering. It includes methods for evading browser detection through identity masking and proxy rotation, as well as techniques for identifying hidden API endpoints by analyzing network
Saves gathered information into databases or indexes to support searching and analysis.
Python - rchipka/node-osmosis
rchipka/node-osmosis
4,110Auf GitHub ansehenDieses Projekt ist ein Node.js-Web-Scraping-Framework zur Automatisierung der Datenextraktion durch einen programmatischen Workflow aus Anfragen, Parsing und Dokumentinteraktion. Es fungiert als Headless-Web-Crawler, HTTP-Request-Manager sowie DOM-Parser und -Extraktor. Das Framework zeichnet sich durch die Kombination einer JavaScript-Execution-Engine zur Interaktion mit dynamischen Inhalten und einem hybriden Selektionssystem aus, das sowohl CSS- als auch XPath-Selektoren nutzt. Es enthält spezialisierte Middleware für Proxy-Rotation und Cookie-Jar-Session-Management, um authentifizierte Zustände beizubehalten und automatisierten Traffic zu verwalten. Die breiteren Funktionen umfassen rekursives Link-Crawling, Paginierungs-Handling und Web-Formular-Automatisierung. Das Tool bietet zudem Traffic-Management-Funktionen wie Request-Rate-Limiting durch zeitliche Verzögerungen und benutzerdefinierte HTTP-Header-Konfiguration.
Maintains a central data object to store and append information extracted during the scraping process.
JavaScript
