2 个仓库
Awesome GitHub RepositoriesExtracted Data Storage
Systems for persisting gathered web data into databases or indexes for retrieval and analysis.
Distinct from Search Data Extraction: Candidates focus on extraction from stores or niche translation stores, not the general act of storing scraped data.
Explore 2 awesome GitHub repositories matching data & databases · Extracted Data Storage. Refine with filters or upvote what's useful.
Awesome Extracted Data Storage GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- nanmicoder/crawlertutorial
NanmiCoder/CrawlerTutorial
4,262在 GitHub 上查看CrawlerTutorial 是一个全面的 Python 网络爬虫教程和框架，旨在从静态和动态网站中提取数据。它作为一个网络数据提取管道和 HTTP 请求编排器，涵盖了从初始获取到最终数据存储的爬虫应用程序全生命周期。 该项目提供了关于反机器人绕过技术和 Web API 逆向工程的专业指导。它包括通过身份掩码和代理轮换规避浏览器检测的方法，以及通过分析网络流量和请求签名识别隐藏 API 端点的技术。 该框架包含广泛的功能，包括针对 JavaScript 重度页面的浏览器自动化、通过 QR 码或短信的自动用户身份验证以及会话持久性管理。它还具有用于清理原始文本、删除重复记录并将收集到的信息持久化到平面文件或关系数据库中的数据预处理工具。
Saves gathered information into databases or indexes to support searching and analysis.
Python - rchipka/node-osmosis
rchipka/node-osmosis
4,110在 GitHub 上查看该项目是一个 Node.js Web 抓取框架，旨在通过请求、解析和文档交互的程序化工作流自动化数据提取。它作为一个无头 Web 爬虫、HTTP 请求管理器以及 DOM 解析器和提取器。 该框架通过结合用于与动态内容交互的 JavaScript 执行引擎和利用 CSS 及 XPath 选择器的混合选择系统脱颖而出。它包括用于代理轮换和 Cookie 罐会话管理的专用中间件，以维护身份验证状态并管理自动化流量。 其更广泛的功能涵盖递归链接爬取、分页处理和 Web 表单自动化。该工具还提供流量管理功能，例如通过定时延迟进行请求速率限制和自定义 HTTP 标头配置。
Maintains a central data object to store and append information extracted during the scraping process.
JavaScript
