Awesome GitHub RepositoriesJavaScript-Rendered Content Extractors

Pholcus is a distributed web crawler framework written in Go designed for high-concurrency data extraction. It functions as a distributed crawling orchestrator and dynamic data extraction engine, utilizing a server-client architecture to coordinate tasks across multiple nodes. The system integrates a headless browser engine to render dynamic content and execute JavaScript, allowing it to extract data from single-page applications. It features a web-based management interface for configuring spider parameters and monitoring execution progress, alongside the ability to update extraction rules v

Steel is a cloud browser automation platform that provides a REST API for launching and controlling remote Chrome browser sessions. It enables programmatic browsing and web scraping using standard automation tools like Puppeteer, Playwright, and Selenium, connecting to cloud-hosted browser instances via WebSocket and the Chrome DevTools Protocol. The platform supports both headless and headful browser sessions, with language-specific SDKs for TypeScript and Python. The service distinguishes itself through comprehensive anti-detection capabilities, including residential proxy rotation, CAPTCHA

Open Deep Research is an AI-powered web research agent that combines a reasoning model with live web search and data extraction to perform deep, multi-source investigations on any topic. It operates through a dual interface, offering both a command-line tool and a Model Context Protocol server, allowing developers to integrate web capabilities directly into AI agents and coding assistants. The project distinguishes itself by orchestrating an iterative research loop where a reasoning model plans steps, interprets search results, and guides subsequent web interactions. It uses Firecrawl for scr

X-Ray एक वेब स्क्रैपिंग फ्रेमवर्क और एसिंक्रोनस वेब क्रॉलर है जिसे वेबसाइटों से स्ट्रक्चर्ड डेटा निकालने के लिए डिज़ाइन किया गया है। यह एक HTML डेटा एक्सट्रैक्टर के रूप में काम करता है जो CSS-स्टाइल सिलेक्टर्स का उपयोग करके रॉ पेज कंटेंट को एक परिभाषित स्कीमा में बदल देता है। यह प्रोजेक्ट एक हेडलेस ब्राउज़र क्रॉलर को लागू करता है जो डायनामिक कंटेंट को रेंडर करने के लिए JavaScript को एग्जीक्यूट करने में सक्षम है। यह ब्रेड्थ-फर्स्ट क्रॉलिंग रणनीति और मल्टी-पेज रिजल्ट सेट्स को पार करने के लिए स्वचालित पेजिनेशन डिस्कवरी के माध्यम से वेबसाइट कंटेंट डिस्कवरी को संभालता है। यह फ्रेमवर्क कॉनकरेंसी-लिमिटेड रिक्वेस्ट क्यू और आउटगोइंग नेटवर्क कॉल्स को विनियमित करने के लिए रिक्वेस्ट रेट कंट्रोल का उपयोग करके वेब डेटा पाइपलाइन्स को मैनेज करता है।

यह प्रोजेक्ट एक डिस्ट्रीब्यूटेड हेडलेस Chrome वेब क्रॉलर और डेटा एक्सट्रैक्शन फ्रेमवर्क है। यह एक JavaScript रेंडरिंग इंजन के रूप में कार्य करता है जो डायनामिक पेजों को संसाधित करने के लिए हेडलेस ब्राउज़र का उपयोग करता है, उन वेबसाइटों से संरचित डेटा निकालता है जिन्हें JavaScript निष्पादन की आवश्यकता होती है। सिस्टम को कई नोड्स में स्केलेबल डेटा संग्रह के लिए डिज़ाइन किया गया है, जो डुप्लिकेट कार्य को रोकने के लिए डिस्ट्रीब्यूटेड टास्क सिंक्रोनाइज़ेशन और साझा कैश का उपयोग करता है। यह यूजर एजेंट और व्यूपोर्ट आयामों को कॉन्फ़िगर करके विशिष्ट क्लाइंट वातावरण का अनुकरण करने की क्षमता के माध्यम से खुद को अलग करता है, जबकि पेज स्क्रीनशॉट जैसे विज़ुअल साक्ष्य कैप्चर करता है।

CrawlerTutorial is a comprehensive Python web scraping tutorial and framework designed for extracting data from static and dynamic websites. It functions as a web data extraction pipeline and an HTTP request orchestrator, covering the full lifecycle of scraping applications from initial fetching to final data storage. The project provides specialized guidance on anti-bot bypass techniques and web API reverse engineering. It includes methods for evading browser detection through identity masking and proxy rotation, as well as techniques for identifying hidden API endpoints by analyzing network

Scylla is a system for managing HTTP proxy pools and automating web extraction. It provides a specialized data acquisition pipeline designed for gathering large-scale internet datasets for training and fine-tuning large language models. The project features a proxy rotation gateway that assigns fresh proxy addresses to incoming requests to mask origin traffic and avoid IP blocking. It includes a proxy pool manager that handles the collection, functional validation, and orchestration of proxy servers, complemented by a web dashboard for monitoring the health and geographic distribution of the