Awesome GitHub RepositoriesJavaScript-Rendered Content Extractors

Pholcus ist ein in Go geschriebenes Framework für verteilte Web-Crawler, das für die Datenextraktion mit hoher Nebenläufigkeit entwickelt wurde. Es fungiert als Orchestrator für verteiltes Crawling und als Engine für dynamische Datenextraktion und nutzt eine Server-Client-Architektur, um Aufgaben über mehrere Knoten hinweg zu koordinieren. Das System integriert eine Headless-Browser-Engine, um dynamische Inhalte zu rendern und JavaScript auszuführen, wodurch Daten aus Single-Page-Anwendungen extrahiert werden können. Es bietet ein webbasiertes Management-Interface zur Konfiguration von Spider-Parametern und zur Überwachung des Ausführungsfortschritts sowie die Möglichkeit, Extraktionsregeln über Hot-Reloading-Konfigurationsdateien zu aktualisieren, ohne das System neu zu starten. Das Traffic-Management erfolgt durch Proxy-Pool-Rotation und Request-Randomisierung, um Bot-Erkennung zu umgehen und Ratenbegrenzungen zu vermeiden. Das Framework umfasst eine zustandsbasierte Checkpoint-Wiederherstellung, um Aufgaben nach Fehlern fortzusetzen, und bietet steckbare Speicheradapter, um extrahierte Daten in Datenbanken, Nachrichtenwarteschlangen oder Dateien zu exportieren.

Steel is a cloud browser automation platform that provides a REST API for launching and controlling remote Chrome browser sessions. It enables programmatic browsing and web scraping using standard automation tools like Puppeteer, Playwright, and Selenium, connecting to cloud-hosted browser instances via WebSocket and the Chrome DevTools Protocol. The platform supports both headless and headful browser sessions, with language-specific SDKs for TypeScript and Python. The service distinguishes itself through comprehensive anti-detection capabilities, including residential proxy rotation, CAPTCHA

Open Deep Research is an AI-powered web research agent that combines a reasoning model with live web search and data extraction to perform deep, multi-source investigations on any topic. It operates through a dual interface, offering both a command-line tool and a Model Context Protocol server, allowing developers to integrate web capabilities directly into AI agents and coding assistants. The project distinguishes itself by orchestrating an iterative research loop where a reasoning model plans steps, interprets search results, and guides subsequent web interactions. It uses Firecrawl for scr

X-Ray ist ein Web-Scraping-Framework und asynchroner Web-Crawler, der darauf ausgelegt ist, strukturierte Daten von Websites zu extrahieren. Es fungiert als HTML-Datenextraktor, der rohe Seiteninhalte mittels CSS-artiger Selektoren in ein definiertes Schema transformiert. Das Projekt implementiert einen Headless-Browser-Crawler, der JavaScript ausführen kann, um dynamische Inhalte zu rendern. Es handhabt die Entdeckung von Website-Inhalten durch eine Breadth-First-Crawling-Strategie und automatische Paginierungserkennung, um mehrseitige Ergebnismengen zu durchlaufen. Das Framework verwaltet Web-Daten-Pipelines mittels einer Concurrency-limitierten Request-Queue und Request-Rate-Control, um ausgehende Netzwerkanrufe zu regulieren. Extrahierte Ergebnisse werden über Stream-basierte Datenpersistenz verarbeitet, um große Datensätze ohne Überlastung des Systemspeichers zu bewältigen.

This project is a distributed headless Chrome web crawler and data extraction framework. It functions as a JavaScript rendering engine that uses a headless browser to process dynamic pages, extracting structured data from websites that require JavaScript execution. The system is designed for scalable data collection across multiple nodes, using distributed task synchronization and shared caches to prevent duplicate work. It distinguishes itself through the ability to emulate specific client environments by configuring user agents and viewport dimensions, while capturing visual evidence such a

CrawlerTutorial is a comprehensive Python web scraping tutorial and framework designed for extracting data from static and dynamic websites. It functions as a web data extraction pipeline and an HTTP request orchestrator, covering the full lifecycle of scraping applications from initial fetching to final data storage. The project provides specialized guidance on anti-bot bypass techniques and web API reverse engineering. It includes methods for evading browser detection through identity masking and proxy rotation, as well as techniques for identifying hidden API endpoints by analyzing network

Scylla ist ein System zur Verwaltung von HTTP-Proxy-Pools und zur Automatisierung der Web-Extraktion. Es bietet eine spezialisierte Datenerfassungspipeline, die für das Sammeln großskaliger Internet-Datensätze zum Training und zur Feinabstimmung von Large Language Models entwickelt wurde. Das Projekt verfügt über ein Proxy-Rotation-Gateway, das eingehenden Anfragen frische Proxy-Adressen zuweist, um den Ursprungs-Traffic zu maskieren und IP-Blockaden zu vermeiden. Es enthält einen Proxy-Pool-Manager, der die Sammlung, funktionale Validierung und Orchestrierung von Proxyservern handhabt, ergänzt durch ein Web-Dashboard zur Überwachung der Gesundheit und geografischen Verteilung des Netzwerks. Das System unterstützt dynamische Content-Extraktion mittels Headless-Browser-Crawler, um Daten von Websites zu erfassen, die auf JavaScript-Rendering basieren. Es bietet zudem eine JSON-Schnittstelle für die Proxy-Verwaltung und Integration in externe Scraping-Frameworks.