Awesome GitHub RepositoriesHTML Selector Extractors

X-ray ist ein Headless-Browser-Web-Scraper und HTML-Content-Crawler, der darauf ausgelegt ist, strukturierte Daten von Websites zu extrahieren. Er fungiert als Stream-basierter Data-Scraper und Extraktor, der Selektoren verwendet, um Text und Attribute aus HTML als verschachtelte Objekte oder Arrays abzurufen. Das Projekt enthält einen Request-Rate-Controller zur Steuerung des Netzwerkverkehrs durch Concurrency-Limits, Throttles und Timeouts. Es handhabt das Scrapen dynamischer Websites durch das Rendern von JavaScript via Headless-Browser und führt automatisiertes Website-Crawling mittels Breadth-First-Link-Following und Paginierungs-Management durch. Das System bietet eine Daten-Pipeline, die funktionale Werttransformationen auf Roh-Strings anwendet und Ergebnisse in einen lesbaren Stream schreibt, um Speicherüberläufe bei groß angelegten Web-Scraping-Jobs zu verhindern.

Dieses Projekt ist ein Node.js-Web-Scraping-Framework zur Automatisierung der Datenextraktion durch einen programmatischen Workflow aus Anfragen, Parsing und Dokumentinteraktion. Es fungiert als Headless-Web-Crawler, HTTP-Request-Manager sowie DOM-Parser und -Extraktor. Das Framework zeichnet sich durch die Kombination einer JavaScript-Execution-Engine zur Interaktion mit dynamischen Inhalten und einem hybriden Selektionssystem aus, das sowohl CSS- als auch XPath-Selektoren nutzt. Es enthält spezialisierte Middleware für Proxy-Rotation und Cookie-Jar-Session-Management, um authentifizierte Zustände beizubehalten und automatisierten Traffic zu verwalten. Die breiteren Funktionen umfassen rekursives Link-Crawling, Paginierungs-Handling und Web-Formular-Automatisierung. Das Tool bietet zudem Traffic-Management-Funktionen wie Request-Rate-Limiting durch zeitliche Verzögerungen und benutzerdefinierte HTTP-Header-Konfiguration.

Jodd ist eine Suite von leichtgewichtigen Java-Erweiterungen und Standardbibliotheks-Utilities für Anwendungskonfiguration, Datenbank-Mapping, Dependency Injection und HTML-Parsing. Es bietet ein konsolidiertes Set an Core-Tools, um die Java-Entwicklung zu erleichtern, mit einem Zero-Dependency-Kern, der Kompatibilität und einen geringen Footprint in verschiedenen Umgebungen sicherstellt. Das Projekt bietet einen pragmatischen Dependency-Injection-Container zur Verwaltung von Objekt-Lebenszyklen und einen Datenbank-Mapper, der SQL-Templates verwendet, um Result-Sets direkt auf Java-Objekte zu mappen. Es enthält einen spezialisierten Konfigurationsmanager, der Profile, Sektionen und Makros unterstützt, sowie einen HTML-Parser, der Elemente mittels CSS3-Selektoren extrahiert. Zusätzliche Funktionen umfassen Netzwerkkommunikation über einen leichtgewichtigen HTTP-Client, JSON-Serialisierung sowie E-Mail-Versand und -Empfang. Das Toolkit bietet zudem Utilities für Datenvalidierung, Typkonvertierung, Transaktionsmanagement und die Generierung dynamischer Proxys für Verhaltens-Interzeption.