Awesome GitHub RepositoriesBrowser-Context Script Executions

pydoll is a Chrome DevTools Protocol automation library and headless browser controller used for web data extraction and parallel browser automation. It controls Chromium-based browsers via direct WebSocket connections, allowing it to manage isolated browser contexts and tabs while bypassing the overhead and detection associated with WebDriver. The project features an anti-bot evasion framework that mimics natural human behavior, including mouse movements generated via Bezier curves and variable typing patterns. It provides specialized stealth capabilities to bypass behavioral analysis and au

This project is a Model Context Protocol server that connects large language models to web scraping and crawling tools. It functions as a bridge, allowing LLM clients to utilize a web crawling engine and scraping utilities to extract and process web data. The server integrates a markdown web converter that transforms dynamic web pages and PDF documents into clean markdown to optimize consumption by AI models. It also provides a browser automation interface for controlling headless sessions and bypassing access restrictions. The system covers broad capabilities including large-scale website d

CodeceptJS ist ein NodeJS-End-to-End-Testframework zur Automatisierung von Akzeptanztests für Web-, Mobil- und Desktop-Anwendungen. Es dient als plattformübergreifender Testautomatisierer und BDD-Tool (Behavior-Driven Development), das Feature-Dateien auf Step-Definitionen abbildet, um technische Tests mit Geschäftsanforderungen in Einklang zu bringen. Das Projekt zeichnet sich durch KI-gestützte Testwartungsfunktionen aus, die maschinelles Lernen nutzen, um defekte Element-Selektoren bei Änderungen der Benutzeroberfläche automatisch zu identifizieren und zu reparieren. Es verfügt zudem über eine treiberunabhängige Abstraktionsschicht, die es ermöglicht, dieselben Testsuiten über verschiedene Browser-Engines, Betriebssysteme und mobile Plattformen via Appium auszuführen. Das Framework deckt ein breites Funktionsspektrum ab, einschließlich Browser- und Mobilautomatisierung, API-Mocking und -Testing sowie visuellem Regressionstesting. Es implementiert Architekturmuster wie das Page Object Model und Dependency Injection und bietet Observability-Tools wie aktionskommentierte Screencasts und automatisierte Fehleranalyse. Das Projekt bietet eine Befehlszeilenschnittstelle für Test-Scaffolding und interaktives Debugging.

Pyppeteer ist eine Python-Library zur Steuerung Chromium-basierter Browser mittels Chrome DevTools Protocol. Sie fungiert als Headless-Browser-Automatisierungstool, das die programmatische Navigation von Webseiten und die Extraktion von Daten aus dynamischen Websites ermöglicht. Das Projekt bietet Low-Level-Browsersteuerung durch direkte Kommunikation mit dem Chrome DevTools Protocol, was die Abfrage und Modifikation von Netzwerk-Traffic ermöglicht. Es zeichnet sich durch spezialisierte Performance-Profiling-Funktionen aus, einschließlich der Messung von JavaScript- und CSS-Code-Coverage sowie der Erfassung von Performance-Traces. Zu den weiteren Fähigkeiten gehören die Simulation menschlicher Benutzerinteraktionen via Tastatur- und Mauseingaben, die Verwaltung isolierter Browser-Kontexte und die Emulation verschiedener Geräteumgebungen. Es unterstützt zudem die Erfassung visueller Inhalte durch Screenshots und PDF-Generierung sowie das Injizieren benutzerdefinierter Skripte zur Manipulation des DOM.

Puppeteer Sharp ist ein .NET-Wrapper und eine Automatisierungsbibliothek zur programmatischen Steuerung von Headless Chrome und Chromium. Sie fungiert als Client für das Chrome DevTools Protocol und bietet ein Framework für Web-Scraping sowie die Automatisierung von Interaktionen auf Webseiten. Das Projekt ermöglicht die Ausführung von JavaScript im Browser-Kontext und unterstützt die Anbindung an Remote-Browser-Sitzungen via WebSocket-Endpunkte. Es erlaubt die Manipulation von Browser-Zuständen zur Durchführung funktionaler Webtests und visueller Regressionsanalysen. Zu den Funktionsbereichen gehören Inhaltstransformation via HTML-Injection, das Erstellen von Screenshots sowie die Generierung von PDF-Dokumenten. Die Bibliothek bietet zudem Synchronisationstools, um vor der weiteren Ausführung auf spezifische CSS-Selektoren oder JavaScript-Bedingungen zu warten.