Awesome GitHub RepositoriesWeb Data Scraping

Helium ist eine Python-Bibliothek und ein High-Level-Wrapper für Selenium, der für Browser-Automatisierung, funktionale UI-Tests und Web-Scraping entwickelt wurde. Er bietet eine vereinfachte Schnittstelle für die Interaktion mit Webanwendungen über verschiedene Browser-Engines hinweg. Die Bibliothek zeichnet sich dadurch aus, dass Benutzer Webelemente anhand sichtbarer Textbeschriftungen identifizieren und mit ihnen interagieren können, anstatt sich ausschließlich auf technische Identifikatoren wie XPaths oder CSS-Selektoren zu verlassen. Dieser Ansatz ermöglicht die Erstellung von Automatisierungsskripten auf Basis menschenlesbarer Labels. Das Toolkit deckt ein breites Spektrum an Browser-Automatisierungsfunktionen ab, einschließlich Elementinteraktion, Synchronisierung durch Warten auf Seitenbedingungen sowie Fenster- und Popup-Verwaltung. Es unterstützt komplexe UI-Aktionen wie Dateianhänge und Drag-and-Drop-Operationen sowie die Massenextraktion von Elementen zur Datensammlung. Zusätzliche Utilities umfassen die automatisierte Interaktion mit verschachtelten iFrames und die Aufnahme von Seiten-Screenshots.

This project is an administrative GIS toolset that provides a comprehensive dataset of China's administrative divisions, including provinces, cities, districts, and townships. It functions as a coordinate system transformer and a boundary converter for transforming geographic data into standard formats. The toolset distinguishes itself through the ability to convert administrative boundary data between CSV, GeoJSON, Shapefiles, and SQL. It includes specialized utilities for coordinate system transformation between GCJ-02, BD-09, WGS-84, and CGCS2000 standards to ensure accuracy across differe

This project is a Model Context Protocol server that connects large language models to web scraping and crawling tools. It functions as a bridge, allowing LLM clients to utilize a web crawling engine and scraping utilities to extract and process web data. The server integrates a markdown web converter that transforms dynamic web pages and PDF documents into clean markdown to optimize consumption by AI models. It also provides a browser automation interface for controlling headless sessions and bypassing access restrictions. The system covers broad capabilities including large-scale website d

ECommerceCrawlers is an educational collection of Python-based crawler scripts designed to extract data from a variety of public websites, including e-commerce platforms, social media sites, news outlets, and multimedia sources. The project serves as a learning resource for web scraping techniques, offering ready-to-run examples that demonstrate practical data extraction methods. The toolkit covers a broad range of data types, including product listings and prices from online retail platforms, public posts and profiles from social networking sites, articles from news and blogging platforms, p

This project is a collection of Python scripts and source code examples designed for learning programming fundamentals through practical application. It serves as a toolkit for web scraping and browser automation, alongside a library of utilities for data processing. The repository includes scripts for simulating human interactions to automate repetitive web tasks and online booking processes. It also provides a structured database of administrative divisions, including provinces, cities, and districts, for geographic data management and address validation. The collection covers capabilities

This project is a comprehensive collection of Python programming education materials, including tutorials, exercises, and curated code samples. It serves as a learning curriculum and software engineering toolkit, utilizing Jupyter Notebooks to combine executable code with descriptive educational text. The repository provides practical implementation guides for building large language model applications, such as retrieval-augmented generation systems, stateful AI agents, and machine learning workflows. It distinguishes itself by offering a structured approach to agentic coding workflows, cover

Dieses Projekt ist eine Open-Source-Discovery-Ressource, die kuratierte Listen wiederverwendbarer Codes und Bibliotheken bereitstellt, um Entwicklern bei der Suche nach technischen Lösungen für spezifische Aufgaben zu helfen. Es nutzt ein kategoriebasiertes Indexierungssystem, um diverse Software-Tools nach ihren funktionalen Fähigkeiten zu organisieren. Das Repository ist als Sammlung von Markdown-basierter Dokumentation und statischen Inhalten strukturiert und dient als Verzeichnis für die manuelle Suche und Referenz. Das Verzeichnis deckt eine breite Palette an Kompetenzbereichen ab, darunter plattformübergreifende Anwendungsentwicklung, Erstellung von Cybersecurity-Tools, Implementierung von Netzwerkprotokollen und Workflows für wissenschaftliches Rechnen. Es enthält zudem Ressourcen für Web-Scraping-Automatisierung, Datenspeicherung und Multimedia-Schnittstellen.

Dieses Projekt ist eine Sammlung von Python-Implementierungen für Web Scraping, Netzwerkverkehr-Interzeption, Datenanalyse und Sentiment-Analyse. Es bietet Methoden zum Extrahieren strukturierter Daten von Websites und Schnittstellen mobiler Anwendungen. Die Sammlung enthält Tools zum Erfassen und Analysieren von Netzwerkpaketen mobiler Anwendungen, um versteckte interne API-Endpunkte zu identifizieren. Sie bietet zudem Skripte zur Bewertung des emotionalen Tons und der öffentlichen Wahrnehmung von Textdaten. Das Projekt deckt die Datenmanipulation und -transformation großer Datensätze ab sowie die Erstellung von Diagrammen und Graphen zur Identifizierung demografischer Trends und Muster.

Mechanize ist eine Ruby-Bibliothek für Webbrowser-Automatisierung und Headless-Browser-Emulation. Sie ermöglicht das programmatische Navigieren auf Webseiten und das Simulieren menschlichen Verhaltens ohne grafische Benutzeroberfläche. Die Bibliothek bietet eine automatisierte Schnittstelle zum Ausfüllen und Absenden von Webformularen, einschließlich Textfeldern, Checkboxen und Datei-Uploads. Sie verwaltet zustandsbehaftete Sitzungen durch automatisches Speichern und Senden von Cookies über mehrere Anfragen hinweg, um Benutzerauthentifizierung und Identität aufrechtzuerhalten. Zusätzliche Funktionen umfassen Web-Data-Scraping, die Möglichkeit zum Herunterladen von Remote-Webinhalten und die Pflege eines chronologischen Navigationsverlaufs zur Nachverfolgung besuchter Seiten. Das System parst HTML-Antworten in ein strukturiertes Objektmodell, um programmatische Abfragen und Interaktionen mit Seitenelementen zu ermöglichen.

img2dataset ist eine leistungsstarke Pipeline für Bilddatensätze und ein Vorverarbeitungstool, das entwickelt wurde, um Millionen von Bildern von URLs für das Training von Machine Learning herunterzuladen und zu verarbeiten. Es fungiert als verteilter Bild-Downloader und Cloud-Speicher-Daten-Exporter, der große visuelle Datensätze von Webquellen direkt in strukturierte Formate überführt. Das System priorisiert die Datenerfassung mit hohem Durchsatz durch die Verteilung von Workloads auf mehrere CPU-Kerne und Maschinen. Es integriert sich direkt in Remote-Cloud-Speicher-Buckets und verwendet ein manifestbasiertes Tracking-System, um unterbrochene Downloads fortzusetzen, ohne bereits vorhandene Daten erneut zu verarbeiten. Das Tool bietet eine vollständige Vorverarbeitungssuite für die Vorbereitung von Machine-Learning-Datensätzen, einschließlich Bildskalierung, Zuschneiden und Eigenschaftsfilterung basierend auf Größe oder Seitenverhältnis. Es verifiziert zudem die Bildintegrität mittels Hash-Vergleich und stellt die Einhaltung von Robot-Direktiven während des Scraping-Workflows sicher. Das Projekt ist in Python implementiert.

DotnetSpider is a .NET web crawling framework and C# data extraction tool designed for automated web page discovery and the retrieval of structured data from the internet at scale. It functions as a high-level web scraping library for collecting information from various websites. The framework provides capabilities for automated web crawling and large-scale data scraping. It enables web content extraction to facilitate the creation of local databases or the analysis of online information through programmatic web automation within the .NET ecosystem. The system utilizes a pipeline-based data

Dieses Projekt ist eine Python-Library für quantitative Finanzen, die für das Sammeln, Manipulieren und Analysieren von Aktienmarktdaten entwickelt wurde. Sie bietet eine Suite von Tools für quantitative Aktienanalysen, einschließlich eines Equity-Screening-Frameworks zum Filtern von Aktien basierend auf technischen und fundamentalen Kriterien. Die Library enthält einen Machine-Learning-Preisprädiktor zur Klassifizierung von Aktienbewegungen und zur Prognose zukünftiger Preisrichtungen. Sie umfasst zudem ein technisches Finanzanalysetool zur Berechnung von Indikatoren wie Bollinger-Bändern, RSI und MACD, neben einem algorithmischen Handelssimulator zum Testen von Portfoliostrategien anhand historischer Daten. Die Software deckt ein breites Spektrum an Finanzfunktionen ab, einschließlich Finanzdatenerfassung via Web-Scraping, individueller Aktienbewertung und der Verwendung vektorisierter numerischer Berechnungen zur Verarbeitung großer Arrays von Preisdaten.

Scraperjs is a JavaScript web scraping library and headless browser automation tool designed to extract structured data from both static HTML and JavaScript-rendered websites. It functions as an asynchronous scraping workflow orchestrator and a selector-based engine for transforming unstructured web content into usable data. The library distinguishes itself by managing a shared browser instance across multiple tasks to optimize resource usage and reduce startup latency. It supports custom script injection into sandboxed browser environments to manipulate the DOM or execute browser-side logic

This project is a web scraping and automation tool designed to collect public data from Instagram and perform automated social media interactions. It functions by gathering profile details, captions, media files, and engagement metrics directly from web pages, bypassing the need for official developer interfaces or platform-specific credentials. The tool distinguishes itself by combining data extraction with automated engagement capabilities. It allows users to programmatically interact with content by liking posts that match specific search criteria or hashtags, aiming to increase account vi