Awesome GitHub RepositoriesWeb Data Scraping

Helium est une bibliothèque Python et un wrapper de haut niveau pour Selenium conçu pour l'automatisation de navigateur, les tests d'UI fonctionnels et le web scraping. Il fournit une interface simplifiée pour interagir avec des applications web à travers différents moteurs de navigateur. La bibliothèque se distingue en permettant aux utilisateurs d'identifier et d'interagir avec des éléments web en utilisant des étiquettes de texte visibles plutôt que de s'appuyer exclusivement sur des identifiants techniques comme les XPath ou les sélecteurs CSS. Cette approche permet la création de scripts d'automatisation basés sur des étiquettes lisibles par l'humain. La boîte à outils couvre un large éventail de capacités d'automatisation de navigateur, y compris l'interaction avec les éléments, la synchronisation via l'attente de conditions de page, et la gestion des fenêtres et des popups. Elle prend en charge des actions d'UI complexes telles que les pièces jointes et les opérations de glisser-déposer, ainsi que l'extraction d'éléments en masse pour la collecte de données. Des utilitaires supplémentaires incluent l'interaction automatisée avec les iFrames imbriqués et la capture d'écran de page.

This project is an administrative GIS toolset that provides a comprehensive dataset of China's administrative divisions, including provinces, cities, districts, and townships. It functions as a coordinate system transformer and a boundary converter for transforming geographic data into standard formats. The toolset distinguishes itself through the ability to convert administrative boundary data between CSV, GeoJSON, Shapefiles, and SQL. It includes specialized utilities for coordinate system transformation between GCJ-02, BD-09, WGS-84, and CGCS2000 standards to ensure accuracy across differe

This project is a Model Context Protocol server that connects large language models to web scraping and crawling tools. It functions as a bridge, allowing LLM clients to utilize a web crawling engine and scraping utilities to extract and process web data. The server integrates a markdown web converter that transforms dynamic web pages and PDF documents into clean markdown to optimize consumption by AI models. It also provides a browser automation interface for controlling headless sessions and bypassing access restrictions. The system covers broad capabilities including large-scale website d

ECommerceCrawlers is an educational collection of Python-based crawler scripts designed to extract data from a variety of public websites, including e-commerce platforms, social media sites, news outlets, and multimedia sources. The project serves as a learning resource for web scraping techniques, offering ready-to-run examples that demonstrate practical data extraction methods. The toolkit covers a broad range of data types, including product listings and prices from online retail platforms, public posts and profiles from social networking sites, articles from news and blogging platforms, p

Ce projet est une collection de scripts Python et d'exemples de code source conçus pour apprendre les fondamentaux de la programmation par la pratique. Il sert de boîte à outils pour le web scraping et l'automatisation de navigateur, accompagnée d'une bibliothèque d'utilitaires pour le traitement de données. Le dépôt inclut des scripts pour simuler des interactions humaines afin d'automatiser des tâches web répétitives et des processus de réservation en ligne. Il fournit également une base de données structurée des divisions administratives, incluant provinces, villes et districts, pour la gestion de données géographiques et la validation d'adresses. La collection couvre des capacités d'extraction de données structurées et d'images depuis des sites web, en utilisant à la fois des pilotes de navigateur et des requêtes réseau. Des utilitaires supplémentaires gèrent la manipulation de fichiers tableurs et la gestion d'archives compressées.

Ce projet est une collection complète de matériel pédagogique de programmation Python, y compris des tutoriels, des exercices et des exemples de code organisés. Il sert de programme d'apprentissage et de boîte à outils d'ingénierie logicielle, utilisant des Jupyter Notebooks pour combiner du code exécutable avec un texte éducatif descriptif. Le dépôt fournit des guides d'implémentation pratiques pour construire des applications de grand modèle de langage, telles que des systèmes de génération augmentée par récupération, des agents IA avec état et des flux de travail d'apprentissage automatique. Il se distingue en offrant une approche structurée des flux de travail de codage agentique, couvrant la distillation de la fenêtre de contexte, le routage de modèle agnostique au fournisseur et les sorties structurées imposées par schéma. Le matériel couvre un large éventail de capacités d'ingénierie logicielle, notamment la programmation asynchrone avec des files d'attente de tâches distribuées, le développement d'applications web avec des API REST et les flux de travail d'analyse de données. Il inclut également des ressources pour maîtriser la conception orientée objet, implémenter des pipelines CI/CD et appliquer des normes professionnelles de linting et de formatage.

Ce projet est une ressource de découverte open source qui fournit des listes organisées de code réutilisable et de bibliothèques pour aider les développeurs à trouver des solutions techniques à des tâches spécifiques. Il utilise un système d'indexation par catégories pour organiser divers outils logiciels selon leurs capacités fonctionnelles. Le dépôt est structuré comme une collection de documentation basée sur Markdown et de contenu statique, servant de répertoire pour la découverte manuelle et la référence. Le répertoire couvre un large éventail de domaines de compétences, incluant le développement d'applications multiplateformes, la création d'outils de cybersécurité, l'implémentation de protocoles réseau et les flux de travail en calcul scientifique. Il inclut également des ressources pour l'automatisation du web scraping, le stockage de données et les interfaces multimédias.

Ce projet est une collection d'implémentations Python pour le web scraping, l'interception de trafic réseau, l'analyse de données et l'analyse de sentiment. Il fournit des méthodes pour extraire des données structurées à partir de sites web et d'interfaces d'applications mobiles. La collection inclut des outils pour capturer et analyser les paquets réseau provenant d'applications mobiles afin d'identifier des points de terminaison API internes cachés. Elle propose également des scripts pour évaluer le ton émotionnel et la perception publique des données textuelles. Le projet couvre la manipulation et la transformation de données de grands ensembles de données, ainsi que la génération de graphiques pour identifier les tendances et modèles démographiques.

Mechanize est une bibliothèque Ruby pour l'automatisation de navigateur web et l'émulation de navigateur headless. Elle permet de naviguer par programmation sur des sites web et de simuler un comportement humain sans interface graphique. La bibliothèque fournit une interface automatisée pour remplir et soumettre des formulaires web, y compris les champs de texte, les cases à cocher et les téléchargements de fichiers. Elle gère les sessions avec état en stockant et en envoyant automatiquement des cookies à travers plusieurs requêtes pour maintenir l'authentification et l'identité de l'utilisateur. Les capacités supplémentaires incluent le scraping de données web, la capacité de télécharger du contenu web distant et la maintenance d'un historique de navigation chronologique pour suivre les pages visitées. Le système analyse les réponses HTML dans un modèle d'objet structuré pour permettre l'interrogation et l'interaction programmatiques avec les éléments de la page.

img2dataset is a high-performance image dataset pipeline and preprocessing tool designed to download and process millions of images from URLs for machine learning training. It functions as a distributed image downloader and cloud storage data exporter, moving large visual datasets from web sources directly into structured formats. The system prioritizes high-throughput data acquisition by distributing workloads across multiple CPU cores and machines. It integrates directly with remote cloud storage buckets and employs a manifest-based tracking system to resume interrupted downloads without re

DotnetSpider est un framework de crawling web .NET et un outil d'extraction de données C# conçu pour la découverte automatisée de pages web et la récupération de données structurées sur Internet à grande échelle. Il fonctionne comme une bibliothèque de web scraping de haut niveau pour collecter des informations sur divers sites web. Le framework offre des capacités pour le crawling web automatisé et le scraping de données à grande échelle. Il permet l'extraction de contenu web pour faciliter la création de bases de données locales ou l'analyse d'informations en ligne via l'automatisation web programmatique au sein de l'écosystème .NET. Le système utilise un modèle de traitement de données basé sur un pipeline avec une gestion asynchrone des requêtes et une exécution concurrente des workers. Il dispose d'un planificateur basé sur une file d'attente de tâches, de fournisseurs de stockage modulaires et d'une implémentation pilotée par interface pour une logique de scraping personnalisée.

Ce projet est une bibliothèque de finance quantitative Python conçue pour rassembler, manipuler et analyser des données boursières. Il fournit une suite d'outils pour l'analyse boursière quantitative, incluant un framework de filtrage d'actions basé sur des critères techniques et fondamentaux. La bibliothèque dispose d'un prédicteur de prix par machine learning pour classer les mouvements boursiers et prévoir les directions futures des prix. Elle inclut également un outil d'analyse technique financière pour calculer des indicateurs tels que les bandes de Bollinger, le RSI et le MACD, ainsi qu'un simulateur de trading algorithmique pour tester des stratégies de portefeuille par rapport à des données historiques. Le logiciel couvre un large éventail de capacités financières, notamment l'acquisition de données financières via le web scraping, l'évaluation individuelle des actions et l'utilisation du calcul numérique vectorisé pour traiter de grands tableaux de données de prix.

Scraperjs is a JavaScript web scraping library and headless browser automation tool designed to extract structured data from both static HTML and JavaScript-rendered websites. It functions as an asynchronous scraping workflow orchestrator and a selector-based engine for transforming unstructured web content into usable data. The library distinguishes itself by managing a shared browser instance across multiple tasks to optimize resource usage and reduce startup latency. It supports custom script injection into sandboxed browser environments to manipulate the DOM or execute browser-side logic

This project is a web scraping and automation tool designed to collect public data from Instagram and perform automated social media interactions. It functions by gathering profile details, captions, media files, and engagement metrics directly from web pages, bypassing the need for official developer interfaces or platform-specific credentials. The tool distinguishes itself by combining data extraction with automated engagement capabilities. It allows users to programmatically interact with content by liking posts that match specific search criteria or hashtags, aiming to increase account vi