Awesome GitHub RepositoriesWeb Data Scraping

Helium es una biblioteca de Python y un envoltorio de alto nivel para Selenium diseñado para la automatización de navegadores, pruebas funcionales de UI y web scraping. Proporciona una interfaz simplificada para interactuar con aplicaciones web a través de diferentes motores de navegador. La biblioteca se distingue por permitir a los usuarios identificar e interactuar con elementos web utilizando etiquetas de texto visibles en lugar de depender exclusivamente de identificadores técnicos como XPaths o selectores CSS. Este enfoque permite la creación de scripts de automatización basados en etiquetas legibles por humanos. El kit de herramientas cubre una amplia gama de capacidades de automatización de navegadores, incluyendo la interacción con elementos, sincronización mediante espera de condiciones de página y gestión de ventanas y ventanas emergentes. Admite acciones de UI complejas como adjuntos de archivos y operaciones de arrastrar y soltar, así como la extracción masiva de elementos para la recopilación de datos. Las utilidades adicionales incluyen la interacción automatizada con iFrames anidados y la captura de capturas de pantalla de la página.

This project is an administrative GIS toolset that provides a comprehensive dataset of China's administrative divisions, including provinces, cities, districts, and townships. It functions as a coordinate system transformer and a boundary converter for transforming geographic data into standard formats. The toolset distinguishes itself through the ability to convert administrative boundary data between CSV, GeoJSON, Shapefiles, and SQL. It includes specialized utilities for coordinate system transformation between GCJ-02, BD-09, WGS-84, and CGCS2000 standards to ensure accuracy across differe

This project is a Model Context Protocol server that connects large language models to web scraping and crawling tools. It functions as a bridge, allowing LLM clients to utilize a web crawling engine and scraping utilities to extract and process web data. The server integrates a markdown web converter that transforms dynamic web pages and PDF documents into clean markdown to optimize consumption by AI models. It also provides a browser automation interface for controlling headless sessions and bypassing access restrictions. The system covers broad capabilities including large-scale website d

ECommerceCrawlers is an educational collection of Python-based crawler scripts designed to extract data from a variety of public websites, including e-commerce platforms, social media sites, news outlets, and multimedia sources. The project serves as a learning resource for web scraping techniques, offering ready-to-run examples that demonstrate practical data extraction methods. The toolkit covers a broad range of data types, including product listings and prices from online retail platforms, public posts and profiles from social networking sites, articles from news and blogging platforms, p

Este proyecto es una colección de scripts en Python y ejemplos de código fuente diseñados para aprender los fundamentos de la programación mediante la aplicación práctica. Funciona como un kit de herramientas para web scraping y automatización de navegadores, junto con una biblioteca de utilidades para el procesamiento de datos. El repositorio incluye scripts para simular interacciones humanas con el fin de automatizar tareas web repetitivas y procesos de reserva en línea. También proporciona una base de datos estructurada de divisiones administrativas, incluyendo provincias, ciudades y distritos, para la gestión de datos geográficos y la validación de direcciones. La colección abarca capacidades para extraer datos estructurados e imágenes de sitios web utilizando tanto controladores de navegador como peticiones de red. Otras utilidades permiten la manipulación de archivos de hoja de cálculo y la gestión de archivos comprimidos.

Este proyecto es una colección completa de materiales educativos de programación en Python, incluyendo tutoriales, ejercicios y muestras de código curadas. Sirve como un plan de estudios de aprendizaje y kit de herramientas de ingeniería de software, utilizando Jupyter Notebooks para combinar código ejecutable con texto educativo descriptivo. El repositorio proporciona guías de implementación prácticas para construir aplicaciones de modelos de lenguaje grandes, como sistemas de generación aumentada por recuperación, agentes de IA con estado y flujos de trabajo de aprendizaje automático. Se distingue por ofrecer un enfoque estructurado para flujos de trabajo de codificación agentica, cubriendo destilación de ventana de contexto, enrutamiento de modelos agnóstico al proveedor y salidas estructuradas forzadas por esquema. Los materiales cubren una amplia gama de capacidades de ingeniería de software, incluyendo programación asíncrona con colas de tareas distribuidas, desarrollo de aplicaciones web con API REST y flujos de trabajo de análisis de datos. También incluye recursos para dominar el diseño orientado a objetos, implementar tuberías de CI/CD y aplicar estándares profesionales de linting y formato.

Este proyecto es un recurso de descubrimiento de código abierto que proporciona listas curadas de código reutilizable y librerías para ayudar a los desarrolladores a encontrar soluciones técnicas para tareas específicas. Utiliza un sistema de indexación basado en categorías para organizar diversas herramientas de software por sus capacidades funcionales. El repositorio está estructurado como una colección de documentación basada en Markdown y contenido estático, sirviendo como un directorio para el descubrimiento manual y la referencia. El directorio cubre una amplia gama de áreas de capacidad, incluyendo desarrollo de aplicaciones multiplataforma, creación de herramientas de ciberseguridad, implementación de protocolos de red y flujos de trabajo de computación científica. También incluye recursos para la automatización de web scraping, almacenamiento de datos e interfaces multimedia.

Este proyecto es una colección de implementaciones en Python para web scraping, interceptación de tráfico de red, análisis de datos y análisis de sentimiento. Proporciona métodos para extraer datos estructurados de sitios web e interfaces de aplicaciones móviles. La colección incluye herramientas para capturar y analizar paquetes de red de aplicaciones móviles para identificar puntos finales de API internos ocultos. También cuenta con scripts para evaluar el tono emocional y la percepción pública de los datos de texto. El proyecto cubre la manipulación y transformación de datos de grandes conjuntos de datos, así como la generación de gráficos para identificar tendencias y patrones demográficos.

Mechanize es una biblioteca de Ruby para la automatización de navegadores web y la emulación de navegadores headless. Permite navegar programáticamente por sitios web y simular el comportamiento humano sin una interfaz gráfica de usuario. La biblioteca proporciona una interfaz automatizada para completar y enviar formularios web, incluyendo campos de texto, casillas de verificación y subidas de archivos. Gestiona sesiones con estado almacenando y enviando automáticamente cookies a través de múltiples peticiones para mantener la autenticación e identidad del usuario. Las capacidades adicionales incluyen el scraping de datos web, la capacidad de descargar contenido web remoto y el mantenimiento de un historial de navegación cronológico para rastrear las páginas visitadas. El sistema analiza las respuestas HTML en un modelo de objetos estructurado para permitir la consulta programática y la interacción con los elementos de la página.

img2dataset es un pipeline de datasets de imágenes de alto rendimiento y herramienta de preprocesamiento diseñada para descargar y procesar millones de imágenes desde URLs para el entrenamiento de machine learning. Funciona como un descargador de imágenes distribuido y exportador de datos a almacenamiento en la nube, moviendo grandes datasets visuales desde fuentes web directamente a formatos estructurados. El sistema prioriza la adquisición de datos de alto rendimiento distribuyendo cargas de trabajo entre múltiples núcleos de CPU y máquinas. Se integra directamente con buckets de almacenamiento en la nube remotos y emplea un sistema de seguimiento basado en manifiestos para reanudar descargas interrumpidas sin reprocesar los datos existentes. La herramienta proporciona una suite de preprocesamiento completa para la preparación de datasets de machine learning, incluyendo redimensionamiento de imágenes, recorte y filtrado de propiedades basado en tamaño o relación de aspecto. También verifica la integridad de la imagen mediante comparación de hash y asegura el cumplimiento de las directivas de robots durante el flujo de trabajo de scraping. El proyecto está implementado en Python.

DotnetSpider es un framework de rastreo web para .NET y una herramienta de extracción de datos en C# diseñada para el descubrimiento automatizado de páginas web y la recuperación de datos estructurados de Internet a gran escala. Funciona como una librería de web scraping de alto nivel para recopilar información de varios sitios web. El framework proporciona capacidades para el rastreo web automatizado y el scraping de datos a gran escala. Permite la extracción de contenido web para facilitar la creación de bases de datos locales o el análisis de información en línea mediante la automatización web programática dentro del ecosistema .NET. El sistema utiliza un modelo de procesamiento de datos basado en tuberías con manejo de solicitudes asíncronas y ejecución de trabajadores concurrentes. Cuenta con un programador basado en colas de tareas, proveedores de almacenamiento modulares y una implementación orientada a interfaces para lógica de scraping personalizada.

This project is a Python quantitative finance library designed for gathering, manipulating, and analyzing stock market data. It provides a suite of tools for quantitative stock analysis, including an equity screening framework for filtering stocks based on technical and fundamental criteria. The library features a machine learning price predictor for classifying stock movements and forecasting future price directions. It also includes a financial technical analysis tool to calculate indicators such as Bollinger Bands, RSI, and MACD, alongside an algorithmic trading simulator for testing portf

Scraperjs is a JavaScript web scraping library and headless browser automation tool designed to extract structured data from both static HTML and JavaScript-rendered websites. It functions as an asynchronous scraping workflow orchestrator and a selector-based engine for transforming unstructured web content into usable data. The library distinguishes itself by managing a shared browser instance across multiple tasks to optimize resource usage and reduce startup latency. It supports custom script injection into sandboxed browser environments to manipulate the DOM or execute browser-side logic

This project is a web scraping and automation tool designed to collect public data from Instagram and perform automated social media interactions. It functions by gathering profile details, captions, media files, and engagement metrics directly from web pages, bypassing the need for official developer interfaces or platform-specific credentials. The tool distinguishes itself by combining data extraction with automated engagement capabilities. It allows users to programmatically interact with content by liking posts that match specific search criteria or hashtags, aiming to increase account vi