Awesome GitHub RepositoriesScraped Data Persistence

PythonSpiderNotes is a comprehensive instructional resource and framework for building web crawlers and extracting data using the Python programming language. It provides a set of methods for parsing unstructured HTML and JSON data into structured formats for persistent storage. The project includes detailed guides and tutorials on browser automation for retrieving dynamic content, as well as a framework for data extraction. It specifically covers anti-bot bypass techniques, such as rotating proxies and spoofing headers, to avoid IP blocks and detection systems. The capability surface extend

This project is a Python web scraping tutorial and framework designed for building automated data extraction tools and web crawlers. It provides a structured approach to navigating websites and persisting scraped data to databases. The project includes a toolset for web API analysis, focusing on reverse engineering obfuscated API requests and inspecting network traffic to extract structured data. It also covers optical character recognition workflows to convert visual text within images into machine-readable strings. The framework covers capabilities for headless browser automation to handle

Este proyecto es un plugin de metadatos y proveedor de biblioteca multimedia para Jellyfin, diseñado para obtener información de películas y programas desde servidores remotos. Funciona como un organizador multimedia automatizado que completa las bibliotecas de Jellyfin con títulos, biografías de actores e imágenes. El plugin incluye un motor local de detección de rostros para centrar y recortar automáticamente las miniaturas de los actores y las portadas de los medios. También proporciona herramientas de traducción que utilizan APIs externas para convertir resúmenes y reseñas de películas a los idiomas de destino. El sistema gestiona la organización de medios mediante la agrupación de videos de varios discos, reasignación de géneros y etiquetado de idiomas de subtítulos. Soporta mejoras visuales como la adición de indicadores de subtítulos en los pósteres y la incrustación de vistas previas de tráileres remotos. El servicio backend puede instalarse mediante binario o contenedor, con opciones para despliegue en la nube y seguridad de acceso basada en tokens.

Distribute crawler es un framework de web scraping distribuido que se integra con Scrapy para coordinar múltiples instancias de rastreadores a través de clusters. Utiliza una cola de tareas centralizada para gestionar y escalar operaciones de recolección de datos concurrentes, permitiendo el escalado horizontal de tareas de scraping a través de múltiples nodos de trabajo. El framework se distingue por su enfoque en la gestión de datos a gran escala y el control de tráfico. Persiste los elementos rastreados y los activos binarios en clusters de bases de datos orientadas a documentos, utilizando lógica de deduplicación para optimizar el ancho de banda y el almacenamiento. Para mantener una recolección de datos consistente de fuentes protegidas, emplea estrategias automatizadas anti-bloqueo, incluyendo rotación de identidad de solicitud, limitación dinámica de velocidad y ajustes de concurrencia basados en la capacidad de respuesta del sitio objetivo. El sistema incluye una infraestructura integral para la supervisión operativa, con monitoreo de rendimiento en tiempo real y agregación de métricas. Admite un pipeline de solicitudes modular que permite la inyección de encabezados personalizados y la gestión del comportamiento durante el proceso de rastreo.