Awesome GitHub RepositoriesHTML Selector Extractors

X-ray es un scraper web de navegador headless y crawler de contenido HTML diseñado para extraer datos estructurados de sitios web. Funciona como un scraper de datos basado en flujos y extractor de datos estructurados, utilizando selectores para recuperar texto y atributos de HTML como objetos o arrays anidados. El proyecto incluye un controlador de tasa de solicitudes para gestionar el tráfico de red mediante límites de concurrencia, aceleradores (throttles) y tiempos de espera. Maneja el scraping de sitios web dinámicos renderizando JavaScript a través de un navegador headless y realiza el rastreo automatizado de sitios web utilizando el seguimiento de enlaces en anchura (breadth-first) y gestión de paginación. El sistema proporciona una tubería de datos que aplica transformaciones de valores funcionales a cadenas sin formato y escribe los resultados en un flujo legible para evitar el desbordamiento de memoria durante trabajos de scraping web a gran escala.

Este proyecto es un framework de web scraping en Node.js diseñado para automatizar la extracción de datos a través de un flujo de trabajo programático de peticiones, análisis e interacción con documentos. Funciona como un crawler web headless, un gestor de peticiones HTTP y un parser y extractor de DOM. El framework se distingue por combinar un motor de ejecución de JavaScript para interactuar con contenido dinámico y un sistema de selección híbrido que utiliza selectores CSS y XPath. Incluye middleware especializado para la rotación de proxies y la gestión de sesiones de cookie-jar para mantener estados autenticados y gestionar tráfico automatizado. Sus capacidades más amplias cubren el rastreo recursivo de enlaces, el manejo de paginación y la automatización de formularios web. La herramienta también proporciona funciones de gestión de tráfico como limitación de tasa de peticiones mediante retrasos temporizados y configuración de cabeceras HTTP personalizadas.

Jodd es una suite de extensiones ligeras para Java y utilidades de biblioteca estándar diseñadas para la configuración de aplicaciones, mapeo de bases de datos, inyección de dependencias y análisis de HTML. Proporciona un conjunto consolidado de herramientas principales para facilitar el desarrollo en Java con un núcleo sin dependencias para garantizar la compatibilidad y una huella pequeña en todos los entornos. El proyecto cuenta con un contenedor de inyección de dependencias pragmático para gestionar ciclos de vida de objetos y un mapeador de bases de datos que utiliza plantillas SQL para mapear conjuntos de resultados directamente a objetos Java. Incluye un gestor de configuración especializado que admite perfiles, secciones y macros, así como un analizador de HTML que extrae elementos mediante selectores CSS3. Las capacidades adicionales cubren la comunicación de red a través de un cliente HTTP ligero, serialización JSON y transmisión y recepción de correo electrónico. El kit de herramientas también proporciona utilidades para validación de datos, conversión de tipos, gestión de transacciones y la generación de proxies dinámicos para interceptación de comportamiento.