Awesome GitHub RepositoriesUser Profile Post Extraction

Weibospider es un crawler web distribuido diseñado para extraer publicaciones, perfiles y datos de interacción de la red social Weibo. Funciona como un extractor de datos de redes sociales que utiliza una cola de tareas distribuida para escalar las operaciones de scraping a través de múltiples nodos de trabajo. El sistema incluye una interfaz administrativa gráfica para configurar los ajustes del crawler, identificadores de usuario de destino y palabras clave de búsqueda. Emplea una arquitectura distribuida para aumentar el rendimiento de los datos y gestionar la recopilación a gran escala de contenido de redes sociales. La herramienta cubre una amplia gama de capacidades de recopilación de datos, incluyendo la recolección de perfiles de usuario, extracción de búsqueda basada en palabras clave y el mapeo de grafos sociales a través de listas de seguidores, comentarios y reposts. También cuenta con mecanismos para la regulación de la tasa de solicitudes, rotación de cuentas y automatización de tareas recurrentes para mantener la persistencia de la sesión y la recopilación continua de datos.

Este proyecto es un scraper web de Sina Weibo y una tubería de datos de redes sociales diseñada para extraer perfiles de usuario, publicaciones, comentarios y activos multimedia. Funciona como un crawler de datos contenedorizado que automatiza la recopilación y el almacenamiento local de contenido de redes sociales y métricas de interacción. El sistema incluye una capa de procesamiento que utiliza modelos de lenguaje de gran tamaño (LLM) para analizar el texto extraído, generando resúmenes y análisis de sentimiento. Se diferencia por un modelo de contenedor listo para el despliegue que cuenta con una interfaz HTTP para gestionar tareas de extracción y monitorear el progreso de los trabajos. El crawler cubre una amplia gama de capacidades, incluyendo el monitoreo de redes sociales mediante actualizaciones incrementales programadas, el archivo de activos multimedia en discos locales y la exportación de datos en múltiples formatos a archivos planos o bases de datos. También captura interacciones sociales detalladas, como comentarios de primer nivel y republicaciones.

WeiboSpider es un scraper de redes sociales diseñado para extraer perfiles de usuario, publicaciones y datos de interacción de la plataforma Sina Weibo. Funciona como un crawler de datos basado en web que recupera información a través de interfaces externas en lugar de analizar el frontend visual. La herramienta incluye un rastreador de linaje de contenido para seguir publicaciones compartidas hasta sus fuentes originales. También cuenta con un analizador de engagement social para recopilar conteos de visualizaciones e hilos de comentarios anidados para medir métricas de interacción del usuario. El sistema proporciona capacidades para el monitoreo social basado en palabras clave y filtrado de resultados de búsqueda para rastrear temas específicos a lo largo del tiempo. Gestiona grandes conjuntos de datos mediante iteración basada en paginación y recorrido recursivo de hilos de interacción.

Este proyecto es un scraper web no autenticado diseñado para extraer datos públicos de la API frontend de Twitter. Funciona como un extractor de datos de redes sociales que simula solicitudes de navegador para recopilar información sin necesidad de claves de API oficiales o autenticación de cuenta de usuario. La herramienta proporciona capacidades para recopilar publicaciones públicas, recolectar metadatos de perfiles de usuario como biografías y ubicaciones, y recuperar temas de tendencia categorizados por región geográfica. Puede realizar scraping de contenido dirigido basado en nombres de usuario, hashtags o consultas de búsqueda específicas. El sistema gestiona la recolección de datos a través de paginación, emulación de cliente basada en cabeceras para imitar navegadores web y el análisis de respuestas JSON estructuradas desde endpoints públicos.