Awesome GitHub RepositoriesUser Profile Post Extraction

Weibospider est un crawler web distribué conçu pour extraire des posts, des profils et des données d'interaction du réseau social Weibo. Il fonctionne comme un extracteur de données de médias sociaux qui utilise une file d'attente de tâches distribuée pour mettre à l'échelle les opérations de scraping à travers plusieurs nœuds de travail. Le système inclut une interface administrative graphique pour configurer les paramètres du crawler, les identifiants d'utilisateurs cibles et les mots-clés de recherche. Il emploie une architecture distribuée pour augmenter le débit de données et gérer la collecte à grande échelle de contenu de médias sociaux. L'outil couvre un large éventail de capacités de collecte de données, y compris la récolte de profils d'utilisateurs, l'extraction de recherche basée sur des mots-clés et le mappage de graphes sociaux via des listes d'abonnés, des commentaires et des reposts. Il dispose également de mécanismes pour la régulation du taux de requête, la rotation de compte et l'automatisation des tâches récurrentes pour maintenir la persistance de session et la collecte de données continue.

Ce projet est un scraper web pour Sina Weibo et un pipeline de données de réseaux sociaux conçu pour extraire les profils d'utilisateurs, les publications, les commentaires et les ressources multimédias. Il fonctionne comme un crawler de données conteneurisé qui automatise la collecte et le stockage local de contenu de réseaux sociaux et de métriques d'engagement. Le système inclut une couche de traitement qui utilise des modèles de langage étendus (LLM) pour analyser le texte extrait, générant des résumés et une analyse de sentiment. Il se distingue par un modèle de déploiement prêt à l'emploi sous forme de conteneur, doté d'une interface HTTP pour gérer les tâches d'extraction et surveiller la progression des travaux. Le crawler couvre un large éventail de capacités, incluant la surveillance des réseaux sociaux via des mises à jour incrémentales planifiées, l'archivage des ressources multimédias sur disques locaux et l'exportation de données multi-formats vers des fichiers plats ou des bases de données. Il capture également des interactions sociales détaillées, telles que les commentaires de premier niveau et les reposts.

WeiboSpider est un scraper de réseaux sociaux conçu pour extraire les profils d'utilisateurs, les publications et les données d'interaction de la plateforme Sina Weibo. Il fonctionne comme un crawler de données web qui récupère les informations via des interfaces externes plutôt qu'en analysant le frontend visuel. L'outil inclut un traceur de lignée de contenu pour suivre les publications partagées jusqu'à leurs sources originales. Il dispose également d'un analyseur d'engagement social pour collecter le nombre de vues et les fils de commentaires imbriqués afin de mesurer les métriques d'interaction des utilisateurs. Le système fournit des capacités de surveillance sociale par mots-clés et de filtrage des résultats de recherche pour suivre des sujets spécifiques au fil du temps. Il gère de grands ensembles de données via une itération basée sur la pagination et une traversée récursive des fils d'engagement.

This project is an unauthenticated web scraper designed to extract public data from the Twitter frontend API. It functions as a social media data extractor that simulates browser requests to gather information without the need for official API keys or user account authentication. The tool provides capabilities for gathering public posts, harvesting user profile metadata such as biographies and locations, and retrieving trending topics categorized by geographical region. It can perform targeted content scraping based on specific usernames, hashtags, or search queries. The system manages data