Awesome GitHub RepositoriesUser Profile Post Extraction

Weibospider este un crawler web distribuit conceput pentru a extrage postări, profiluri și date de interacțiune din rețeaua socială Weibo. Acesta funcționează ca un extractor de date din social media care utilizează o coadă de sarcini distribuită pentru a scala operațiunile de scraping pe mai multe noduri de lucru. Sistemul include o interfață administrativă grafică pentru configurarea setărilor crawler-ului, a identificatorilor utilizatorilor țintă și a cuvintelor cheie de căutare. Utilizează o arhitectură distribuită pentru a crește throughput-ul datelor și a gestiona colectarea la scară largă a conținutului din social media. Instrumentul acoperă o gamă largă de capabilități de colectare a datelor, inclusiv recoltarea profilurilor utilizatorilor, extragerea căutărilor bazate pe cuvinte cheie și maparea grafurilor sociale prin liste de urmăritori, comentarii și repostări. De asemenea, dispune de mecanisme pentru reglarea ratei cererilor, rotația conturilor și automatizarea sarcinilor recurente pentru a menține persistența sesiunii și colectarea continuă a datelor.

Acest proiect este un scraper web pentru Sina Weibo și un pipeline de date pentru social media, conceput pentru a extrage profiluri de utilizatori, postări, comentarii și active multimedia. Acesta funcționează ca un crawler de date containerizat care automatizează colectarea și stocarea locală a conținutului de social media și a metricilor de engagement. Sistemul include un strat de procesare care utilizează modele de limbaj mari (LLM) pentru a analiza textul extras, generând rezumate și analize de sentiment. Se diferențiază printr-un model de container gata de deployment, care dispune de o interfață HTTP pentru gestionarea sarcinilor de extracție și monitorizarea progresului joburilor. Crawler-ul acoperă o gamă largă de capabilități, inclusiv monitorizarea social media prin actualizări incrementale programate, arhivarea activelor multimedia pe discuri locale și exportul de date în formate multiple către fișiere plate sau baze de date. De asemenea, captează interacțiuni sociale detaliate, cum ar fi comentariile de prim nivel și repostările.

WeiboSpider is a social media scraper designed to extract user profiles, posts, and interaction data from the Sina Weibo platform. It functions as a web-based data crawler that retrieves information via external interfaces rather than parsing the visual frontend. The tool includes a content lineage tracer to follow shared posts back to their original sources. It also features a social engagement analyzer to collect view counts and nested comment threads to measure user interaction metrics. The system provides capabilities for keyword-based social monitoring and search result filtering to tra

Acest proiect este un scraper web neautentificat, conceput pentru a extrage date publice din API-ul frontend Twitter. Acesta funcționează ca un extractor de date din rețelele sociale care simulează cereri de browser pentru a colecta informații fără a fi nevoie de chei API oficiale sau autentificarea contului de utilizator. Instrumentul oferă capabilități pentru colectarea postărilor publice, recoltarea metadatelor profilurilor de utilizator (cum ar fi biografii și locații) și preluarea subiectelor în tendințe (trending topics) clasificate pe regiuni geografice. Poate efectua scraping de conținut vizat pe baza unor nume de utilizator, hashtag-uri sau interogări de căutare specifice. Sistemul gestionează colectarea datelor prin paginare, emularea clientului bazată pe headere pentru a imita browserele web și parsarea răspunsurilor JSON structurate din endpoint-uri publice.