Awesome GitHub RepositoriesAPI-Based Extractions

GHunt is a Google account investigator and open-source intelligence framework designed to retrieve publicly available information and metadata associated with Google accounts. It functions as an OSINT data extractor and offensive security framework used to identify user identities and uncover hidden metadata. The tool extracts public profile data from various Google services and exports the findings into structured JSON formats. This allows for the collection and analysis of digital footprints to support security research and reconnaissance.

Open Deep Research is an AI-powered web research agent that combines a reasoning model with live web search and data extraction to perform deep, multi-source investigations on any topic. It operates through a dual interface, offering both a command-line tool and a Model Context Protocol server, allowing developers to integrate web capabilities directly into AI agents and coding assistants. The project distinguishes itself by orchestrating an iterative research loop where a reasoning model plans steps, interprets search results, and guides subsequent web interactions. It uses Firecrawl for scr

iScript este o colecție de scripturi de automatizare Python concepute pentru descărcarea fișierelor și extracția datelor de la diverse servicii web și platforme cloud. Proiectul oferă instrumente specializate pentru gestionarea stocării în cloud, conversia linkurilor torrent, recuperarea muzicii și repararea erorilor de codare a arhivelor. Toolkit-ul include un downloader de muzică care preia piese audio de înaltă calitate și aplică tag-uri de metadate ID3, precum și un convertor de linkuri magnet care transformă fișierele torrent și filtrează rezultatele după cuvinte cheie. Include, de asemenea, un utilitar pentru a corecta discrepanțele de codare a caracterelor în arhivele zip create pe Windows pentru extracție pe Linux. Capabilitățile suplimentare acoperă scraping-ul social media pentru imagini și videoclipuri, căutarea fișierelor în rețeaua eMule și gestionarea stocării în cloud pentru descărcări recursive și redare la distanță. Pentru a îmbunătăți performanța, proiectul utilizează descărcarea segmentată multi-threaded și preluarea conținutului multi-proces.

CrawlerTutorial este un tutorial cuprinzător de web scraping în Python și un framework conceput pentru extragerea datelor de pe site-uri web statice și dinamice. Acesta funcționează ca o conductă de extracție a datelor web și un orchestrator de cereri HTTP, acoperind întregul ciclu de viață al aplicațiilor de scraping, de la preluarea inițială până la stocarea finală a datelor. Proiectul oferă îndrumări specializate privind tehnicile de evitare a sistemelor anti-bot și ingineria inversă a API-urilor web. Include metode pentru evitarea detectării browserului prin mascarea identității și rotația proxy-urilor, precum și tehnici pentru identificarea endpoint-urilor API ascunse prin analizarea traficului de rețea și a semnăturilor cererilor. Framework-ul cuprinde un set larg de capabilități, inclusiv automatizarea browserului pentru pagini cu conținut JavaScript intens, autentificarea automată a utilizatorilor prin coduri QR sau SMS și gestionarea persistenței sesiunii. De asemenea, dispune de instrumente de preprocesare a datelor pentru curățarea textului brut, eliminarea înregistrărilor duplicate și persistența informațiilor colectate în fișiere plate sau baze de date relaționale.

WeiboSpider is a social media scraper designed to extract user profiles, posts, and interaction data from the Sina Weibo platform. It functions as a web-based data crawler that retrieves information via external interfaces rather than parsing the visual frontend. The tool includes a content lineage tracer to follow shared posts back to their original sources. It also features a social engagement analyzer to collect view counts and nested comment threads to measure user interaction metrics. The system provides capabilities for keyword-based social monitoring and search result filtering to tra