5 रिपॉजिटरी
Awesome GitHub RepositoriesAPI-Based Extractions
Retrieval of structured data from service endpoints using authenticated requests.
Distinct from Structured Data Extraction: Focuses on API endpoint retrieval rather than schema-based extraction from documents.
Explore 5 awesome GitHub repositories matching data & databases · API-Based Extractions. Refine with filters or upvote what's useful.
Awesome API-Based Extractions GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- mxrch/ghunt
mxrch/GHunt
19,089GitHub पर देखेंGHunt is a Google account investigator and open-source intelligence framework designed to retrieve publicly available information and metadata associated with Google accounts. It functions as an OSINT data extractor and offensive security framework used to identify user identities and uncover hidden metadata. The tool extracts public profile data from various Google services and exports the findings into structured JSON formats. This allows for the collection and analysis of digital footprints to support security research and reconnaissance.
Retrieves structured account metadata by making authenticated requests to internal Google service endpoints.
Python - nickscamara/open-deep-research
nickscamara/open-deep-research
6,173GitHub पर देखेंOpen Deep Research is an AI-powered web research agent that combines a reasoning model with live web search and data extraction to perform deep, multi-source investigations on any topic. It operates through a dual interface, offering both a command-line tool and a Model Context Protocol server, allowing developers to integrate web capabilities directly into AI agents and coding assistants. The project distinguishes itself by orchestrating an iterative research loop where a reasoning model plans steps, interprets search results, and guides subsequent web interactions. It uses Firecrawl for scr
Uses Firecrawl's API to extract structured data from multiple web pages simultaneously for LLM consumption.
TypeScript - peterding/iscript
PeterDing/iScript
5,106GitHub पर देखेंiScript, विभिन्न वेब सेवाओं और क्लाउड प्लेटफ़ॉर्म से फ़ाइल डाउनलोड और डेटा निष्कर्षण के लिए डिज़ाइन की गई Python ऑटोमेशन स्क्रिप्ट का एक संग्रह है। यह प्रोजेक्ट क्लाउड स्टोरेज को प्रबंधित करने, टोरेंट लिंक्स को बदलने, संगीत प्राप्त करने और आर्काइव एन्कोडिंग त्रुटियों को ठीक करने के लिए विशेष टूल प्रदान करता है। इस टूलकिट में एक म्यूजिक डाउनलोडर शामिल है जो उच्च-गुणवत्ता वाले ऑडियो ट्रैक फ़ेच करता है और ID3 मेटाडेटा टैग लागू करता है, साथ ही एक मैग्नेट लिंक कनवर्टर जो टोरेंट फ़ाइलों को बदलता है और कीवर्ड द्वारा परिणामों को फ़िल्टर करता है। इसमें Linux पर निष्कर्षण के लिए Windows पर बनाई गई ज़िप आर्काइव में वर्ण एन्कोडिंग विसंगतियों को ठीक करने के लिए एक यूटिलिटी भी शामिल है। अतिरिक्त क्षमताएं छवियों और वीडियो के लिए सोशल मीडिया स्क्रैपिंग, eMule नेटवर्क पर नेटवर्क फ़ाइल खोज, और रिकर्सिव डाउनलोड व रिमोट प्लेबैक के लिए क्लाउड स्टोरेज प्रबंधन को कवर करती हैं। प्रदर्शन को बेहतर बनाने के लिए, प्रोजेक्ट मल्टी-थ्रेडेड सेगमेंटेड डाउनलोडिंग और मल्टी-प्रोसेस कंटेंट फ़ेचिंग का उपयोग करता है।
Retrieves structured data from service endpoints using authenticated requests to fetch hidden content and metadata.
Pythonbaiduyuniscriptmagnet-torrent - nanmicoder/crawlertutorial
NanmiCoder/CrawlerTutorial
4,262GitHub पर देखेंCrawlerTutorial is a comprehensive Python web scraping tutorial and framework designed for extracting data from static and dynamic websites. It functions as a web data extraction pipeline and an HTTP request orchestrator, covering the full lifecycle of scraping applications from initial fetching to final data storage. The project provides specialized guidance on anti-bot bypass techniques and web API reverse engineering. It includes methods for evading browser detection through identity masking and proxy rotation, as well as techniques for identifying hidden API endpoints by analyzing network
Retrieves structured data by constructing authenticated HTTP requests to identified API endpoints.
Python - nghuyong/weibospider
nghuyong/WeiboSpider
4,086GitHub पर देखेंWeiboSpider एक सोशल मीडिया स्क्रैपर है जिसे Sina Weibo प्लेटफॉर्म से उपयोगकर्ता प्रोफाइल, पोस्ट और इंटरैक्शन डेटा निकालने के लिए डिज़ाइन किया गया है। यह एक वेब-आधारित डेटा क्रॉलर के रूप में कार्य करता है जो विज़ुअल फ्रंटएंड को पार्स करने के बजाय बाहरी इंटरफेस के माध्यम से जानकारी प्राप्त करता है। इस टूल में साझा की गई पोस्ट को उनके मूल स्रोतों तक ट्रैक करने के लिए एक कंटेंट लीनेज ट्रेसर शामिल है। इसमें उपयोगकर्ता इंटरैक्शन मेट्रिक्स को मापने के लिए व्यू काउंट और नेस्टेड कमेंट थ्रेड्स को इकट्ठा करने के लिए एक सोशल एंगेजमेंट एनालाइजर भी है। यह सिस्टम समय के साथ विशिष्ट विषयों को ट्रैक करने के लिए कीवर्ड-आधारित सोशल मॉनिटरिंग और सर्च रिजल्ट फिल्टरिंग की क्षमताएं प्रदान करता है। यह पेजिनेशन-आधारित इटरेशन और एंगेजमेंट थ्रेड्स के रिकर्सिव ट्रैवर्सल के माध्यम से बड़े डेटासेट को मैनेज करता है।
Retrieves raw social media content by making direct requests to platform interfaces instead of parsing the visual frontend.
Pythonpythonscrapyweibo
