2 रिपॉजिटरी
Awesome GitHub RepositoriesDistributed Web
The use of distributed scraping architectures to collect high volumes of web data for analysis.
Distinct from Data Mining: Specific to web scraping throughput scaling, whereas general Data Mining focuses on pattern extraction from existing datasets.
Explore 2 awesome GitHub repositories matching data & databases · Distributed Web. Refine with filters or upvote what's useful.
Awesome Distributed Web GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- asciimoo/colly
asciimoo/colly
25,348GitHub पर देखेंColly is a web scraping framework and concurrent crawler written in Go. It provides a system for traversing web pages, following links, and extracting structured data from HTML and XML documents. The framework includes a distributed scraping engine designed to spread data collection tasks across multiple instances to increase throughput. It ensures compliance with website owner policies by automatically reading and respecting robots.txt files. The system manages request lifecycles through domain-based rate limiting, concurrency controls, and session management via a stateful cookie jar. It s
Distributes scraping tasks across multiple instances to increase the volume and throughput of collected web data.
Go - zlzforever/dotnetspider
zlzforever/DotnetSpider
4,136GitHub पर देखेंDotnetSpider एक .NET वेब क्रॉलर फ्रेमवर्क और प्रोग्रामेबल टूल है जिसे वेबसाइटों को पार करने और वेब पेजों से संरचित डेटा कैप्चर करने के लिए डिज़ाइन किया गया है। यह एक वितरित क्रॉलिंग इंजन के रूप में कार्य करता है जो डेटा खोजने और निकालने के लिए वेब क्रॉलिंग के ऑटोमेशन को सक्षम बनाता है। फ्रेमवर्क को वितरित डेटा निष्कर्षण के लिए डिज़ाइन किया गया है, जो क्रॉलिंग कार्यों को कई सर्वरों पर फैलाने की अनुमति देता है ताकि वेब सामग्री की बड़ी मात्रा को प्रोसेस किया जा सके। यह आर्किटेक्चर संरचित जानकारी एकत्र करने के लिए उच्च-प्रदर्शन वेब स्क्रैपिंग और एंटरप्राइज़ डेटा संग्रह वर्कफ़्लो का समर्थन करता है।
Uses a distributed scraping architecture to collect high volumes of web data for analysis.
C#
