2 مستودعات
Awesome GitHub RepositoriesAsynchronous Request Runners
Background execution engines for high-concurrency network tasks.
Distinguishing note: Focuses on non-blocking network execution for scraping.
Explore 2 awesome GitHub repositories matching web development · Asynchronous Request Runners. Refine with filters or upvote what's useful.
Awesome Asynchronous Request Runners GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- gocolly/colly
gocolly/colly
25,101عرض على GitHubColly is a high-performance web scraping framework designed for the automated extraction of structured data from websites. It provides a programmable toolkit that manages the complexities of large-scale data collection, including concurrent request orchestration, automatic cookie handling, and robots.txt compliance. By utilizing an asynchronous execution model, the engine maintains high throughput while preventing resource exhaustion during recursive or distributed crawling tasks. The framework is distinguished by its modular, event-driven architecture, which allows developers to hook into sp
Performs network requests in the background to keep the application responsive during large-scale extraction.
Gocrawlercrawlingframework - qd-today/qd
qd-today/qd
5,525عرض على GitHubqd هو محرك تنفيذ من جانب الخادم وجدول طلبات مصمم لأتمتة مهام الشبكة المتكررة. يعمل كمؤتمت للمهام يقوم بتحويل ملفات HTTP Archive إلى قوالب طلبات قابلة لإعادة الاستخدام للتنفيذ المجدول. يتم تشغيل النظام بواسطة خادم غير محظور (non-blocking) يدير محرك تنفيذ يعتمد على المؤقت. يسمح هذا للمشروع بتنسيق مهام API عن طريق إعادة تشغيل حركة مرور الشبكة الملتقطة وتشغيل طلبات الشبكة بناءً على فترات زمنية متكررة محددة. تغطي الأداة مجموعة واسعة من إمكانيات الأتمتة، بما في ذلك تهيئة المهام القائمة على المخطط وإرسال الطلبات عديمة الحالة للحفاظ على سير عمل مؤتمت متسق.
Implements a server-side execution engine for managing and triggering high-concurrency recurring HTTP network tasks.
Pythoncheckindockerhar
