spyoungtech/grequests
Grequests
Grequests هو عميل HTTP غير متزامن ومغلف (wrapper) لمكتبة Requests يستخدم Gevent coroutines لتنفيذ طلبات شبكة متعددة في وقت واحد. يستخدم مجمع اتصالات غير حاصر (non-blocking connection pool) لإدارة الطلبات الصادرة المتزامنة وتحسين الإنتاجية مقارنة بالتنفيذ التسلسلي.
تتميز المكتبة بمولد استجابة غير متزامن يعيد استجابات HTTP فور اكتمالها، بدلاً من انتظار اكتمال الدفعة بأكملها. يوفر آلية لتحديد عدد الاتصالات النشطة لإدارة استهلاك الموارد ومنع تحميل خوادم الوجهة بشكل زائد.
يغطي المشروع إمكانيات إدارة طلبات الدفعات، وكشط البيانات (web scraping) عالي الحجم، واستطلاع API المتزامن. يتضمن دعماً لبث أجسام الاستجابة الكبيرة للحفاظ على استخدام منخفض للذاكرة، ويدير مهلات الشبكة وأخطاء الاتصال عن طريق حقن حالات الخطأ مرة أخرى في قائمة الاستجابة.
Features
- Parallel Request Executions - Sends multiple HTTP requests concurrently using Gevent to reduce total wait time.
- Asynchronous HTTP Clients - Uses Gevent coroutines as an asynchronous HTTP client to execute concurrent network requests.
- Asynchronous Request Execution - Executes multiple network requests concurrently using non-blocking patterns to improve throughput.
- Concurrent Request Pools - Wraps the Requests library to manage pools of asynchronous connections for batch network operations.
- Request Batching - Manages groups of network requests and processes results using a generator as tasks complete.
- Concurrent Request Limits - Limits the number of simultaneous outgoing requests to manage resource consumption and prevent server overloading.
- Completion-Based Batch Generators - Provides a streaming interface that yields HTTP responses as they complete instead of waiting for the entire batch.
- Response Body Streaming - Handles massive HTTP response bodies through streaming to keep memory usage low.
- Response Streaming - Processes large HTTP response bodies as continuous data streams to minimize memory usage.
- Completion-Based Batch Generators - Yields responses as a generator as they complete, allowing processing without waiting for the entire batch.
- High Performance Scraping - Gathers information from many web pages quickly using a managed pool of non-blocking requests.
- API Polling - Fetches data from multiple API endpoints simultaneously with connection limits to avoid rate limits.
