spyoungtech/grequests
Grequests
Grequests ist ein asynchroner HTTP-Client und Wrapper für die Requests-Bibliothek, der Gevent-Coroutinen verwendet, um mehrere Netzwerkanfragen gleichzeitig auszuführen. Er nutzt einen nicht-blockierenden Connection-Pool, um gleichzeitige ausgehende Anfragen zu verwalten und den Durchsatz im Vergleich zur sequenziellen Ausführung zu verbessern.
Die Bibliothek bietet einen asynchronen Response-Generator, der HTTP-Antworten zurückgibt, sobald sie abgeschlossen sind, anstatt auf das Ende eines gesamten Batches zu warten. Sie bietet einen Mechanismus zur Begrenzung der Anzahl aktiver Verbindungen, um den Ressourcenverbrauch zu steuern und eine Überlastung der Zielserver zu verhindern.
Das Projekt deckt Funktionen für das Batch-Request-Management, hochvolumiges Data Scraping und gleichzeitiges API-Polling ab. Es unterstützt das Streaming großer Antwort-Bodies, um den Speicherverbrauch gering zu halten, und verwaltet Netzwerk-Timeouts sowie Verbindungsfehler durch das Injizieren von Fehlerzuständen in die Antwortliste.
Features
- Parallel Request Executions - Sends multiple HTTP requests concurrently using Gevent to reduce total wait time.
- Asynchronous HTTP Clients - Uses Gevent coroutines as an asynchronous HTTP client to execute concurrent network requests.
- Asynchronous Request Execution - Executes multiple network requests concurrently using non-blocking patterns to improve throughput.
- Concurrent Request Pools - Wraps the Requests library to manage pools of asynchronous connections for batch network operations.
- Request Batching - Manages groups of network requests and processes results using a generator as tasks complete.
- Concurrent Request Limits - Limits the number of simultaneous outgoing requests to manage resource consumption and prevent server overloading.
- Completion-Based Batch Generators - Provides a streaming interface that yields HTTP responses as they complete instead of waiting for the entire batch.
- Response Body Streaming - Handles massive HTTP response bodies through streaming to keep memory usage low.
- Response Streaming - Processes large HTTP response bodies as continuous data streams to minimize memory usage.
- Completion-Based Batch Generators - Yields responses as a generator as they complete, allowing processing without waiting for the entire batch.
- High Performance Scraping - Gathers information from many web pages quickly using a managed pool of non-blocking requests.
- API Polling - Fetches data from multiple API endpoints simultaneously with connection limits to avoid rate limits.
