spyoungtech/grequests
Grequests
Grequests es un cliente HTTP asíncrono y un wrapper para la librería Requests que utiliza corrutinas de Gevent para ejecutar múltiples peticiones de red de forma concurrente. Utiliza un pool de conexiones no bloqueante para gestionar peticiones salientes simultáneas y mejorar el rendimiento en comparación con la ejecución secuencial.
La librería cuenta con un generador de respuestas asíncrono que devuelve las respuestas HTTP a medida que se completan, en lugar de esperar a que todo el lote finalice. Proporciona un mecanismo para limitar el número de conexiones activas para gestionar el consumo de recursos y evitar la sobrecarga de los servidores de destino.
El proyecto cubre capacidades para la gestión de peticiones por lotes, web scraping de alto volumen y sondeo de APIs de forma concurrente. Incluye soporte para transmitir cuerpos de respuesta grandes para mantener un bajo uso de memoria y gestiona los tiempos de espera de red y errores de conexión inyectando estados de error en la lista de respuestas.
Features
- Parallel Request Executions - Sends multiple HTTP requests concurrently using Gevent to reduce total wait time.
- Asynchronous HTTP Clients - Uses Gevent coroutines as an asynchronous HTTP client to execute concurrent network requests.
- Asynchronous Request Execution - Executes multiple network requests concurrently using non-blocking patterns to improve throughput.
- Concurrent Request Pools - Wraps the Requests library to manage pools of asynchronous connections for batch network operations.
- Request Batching - Manages groups of network requests and processes results using a generator as tasks complete.
- Concurrent Request Limits - Limits the number of simultaneous outgoing requests to manage resource consumption and prevent server overloading.
- Completion-Based Batch Generators - Provides a streaming interface that yields HTTP responses as they complete instead of waiting for the entire batch.
- Response Body Streaming - Handles massive HTTP response bodies through streaming to keep memory usage low.
- Response Streaming - Processes large HTTP response bodies as continuous data streams to minimize memory usage.
- Completion-Based Batch Generators - Yields responses as a generator as they complete, allowing processing without waiting for the entire batch.
- High Performance Scraping - Gathers information from many web pages quickly using a managed pool of non-blocking requests.
- API Polling - Fetches data from multiple API endpoints simultaneously with connection limits to avoid rate limits.
