Awesome GitHub RepositoriesConcurrent Request Pooling

Guzzle is a PHP HTTP client used for sending synchronous and asynchronous requests to web services. It serves as a concurrent HTTP request manager, an HTTP stream handler, and a middleware-based HTTP pipeline. The project is a PSR-7 compliant client, utilizing standardized PHP interfaces for requests, responses, and streams. The library differentiates itself through a customizable functional handler stack that allows for the interception and modification of the request and response lifecycle. It features an adapter-based transport system that enables swapping between network implementations,

This project is a comprehensive educational guide and framework for building web scrapers using Python. It provides a course-based approach to data extraction, combining a Python crawler framework with tutorials on web reverse engineering and network traffic analysis. The project distinguishes itself by covering advanced extraction challenges, including the decryption of obfuscated JavaScript and the bypass of anti-scraping measures. It specifically addresses mobile application scraping through the simulation of user interactions and the interception of network traffic. The capability surfac

Puma is a concurrent HTTP server for Ruby applications that implements the Rack interface. It operates as a clustered web server, using a combination of worker processes and threads to handle multiple simultaneous web connections via TCP ports or UNIX domain sockets. The server features a master-worker process model that utilizes multiple CPU cores and employs copy-on-write preloading to reduce memory usage. It supports zero-downtime restarts through socket-handover capabilities, allowing application updates without dropping pending network requests. The project includes a token-authenticate

This project is a JavaScript-based HTTP download manager and accelerator designed to increase file transfer rates within a web browser. It functions as a multi-threaded download accelerator that retrieves remote resources by splitting files into smaller segments for simultaneous downloading. The tool utilizes HTTP range requests to fetch multiple file segments in parallel, maximizing available network bandwidth. It manages this process through a client-side blob buffer and memory management system that stores binary data before assembling the segments into the final file. The system covers c

Iron este un framework web Rust utilizat pentru construirea de aplicații web concurente și API-uri. Acesta funcționează ca un server HTTP concurent și oferă un dispatcher de rute stateless pentru a mapa căile URL și glob-urile către funcții handler specifice. Proiectul este centrat în jurul unui pipeline de cereri bazat pe middleware, care permite extinderea ciclului cerere-răspuns prin plugin-uri și modificatori. Utilizează un container de stare thread-safe pentru a stoca memoria partajată a aplicației, accesibilă tuturor handlerelor și middleware-urilor concurente. Framework-ul acoperă zone largi de capabilități, inclusiv rutarea dinamică a API-urilor, găzduirea de fișiere statice și gestionarea stării sesiunilor web. Include, de asemenea, instrumente pentru logarea traficului HTTP și parsarea body-urilor cererilor și a parametrilor URL.

Faraday is an HTTP client library for Ruby that sends requests and processes responses through a middleware pipeline with pluggable adapters. Its core identity is built around a middleware-pipeline architecture where HTTP requests and responses flow through a chain of components that can modify, log, or transform data before reaching the backend, combined with an adapter-based backend abstraction that delegates HTTP execution to interchangeable backends like Net::HTTP or Typhoeus. The library distinguishes itself through a parallel-execution engine that dispatches multiple HTTP requests concu

Trafilatura is a Python library and command-line tool for extracting clean, structured text and metadata from web pages. It downloads HTML content, identifies the main body of text, and strips away navigation, ads, and other boilerplate, returning the core article content along with fields like title, author, date, and URL. The tool can also extract user comments and test whether a page contains extractable text, making it a general-purpose web text extraction library. What distinguishes Trafilatura from simpler extractors is its configurable extraction pipeline, which offers high-speed, high

Hakrawler is a command-line web spider tool designed for security reconnaissance, built to crawl target websites and extract hyperlinks along with JavaScript file references. As a focused reconnaissance utility, it collects every discoverable URL and script source from a given domain, mapping the attack surface for penetration testing and vulnerability assessment. The tool differentiates itself through its concurrent architecture: a fixed-size goroutine pool fetches pages in parallel, while CSS selectors parse HTML to extract anchor and script references. A depth-aware recursion limiter preve

resumable.js is a JavaScript library for managing large file uploads using the HTML5 File API. It functions as a chunked data transmitter and resumable upload manager, dividing files into smaller segments to ensure reliable delivery to a remote server. The library is distinguished by its ability to recover upload progress after network interruptions or browser restarts. It achieves this through resumable data transfer and server-side chunk verification, which checks for existing segments on the server to avoid redundant data transmission. The system manages concurrent file uploads and reques

Grequests este un batcher HTTP asincron și o bibliotecă client bazată pe Gevent, utilizată pentru a executa simultan seturi mari de cereri de rețea. Funcționează ca un wrapper de cereri concurente pentru biblioteca Requests, permițând operațiuni non-blocante pentru a reduce timpul total de așteptare a răspunsurilor de la server. Proiectul oferă un model de execuție bazat pe task-pool pentru a gestiona operațiunile de rețea în lot, cum ar fi web scraping-ul de mare throughput și interogarea API-urilor. Poate transmite răspunsurile prin streaming pe măsură ce sosesc, printr-un generator, permițând procesarea imediată a datelor fără a aștepta finalizarea întregului lot. Biblioteca acoperă domenii largi de capabilități, inclusiv gestionarea concurentă a cererilor HTTP și gestionarea excepțiilor de cerere în timpul execuției în lot.

Waybackurls is a command-line OSINT tool that retrieves every known URL for a given domain from the Wayback Machine archive. It functions as a domain reconnaissance utility, discovering forgotten API endpoints, legacy pages, and hidden files by querying the public web archive API. The tool processes domains independently and statelessly, reading domain names from standard input and streaming discovered URLs line-by-line to standard output. This design enables seamless integration into Unix command pipelines, allowing users to chain waybackurls with other tools for filtering, sorting, and furt

Typhoeus is a Ruby wrapper for libcurl that functions as a session-based HTTP client. It provides an interface for making both synchronous and asynchronous network requests. The project acts as a parallel request manager, using a managed queue to execute multiple network requests concurrently. It further distinguishes itself as a mocking tool for stubbing requests with predefined responses and as a caching layer that stores responses to avoid redundant network calls. The library covers a broad range of capabilities including session cookie management, response body streaming for large files,

ShuiZe_0x727 este un framework de colectare de informații open-source (OSINT) și un instrument de gestionare a suprafeței de atac. Acesta funcționează ca un motor de descoperire a activelor și un agregator de informații cibernetice, conceput pentru a identifica activele expuse la internet, a mapa infrastructura de rețea și a vizualiza expunerea totală a rețelei. Proiectul integrează scanarea vulnerabilităților și detectarea scurgerilor de date sensibile pentru a identifica slăbiciunile de securitate și punctele de acces neautorizate. Utilizează o combinație de interogări API pentru spațiul de rețea, analiza log-urilor de certificate și scanarea depozitelor publice pentru a extrage credențiale scurse, chei API și căi administrative interne. Framework-ul oferă capabilități pentru colectarea automatizată de informații și cercetarea în domeniul securității cibernetice, utilizând un motor de scanare bazat pe plugin-uri pentru a detecta vulnerabilități în servicii web și porturi deschise. Datele despre active și constatările de securitate sunt exportate în foi de calcul formatate pentru analiză și audit offline.

Ali este un instrument de testare a încărcării HTTP și un generator de trafic utilizat pentru a măsura performanța și stabilitatea sistemului prin trimiterea unor volume mari de cereri către un URL țintă. Acesta funcționează ca un exportator de metrici de performanță și vizualizator în timp real, simulând comportamentul clientului prin corpuri de cerere configurabile, headere personalizate și suport HTTP/2. Proiectul oferă monitorizarea performanței în timp real prin grafice interactive care trasează latența și percentilele cererilor pe măsură ce datele sunt colectate. Identifică blocajele sistemului printr-o combinație de trasare a performanței live și exportarea punctelor de date brute și a rezumatelor agregate în fișiere pentru analiză post-test. Instrumentul acoperă capabilități largi în gestionarea traficului, inclusiv controlul comportamentelor de rețea, cum ar fi conexiunile keep-alive și setările de timeout pentru cereri. De asemenea, suportă testarea de stres a API-urilor prin configurații bazate pe parametri ale metodelor și payload-urilor HTTP.

JobSpy is a job board scraper and listing aggregator designed to extract employment opportunities from multiple websites and compile them into a unified dataset. It functions as a job search automation tool that programmatically collects vacancies based on keywords, locations, and specific filters. The project serves as a web scraping framework that utilizes proxy routing and user-agent rotation to bypass rate limits and avoid server-side blocking during data extraction. It includes infrastructure for concurrent request aggregation and schema-based data normalization to ensure consistent form