Awesome GitHub RepositoriesProxy Crawler Frameworks

This project is a proxy aggregation platform designed to collect and verify free proxy server lists from web platforms, social media, and public repositories. It functions as a crawler framework that gathers proxy data and subscription links, a validation tool for testing server liveness, and a synchronization service for distributing the results. The system uses a plugin-based architecture that allows for the integration of custom Python scripts to handle diverse web source structures. It also includes utilities to transform raw proxy data into standardized configuration formats compatible w

ProxyPool is a proxy pool manager that automatically collects, validates, and serves HTTP proxies from multiple sources through a web API. At its core, it runs scheduled background processes that scrape free and paid proxy websites, test each proxy's availability against configurable target URLs using asynchronous HTTP clients, and store the results in a Redis-backed sorted set where proxies are scored and ranked by reliability. The system distinguishes itself through a pluggable crawler architecture that allows users to add new proxy sources by writing a simple class with target URLs and a p

Haipproxy este un gateway proxy de înaltă disponibilitate și un manager distribuit de pool-uri proxy. Acesta constă dintr-un sistem pentru stocarea și rotirea adreselor IP proxy verificate folosind Redis, un sistem de web crawling pentru a descoperi proxy-uri anonime din surse publice și un motor de validare care verifică funcționalitatea proxy-ului față de domenii țintă specifice. Proiectul implementează un strat middleware care oferă un punct de intrare stabil pentru cereri prin rotirea automată a adreselor IP de backend. Aceasta include un server proxy local care acționează ca o punte între client și pool, decuplându-le prin actualizarea listelor interne de IP-uri. Sistemul acoperă gestionarea distribuită a IP-urilor, preluarea proxy-urilor anonime și monitorizarea sănătății pentru a urmări metricile operaționale și bug-urile aplicației în medii la scară largă. Oferă, de asemenea, logică de validare specifică site-ului pentru a se asigura că proxy-urile sunt funcționale pentru anumite domenii, nu doar active global.

IPProxyPool este un manager de pool de proxy-uri HTTP care scanează, validează și servește o listă rotativă de adrese proxy funcționale printr-un API programatic. Acesta integrează scraping-ul de proxy-uri, validarea conectivității și stocarea persistentă în baza de date pentru a oferi o sursă gestionată de adrese IP pentru cererile de rețea. Sistemul utilizează o arhitectură de scraping bazată pe plugin-uri pentru a colecta adrese IP de pe mai multe site-uri web externe și o coadă de validare asincronă pentru a testa acești candidați în paralel. Își diferențiază pool-ul prin atribuirea unor scoruri numerice de stabilitate proxy-urilor prin verificări periodice de sănătate și verificare a conectivității, permițând regăsirea adreselor cu stabilitate ridicată, filtrate după regiune și protocol. Proiectul include un strat de abstractizare a bazei de date cu backend-uri pluggable pentru persistența datelor și oferă instrumente pentru eliminarea intrărilor proxy specifice. De asemenea, suportă logică de validare personalizată pentru a defini criteriile specifice utilizate pentru a determina validitatea proxy-ului.