2 repository-uri
Specialized key-value stores designed for the efficient organization and retrieval of validated proxy addresses.
Distinct from SQL-Backed Stores: Specifically for storing proxy lists and their validation status, not general SQL-backed key-value storage for arbitrary data.
Explore 2 awesome GitHub repositories matching data & databases · Proxy Stores. Refine with filters or upvote what's useful.
This project is a Python-based proxy pool manager that collects, validates, and serves free proxy IP addresses through an HTTP API. It consists of an automated scraper to gather addresses from multiple online sources, a persistent database-backed store for organization, and a delivery interface for retrieving validated proxies. The system features a pluggable scraper architecture that allows for the integration of custom discovery methods and source expansion via generator functions. It employs decorator-based validation logic, enabling the definition of custom connectivity and HTTPS criteria
Implements a persistent database-backed store using hashes for high-speed proxy IP retrieval.
IPProxyPool este un manager de pool de proxy-uri HTTP care scanează, validează și servește o listă rotativă de adrese proxy funcționale printr-un API programatic. Acesta integrează scraping-ul de proxy-uri, validarea conectivității și stocarea persistentă în baza de date pentru a oferi o sursă gestionată de adrese IP pentru cererile de rețea. Sistemul utilizează o arhitectură de scraping bazată pe plugin-uri pentru a colecta adrese IP de pe mai multe site-uri web externe și o coadă de validare asincronă pentru a testa acești candidați în paralel. Își diferențiază pool-ul prin atribuirea unor scoruri numerice de stabilitate proxy-urilor prin verificări periodice de sănătate și verificare a conectivității, permițând regăsirea adreselor cu stabilitate ridicată, filtrate după regiune și protocol. Proiectul include un strat de abstractizare a bazei de date cu backend-uri pluggable pentru persistența datelor și oferă instrumente pentru eliminarea intrărilor proxy specifice. De asemenea, suportă logică de validare personalizată pentru a defini criteriile specifice utilizate pentru a determina validitatea proxy-ului.
Provides a specialized storage layer for efficient organization and retrieval of validated proxy addresses and their status.