4 repository-uri
Specialized storage implementations for persisting and indexing lists of network proxy servers.
Distinct from Persistent Relational Storage: Candidates cover general relational storage or browser persistence; this is specifically for proxy pool persistence.
Explore 4 awesome GitHub repositories matching data & databases · Proxy Address Storage. Refine with filters or upvote what's useful.
This project is a Python-based proxy pool manager that collects, validates, and serves free proxy IP addresses through an HTTP API. It consists of an automated scraper to gather addresses from multiple online sources, a persistent database-backed store for organization, and a delivery interface for retrieving validated proxies. The system features a pluggable scraper architecture that allows for the integration of custom discovery methods and source expansion via generator functions. It employs decorator-based validation logic, enabling the definition of custom connectivity and HTTPS criteria
Saves validated proxy addresses into a database hash for persistent storage and high-speed retrieval.
This project is a proxy aggregation platform designed to collect and verify free proxy server lists from web platforms, social media, and public repositories. It functions as a crawler framework that gathers proxy data and subscription links, a validation tool for testing server liveness, and a synchronization service for distributing the results. The system uses a plugin-based architecture that allows for the integration of custom Python scripts to handle diverse web source structures. It also includes utilities to transform raw proxy data into standardized configuration formats compatible w
Syncs aggregated proxy lists to remote cloud services and external storage for distribution.
Acest proiect oferă colecții de mapări hostname-to-IP curatoriate, concepute pentru a rezolva eșecurile de conectivitate și a accelera accesul la domeniile serviciilor cloud. Funcționează ca o listă de mapare DNS host utilizată pentru a ocoli eșecurile de rezoluție pentru servicii specifice, incluzând un repository dedicat de adrese IP pentru domeniile GitHub pentru a restabili încărcarea imaginilor și stabilitatea paginilor. Sistemul dispune de utilitare de configurare a rețelei care automatizează sincronizarea fișierelor hosts locale cu surse la distanță. Aceste utilitare utilizează un ciclu de actualizare programat pentru a reîmprospăta adresele de rețea și a menține mapările curente, prevenind pierderea conexiunii cauzată de schimbările de IP. Proiectul acoperă optimizarea rezoluției domeniilor și stabilizarea accesului la rețea prin maparea domeniilor de servicii comune către adrese IP verificate. Această abordare ocolește rezoluția DNS nesigură pentru a asigura o conectivitate stabilă către serviciile web externe.
Fetches curated IP address lists from remote repositories to keep local DNS mappings current.
IPProxyPool este un manager de pool de proxy-uri HTTP care scanează, validează și servește o listă rotativă de adrese proxy funcționale printr-un API programatic. Acesta integrează scraping-ul de proxy-uri, validarea conectivității și stocarea persistentă în baza de date pentru a oferi o sursă gestionată de adrese IP pentru cererile de rețea. Sistemul utilizează o arhitectură de scraping bazată pe plugin-uri pentru a colecta adrese IP de pe mai multe site-uri web externe și o coadă de validare asincronă pentru a testa acești candidați în paralel. Își diferențiază pool-ul prin atribuirea unor scoruri numerice de stabilitate proxy-urilor prin verificări periodice de sănătate și verificare a conectivității, permițând regăsirea adreselor cu stabilitate ridicată, filtrate după regiune și protocol. Proiectul include un strat de abstractizare a bazei de date cu backend-uri pluggable pentru persistența datelor și oferă instrumente pentru eliminarea intrărilor proxy specifice. De asemenea, suportă logică de validare personalizată pentru a defini criteriile specifice utilizate pentru a determina validitatea proxy-ului.
Implements specialized storage for persisting and indexing lists of validated network proxy servers.