4 dépôts
Specialized storage implementations for persisting and indexing lists of network proxy servers.
Distinct from Persistent Relational Storage: Candidates cover general relational storage or browser persistence; this is specifically for proxy pool persistence.
Explore 4 awesome GitHub repositories matching data & databases · Proxy Address Storage. Refine with filters or upvote what's useful.
This project is a Python-based proxy pool manager that collects, validates, and serves free proxy IP addresses through an HTTP API. It consists of an automated scraper to gather addresses from multiple online sources, a persistent database-backed store for organization, and a delivery interface for retrieving validated proxies. The system features a pluggable scraper architecture that allows for the integration of custom discovery methods and source expansion via generator functions. It employs decorator-based validation logic, enabling the definition of custom connectivity and HTTPS criteria
Saves validated proxy addresses into a database hash for persistent storage and high-speed retrieval.
This project is a proxy aggregation platform designed to collect and verify free proxy server lists from web platforms, social media, and public repositories. It functions as a crawler framework that gathers proxy data and subscription links, a validation tool for testing server liveness, and a synchronization service for distributing the results. The system uses a plugin-based architecture that allows for the integration of custom Python scripts to handle diverse web source structures. It also includes utilities to transform raw proxy data into standardized configuration formats compatible w
Syncs aggregated proxy lists to remote cloud services and external storage for distribution.
Ce projet fournit des collections de mappings nom d'hôte-vers-IP curatés, conçus pour résoudre les échecs de connectivité et accélérer l'accès aux domaines de services cloud. Il fonctionne comme une liste de mapping d'hôtes DNS utilisée pour contourner les échecs de résolution pour des services spécifiques, incluant un dépôt dédié d'adresses IP pour les domaines GitHub afin de restaurer le chargement des images et la stabilité des pages. Le système dispose d'utilitaires de configuration réseau qui automatisent la synchronisation des fichiers hosts locaux avec des sources distantes. Ces utilitaires utilisent un cycle de mise à jour planifié pour rafraîchir les adresses réseau et maintenir les mappings actuels, empêchant la perte de connexion causée par les changements d'IP. Le projet couvre l'optimisation de la résolution de domaine et la stabilisation de l'accès réseau en mappant les domaines de services communs vers des adresses IP vérifiées. Cette approche contourne la résolution DNS peu fiable pour assurer une connectivité stable aux services web externes.
Fetches curated IP address lists from remote repositories to keep local DNS mappings current.
IPProxyPool est un gestionnaire de pool de proxy HTTP qui crawle, valide et sert une liste rotative d'adresses proxy fonctionnelles via une API programmatique. Il intègre le scraping de proxy, la validation de connectivité et le stockage en base de données persistante pour fournir une source gérée d'adresses IP pour les requêtes réseau. Le système utilise une architecture de scraping basée sur des plugins pour collecter des adresses IP depuis plusieurs sites web externes et une file d'attente de validation asynchrone pour tester ces candidats en parallèle. Il différencie son pool en attribuant des scores de stabilité numériques aux proxys via des vérifications de santé périodiques et une vérification de connectivité, permettant la récupération d'adresses à haute stabilité filtrées par région et protocole. Le projet inclut une couche d'abstraction de base de données avec des backends enfichables pour la persistance des données et fournit des outils pour purger des entrées proxy spécifiques. Il prend également en charge une logique de validation personnalisée pour définir les critères spécifiques utilisés pour déterminer la validité d'un proxy.
Implements specialized storage for persisting and indexing lists of validated network proxy servers.