4 Repos
Specialized storage implementations for persisting and indexing lists of network proxy servers.
Distinct from Persistent Relational Storage: Candidates cover general relational storage or browser persistence; this is specifically for proxy pool persistence.
Explore 4 awesome GitHub repositories matching data & databases · Proxy Address Storage. Refine with filters or upvote what's useful.
This project is a Python-based proxy pool manager that collects, validates, and serves free proxy IP addresses through an HTTP API. It consists of an automated scraper to gather addresses from multiple online sources, a persistent database-backed store for organization, and a delivery interface for retrieving validated proxies. The system features a pluggable scraper architecture that allows for the integration of custom discovery methods and source expansion via generator functions. It employs decorator-based validation logic, enabling the definition of custom connectivity and HTTPS criteria
Saves validated proxy addresses into a database hash for persistent storage and high-speed retrieval.
This project is a proxy aggregation platform designed to collect and verify free proxy server lists from web platforms, social media, and public repositories. It functions as a crawler framework that gathers proxy data and subscription links, a validation tool for testing server liveness, and a synchronization service for distributing the results. The system uses a plugin-based architecture that allows for the integration of custom Python scripts to handle diverse web source structures. It also includes utilities to transform raw proxy data into standardized configuration formats compatible w
Syncs aggregated proxy lists to remote cloud services and external storage for distribution.
Dieses Projekt bietet Sammlungen kuratierter Hostname-zu-IP-Mappings, die entwickelt wurden, um Konnektivitätsfehler zu beheben und den Zugriff auf Cloud-basierte Service-Domains zu beschleunigen. Es fungiert als DNS-Host-Mapping-Liste, die verwendet wird, um Auflösungsfehler für spezifische Dienste zu umgehen, einschließlich eines dedizierten Repositories von IP-Adressen für GitHub-Domains, um das Laden von Bildern und die Seitenstabilität wiederherzustellen. Das System bietet Netzwerk-Konfigurations-Utilities, die die Synchronisierung lokaler Hosts-Dateien mit Remote-Quellen automatisieren. Diese Utilities nutzen einen geplanten Update-Zyklus, um Netzwerkadressen zu aktualisieren und aktuelle Mappings beizubehalten, wodurch Verbindungsverluste durch IP-Änderungen verhindert werden. Das Projekt deckt die Optimierung der Domain-Auflösung und die Stabilisierung des Netzwerkzugriffs ab, indem gängige Service-Domains auf verifizierte IP-Adressen gemappt werden. Dieser Ansatz umgeht unzuverlässige DNS-Auflösungen, um eine stabile Konnektivität zu externen Webdiensten zu gewährleisten.
Fetches curated IP address lists from remote repositories to keep local DNS mappings current.
IPProxyPool ist ein HTTP-Proxy-Pool-Manager, der eine rotierende Liste funktionaler Proxy-Adressen crawlt, validiert und über eine programmatische API bereitstellt. Er integriert Proxy-Scraping, Konnektivitätsvalidierung und persistente Datenbankspeicherung, um eine verwaltete Quelle von IP-Adressen für Netzwerkanfragen bereitzustellen. Das System verwendet eine plugin-basierte Scraping-Architektur, um IP-Adressen von mehreren externen Websites zu sammeln, sowie eine asynchrone Validierungswarteschlange, um diese Kandidaten parallel zu testen. Es differenziert seinen Pool durch die Zuweisung numerischer Stabilitäts-Scores an Proxys mittels periodischer Health-Checks und Konnektivitätsverifizierung, was den Abruf hochstabiler Adressen ermöglicht, die nach Region und Protokoll gefiltert sind. Das Projekt enthält eine Datenbank-Abstraktionsschicht mit anschließbaren Backends für die Datenpersistenz und bietet Tools zum Löschen spezifischer Proxy-Einträge. Es unterstützt zudem benutzerdefinierte Validierungslogik, um die spezifischen Kriterien zur Bestimmung der Proxy-Gültigkeit zu definieren.
Implements specialized storage for persisting and indexing lists of validated network proxy servers.