2 Repos
Awesome GitHub RepositoriesProxy Stores
Specialized key-value stores designed for the efficient organization and retrieval of validated proxy addresses.
Distinct from SQL-Backed Stores: Specifically for storing proxy lists and their validation status, not general SQL-backed key-value storage for arbitrary data.
Explore 2 awesome GitHub repositories matching data & databases · Proxy Stores. Refine with filters or upvote what's useful.
Awesome Proxy Stores GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- jhao104/proxy_pool
jhao104/proxy_pool
23,426Auf GitHub ansehenThis project is a Python-based proxy pool manager that collects, validates, and serves free proxy IP addresses through an HTTP API. It consists of an automated scraper to gather addresses from multiple online sources, a persistent database-backed store for organization, and a delivery interface for retrieving validated proxies. The system features a pluggable scraper architecture that allows for the integration of custom discovery methods and source expansion via generator functions. It employs decorator-based validation logic, enabling the definition of custom connectivity and HTTPS criteria
Implements a persistent database-backed store using hashes for high-speed proxy IP retrieval.
Pythoncrawlerhttpproxy - qiyeboy/ipproxypool
qiyeboy/IPProxyPool
4,274Auf GitHub ansehenIPProxyPool ist ein HTTP-Proxy-Pool-Manager, der eine rotierende Liste funktionaler Proxy-Adressen crawlt, validiert und über eine programmatische API bereitstellt. Er integriert Proxy-Scraping, Konnektivitätsvalidierung und persistente Datenbankspeicherung, um eine verwaltete Quelle von IP-Adressen für Netzwerkanfragen bereitzustellen. Das System verwendet eine plugin-basierte Scraping-Architektur, um IP-Adressen von mehreren externen Websites zu sammeln, sowie eine asynchrone Validierungswarteschlange, um diese Kandidaten parallel zu testen. Es differenziert seinen Pool durch die Zuweisung numerischer Stabilitäts-Scores an Proxys mittels periodischer Health-Checks und Konnektivitätsverifizierung, was den Abruf hochstabiler Adressen ermöglicht, die nach Region und Protokoll gefiltert sind. Das Projekt enthält eine Datenbank-Abstraktionsschicht mit anschließbaren Backends für die Datenpersistenz und bietet Tools zum Löschen spezifischer Proxy-Einträge. Es unterstützt zudem benutzerdefinierte Validierungslogik, um die spezifischen Kriterien zur Bestimmung der Proxy-Gültigkeit zu definieren.
Provides a specialized storage layer for efficient organization and retrieval of validated proxy addresses and their status.
Python
