1 Repo
Awesome GitHub RepositoriesCrawl Source Management
Utilities for defining and organizing the external targets used by web crawlers.
Distinct from Configuration Source Management: Focuses on crawl target definitions rather than server code paths or GitOps configuration sources.
Explore 1 awesome GitHub repository matching devops & infrastructure · Crawl Source Management. Refine with filters or upvote what's useful.
Awesome Crawl Source Management GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- zu1k/proxypool
zu1k/proxypool
4,017Auf GitHub ansehenProxypool ist ein automatisierter Proxy-Crawler und -Aggregator, der Proxyserver von öffentlichen Seiten und Abonnement-Adressen entdeckt, validiert und kuratiert. Er fungiert als Hintergrunddienst, der Proxy-Knoten über mehrere Protokolle hinweg sammelt und die resultierende validierte Liste über eine Netzwerk-API für die externe Nutzung bereitstellt. Das System verwaltet den gesamten Lebenszyklus der Proxy-Entdeckung durch Aggregation von Daten aus mehreren Quellen, Deduplizierung von Einträgen und Verwendung eines Konnektivitäts-Validators, um sicherzustellen, dass nur aktive und funktionale Knoten beibehalten werden. Crawl-Quellen werden über eine Konfigurationsdatei verwaltet, um spezifische externe Adressen anzusteuern. Das Projekt handhabt die kontinuierliche Proxy-Listenverwaltung durch geplante Hintergrundaufgaben, die das Aktualisieren verfügbarer Knoten automatisieren. Dieser Prozess beinhaltet automatisierte Konnektivitätstests und das Entfernen inaktiver Server, um die kuratierte Liste aktuell zu halten.
Allows defining external targets and sources for the gathering process using a configuration file.
Gocrawlerproxypool
