2 repository-uri
Scheduled data acquisition workflows that utilize proxy layers to avoid detection or blocking.
Distinct from Data Acquisition Workflows: Focuses on the technical execution of polling via proxies, whereas Data Acquisition Workflows are broader project lifecycle requirements.
Explore 2 awesome GitHub repositories matching data & databases · Proxy-Based Collection Pipelines. Refine with filters or upvote what's useful.
WARP-Clash-API este un serviciu backend conceput pentru a gestiona endpoint-urile Cloudflare WARP și a genera configurații de rutare și link-uri de abonament compatibile cu ecosistemul de proxy Clash. Funcționează ca un server de abonament proxy și un manager de gateway VPN pentru a securiza și redirecționa traficul de rețea. Proiectul utilizează un optimizator de endpoint-uri de rețea pentru a filtra adresele IP în funcție de latență și pierderea de pachete pentru conexiuni stabile. Implementează un ciclu automat de reîmprospătare a credențialelor pentru cheile de licență și folosește validarea cu cheie secretă pentru a controla accesul la setările de abonament. Sistemul include capabilități pentru gestionarea pool-urilor de proxy, inclusiv rotația IP-urilor și achiziția programată de date pentru a preveni blocarea la nivel de server. De asemenea, dispune de generare de configurații bazată pe template-uri pentru a distribui setările de rețea către clienți terți.
Executes regular polling of external resources using a managed proxy layer to ensure consistent data collection.
Jitsu is an open-source customer data platform designed to orchestrate event data pipelines. It captures, transforms, and routes behavioral data from web and server sources into data warehouses and analytics tools, providing a unified infrastructure for managing event streams. The platform distinguishes itself through its focus on self-hosted, containerized operations that grant users full control over their data security and privacy. It features a robust identity resolution engine that stitches disparate user identifiers into persistent profiles across sessions and devices, alongside program
Routes tracking requests through a custom domain endpoint to bypass browser-level ad blockers and maintain data collection reliability.