1 Repo
Awesome GitHub RepositoriesBulk
Automated retrieval of metadata and media for large sets of identifiers.
Distinct from Content Extraction: Focuses on the high-volume, batch-driven nature of the extraction rather than general content parsing.
Explore 1 awesome GitHub repository matching data & databases · Bulk. Refine with filters or upvote what's useful.
Awesome Bulk GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- drawrowfly/tiktok-scraper
drawrowfly/tiktok-scraper
5,120Auf GitHub ansehenDieses Projekt ist ein spezialisierter TikTok-API-Scraper und Datenextraktor. Es fungiert als Proxy-basierter Web-Scraper, der Metadaten von Benutzern, Videobeiträge und Trend-Feeds sammelt und eine Webhook-Datenpipeline bereitstellt, um die gescrapten Informationen via HTTP-Requests an externe URLs weiterzuleiten. Das Tool enthält einen Downloader für Videos ohne Wasserzeichen, der hochauflösende Inhalte im lokalen Speicher ablegt. Es verwendet kryptografische Request-Signierung zur Server-Authentifizierung und nutzt Session-Cookie-Authentifizierung in Kombination mit Proxy-Rotation, um den Netzwerkverkehr zu steuern und Ratenbegrenzungen zu umgehen. Die Funktionen umfassen die Massenextraktion von Inhalten durch Batch-Processing-Pipelines sowie den Abruf von Metadaten für Profile, Hashtags und Musiktitel. Extrahierte Daten werden in strukturierte JSON- oder CSV-Formate exportiert; zudem wird der lokale Status nachverfolgt, um den Download-Verlauf zu protokollieren und doppelte Anfragen zu verhindern.
Processes lists of identifiers to extract metadata and download videos in bulk.
TypeScript
