2 repositorios
Tools for processing large volumes of data in sequential groups to optimize throughput and resource usage.
Distinct from Batch Processing: Closest candidates are either cloud-specific or limited to audio processing; this is a general utility for sequential thread iteration.
Explore 2 awesome GitHub repositories matching data & databases · Batch Processing Utilities. Refine with filters or upvote what's useful.
Hardseed is a command-line forum media scraper and content archiver. It extracts images and torrent seeds from internet forums in bulk, saving the media and associated metadata to local directories. The tool utilizes a proxy-enabled web scraping engine that rotates network traffic through multiple proxy servers and protocols to bypass rate limits and network restrictions. It includes a keyword-based media filter that matches user-defined strings within entry titles to include or exclude specific topics. The system manages data extraction through batch-processed thread iteration and range-lim
Processes forum entries in sequenced groups to extract media without overloading the source server.
spotifytoytmusic es una herramienta de migración de bibliotecas musicales diseñada para transferir listas de reproducción y canciones favoritas de Spotify a YouTube Music. Funciona como una utilidad de sincronización multiplataforma que recrea bibliotecas musicales haciendo coincidir los metadatos y títulos de las canciones entre ambos proveedores de streaming. La herramienta ofrece capacidades para la migración completa de listas de reproducción y transferencia de canciones favoritas, asegurando que las colecciones curadas se reconstruyan en el servicio de destino. También sirve como utilidad de respaldo, permitiendo a los usuarios exportar metadatos de música y contenidos de listas a archivos locales para evitar la pérdida de datos durante cambios de proveedor. El sistema gestiona estas transferencias mediante integraciones de API REST y autenticación OAuth2 para acceder y modificar de forma segura las cuentas de usuario. Emplea coincidencia de pistas basada en metadatos para identificar canciones y utiliza procesamiento por lotes secuencial para manejar grandes colecciones.
Processes large track collections in sequential groups to avoid hitting API rate limits.