Awesome GitHub RepositoriesScraped Data Persistence

PythonSpiderNotes is a comprehensive instructional resource and framework for building web crawlers and extracting data using the Python programming language. It provides a set of methods for parsing unstructured HTML and JSON data into structured formats for persistent storage. The project includes detailed guides and tutorials on browser automation for retrieving dynamic content, as well as a framework for data extraction. It specifically covers anti-bot bypass techniques, such as rotating proxies and spoofing headers, to avoid IP blocks and detection systems. The capability surface extend

This project is a Python web scraping tutorial and framework designed for building automated data extraction tools and web crawlers. It provides a structured approach to navigating websites and persisting scraped data to databases. The project includes a toolset for web API analysis, focusing on reverse engineering obfuscated API requests and inspecting network traffic to extract structured data. It also covers optical character recognition workflows to convert visual text within images into machine-readable strings. The framework covers capabilities for headless browser automation to handle

Acest proiect este un plugin de metadate Jellyfin și un furnizor de bibliotecă media conceput pentru a prelua informații despre filme și emisiuni de la servere backend la distanță. Funcționează ca un organizator media automatizat care populează bibliotecile Jellyfin cu titluri, biografii ale actorilor și imagini. Plugin-ul include un motor local de detectare a feței pentru a centra și decupa automat miniaturile actorilor și coperțile media. De asemenea, oferă instrumente de traducere care utilizează API-uri externe pentru a converti rezumatele și recenziile filmelor în limbile țintă. Sistemul gestionează organizarea media prin gruparea video pe mai multe discuri, remaparea genurilor și etichetarea limbii subtitrărilor. Suportă îmbunătățiri vizuale, cum ar fi adăugarea indicatorilor de subtitrare pe postere și încorporarea previzualizărilor trailerelor la distanță. Serviciul backend poate fi instalat prin binar sau container, cu opțiuni pentru deployment în cloud și securitate bazată pe token-uri.

Distribute crawler este un framework distribuit de web scraping care se integrează cu Scrapy pentru a coordona mai multe instanțe de crawler în clustere. Utilizează o coadă de sarcini centralizată pentru a gestiona și scala operațiunile de colectare a datelor concurente, permițând scalarea orizontală a sarcinilor de scraping pe mai multe noduri worker. Framework-ul se distinge prin accentul pus pe gestionarea datelor la scară largă și controlul traficului. Persistă elementele colectate și resursele binare în clustere de baze de date orientate pe documente, utilizând logica de deduplicare pentru a optimiza lățimea de bandă și stocarea. Pentru a menține colectarea consistentă a datelor din surse protejate, folosește strategii automate anti-blocare, inclusiv rotația identității cererilor, limitarea dinamică a vitezei și ajustări ale concurenței bazate pe responsivitatea site-ului țintă. Sistemul include o infrastructură cuprinzătoare pentru supravegherea operațională, oferind monitorizarea performanței în timp real și agregarea metricilor. Suportă un pipeline modular de cereri care permite injectarea de headere personalizate și gestionarea comportamentului în timpul procesului de crawling.