Awesome GitHub RepositoriesContent Processing Pipelines

Horizon este un sistem de agregare de știri bazat pe AI, conceput pentru a construi pipeline-uri personalizate care preiau, filtrează și îmbogățesc informații din diverse surse web. Utilizează modele de limbaj mari pentru a automatiza filtrarea informațiilor, punctând conținutul pentru a elimina zgomotul și a evidenția știrile de mare valoare. Sistemul integrează Model Context Protocol pentru a expune etapele pipeline-ului ca instrumente pentru asistenții AI externi. Utilizează un adaptor unificat pentru a standardiza diverși furnizori de modele AI pentru sarcini consistente de punctare și sumarizare a conținutului. Pipeline-ul agregă date din fluxuri RSS, platforme sociale, seturi de instrumente financiare și depozite de cod. Gestionează conținutul prin deduplicare, filtrare pe categorii bazată pe cote și îmbogățire contextuală înainte de a livra briefing-uri multilingve prin e-mail, webhook-uri sau implementare pe site-uri statice. Fluxurile de lucru sunt orchestrate prin automatizare cloud recurentă pentru a gestiona colectarea și livrarea programată a informațiilor procesate.

Acest proiect este un downloader de manga și romane bazat pe web, precum și un scraper multi-site conceput pentru a extrage imagini și text de pe diverse platforme media. Funcționează ca un arhivator de conținut media digital și generator de e-book-uri EPUB, folosind o arhitectură de crawler bazată pe plugin-uri cu scripturi specifice fiecărui site pentru a defini modul în care este extras conținutul. Sistemul se distinge prin crawling-ul web autentificat, folosind simularea cookie-urilor de browser pentru a accesa conținut restricționat sau destinat membrilor. Include capabilități specializate pentru arhivarea benzilor desenate digitale, care organizează secvențele de imagini în arhive comprimate, și un pipeline de conversie care împachetează textul și imaginile romanelor web în fișiere EPUB standardizate. Software-ul oferă procesare completă a conținutului, inclusiv verificarea integrității imaginilor pentru a asigura o calitate maximă și middleware pentru standardizarea scripturilor chinezești simplificate și tradiționale. Gestionează descărcările printr-un sistem de urmărire a stării care permite reluarea sarcinilor și oferă mai multe modalități de a iniția crawling-ul prin interfață grafică, linie de comandă sau API.

Cimoc is a manga reader application and cross-platform ebook viewer designed for reading digital comics and image-based documents. It functions as both an online content aggregator and an offline media library, supporting the display of media from local files and remote web sources. The application integrates various web providers through a custom parser system to fetch and display online content. It includes a synchronization system to save application settings and reading progress to a remote server, maintaining consistency across different devices. Users can customize their reading experi