3 dépôts
Awesome GitHub RepositoriesContent Processing Pipelines
Pipelines that fetch raw web content and process it through a parser for application use.
Distinct from Web Content Fetching: Focuses on the full pipeline from fetch to parser, whereas Web Content Fetching focus on the retrieval aspect.
Explore 3 awesome GitHub repositories matching data & databases · Content Processing Pipelines. Refine with filters or upvote what's useful.
Awesome Content Processing Pipelines GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- thysrael/horizon
Thysrael/Horizon
7,357Voir sur GitHubHorizon est un système d'agrégation de nouvelles alimenté par l'IA, conçu pour construire des pipelines personnalisés qui récupèrent, filtrent et enrichissent les informations provenant de diverses sources web. Il utilise des grands modèles de langage pour automatiser le filtrage de l'information, notant le contenu pour supprimer le bruit et mettre en évidence les histoires à haute valeur. Le système intègre le Model Context Protocol pour exposer les étapes du pipeline en tant qu'outils pour les assistants IA externes. Il emploie un adaptateur unifié pour standardiser divers fournisseurs de modèles IA pour des tâches cohérentes de notation et de résumé de contenu. Le pipeline agrège des données provenant de flux RSS, de plateformes sociales, de boîtes à outils financières et de dépôts de code. Il gère le contenu par déduplication, filtrage de catégorie basé sur des quotas et enrichissement contextuel avant de livrer des briefings multilingues par email, webhooks ou déploiement de site statique. Les workflows sont orchestrés par une automatisation cloud récurrente pour gérer la collecte et la livraison planifiées des informations traitées.
Builds custom workflows to fetch, deduplicate, and enrich data from diverse web sources before final delivery.
Python - kanasimi/work_crawler
kanasimi/work_crawler
4,073Voir sur GitHubThis project is a web-based manga and novel downloader and multi-site web scraper designed to extract images and text from diverse media platforms. It functions as a digital media archiver and EPUB e-book generator, using a plugin-based crawler architecture with site-specific scripts to define how content is extracted from various international websites. The system distinguishes itself through authenticated web crawling, using browser cookie simulation to access restricted or member-only content. It includes specialized capabilities for digital comic archiving, which organizes image sequences
Implements a sequential workflow that fetches raw web content and processes it into structured archives and e-books.
JavaScriptcejscomic-downloadercomics - haleydu/cimoc
Haleydu/Cimoc
3,633Voir sur GitHubCimoc is a manga reader application and cross-platform ebook viewer designed for reading digital comics and image-based documents. It functions as both an online content aggregator and an offline media library, supporting the display of media from local files and remote web sources. The application integrates various web providers through a custom parser system to fetch and display online content. It includes a synchronization system to save application settings and reading progress to a remote server, maintaining consistency across different devices. Users can customize their reading experi
Implements a pipeline that fetches remote data and processes it through parsers before passing it to the viewer.
Javaandroidandroid-comic-readerapk
