3 Repos
Awesome GitHub RepositoriesHTTP Control Interfaces
RESTful interfaces used to trigger and monitor the status of crawler tasks.
Distinct from Distributed Crawler Orchestrators: Focuses on the control interface for a single crawler instance rather than distributed coordination across environments.
Explore 3 awesome GitHub repositories matching web development · HTTP Control Interfaces. Refine with filters or upvote what's useful.
Awesome HTTP Control Interfaces GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- builderio/gpt-crawler
BuilderIO/gpt-crawler
22,248Auf GitHub ansehengpt-crawler is a web scraping utility designed to extract website content and convert it into structured text files for use as AI model knowledge bases. It functions as a data generator that crawls specified web addresses to produce the knowledge files required for building custom GPTs, grounding large language models, and providing context to AI agents. The system transforms raw HTML into clean Markdown text to reduce token usage and improve readability for AI models. It utilizes token-aware content chunking and output file size limitations to ensure generated datasets remain compatible with
Exposes a REST interface to remotely trigger and monitor scraping tasks.
TypeScript - dataabc/weibo-crawler
dataabc/weibo-crawler
4,541Auf GitHub ansehenDieses Projekt ist ein Sina Weibo-Web-Scraper und eine Social-Media-Datenpipeline, die darauf ausgelegt ist, Benutzerprofile, Beiträge, Kommentare und Multimedia-Assets zu extrahieren. Es fungiert als containerisierter Daten-Crawler, der die Sammlung und lokale Speicherung von Social-Media-Inhalten und Engagement-Metriken automatisiert. Das System umfasst eine Verarbeitungsschicht, die Large Language Models zur Analyse der gescrapten Texte verwendet, um Zusammenfassungen und Sentiment-Analysen zu generieren. Es unterscheidet sich durch ein einsatzbereites Container-Modell mit einer HTTP-Schnittstelle zur Verwaltung von Extraktionsaufgaben und zur Überwachung des Fortschritts. Der Crawler deckt ein breites Spektrum an Funktionen ab, darunter Social-Media-Monitoring mittels geplanter inkrementeller Updates, Archivierung von Multimedia-Assets auf lokalen Festplatten und Datenexport in verschiedenen Formaten in Flat-Files oder Datenbanken. Zudem erfasst er detaillierte soziale Interaktionen wie Kommentare erster Ebene und Reposts.
Ships a RESTful interface used to trigger crawling jobs and monitor their execution progress.
Pythoncrawlerweiboweibo-spider - automatic-ripping-machine/automatic-ripping-machine
automatic-ripping-machine/automatic-ripping-machine
4,595Auf GitHub ansehenAutomatic Optical Disc Ripping Server is a headless system that detects inserted CDs, DVDs, and Blu-rays to automatically extract media, transcode video, and eject discs. It functions as a multi-drive media digitizer using a concurrent processing pipeline to rip and transcode media from several optical drives simultaneously without queuing. The system includes an asynchronous video transcoding pipeline that batches conversion tasks to run during scheduled off-peak hours. It also serves as a media server automation tool, fetching metadata from online APIs to name folders and trigger library re
Exposes an HTTP API for monitoring and controlling rip jobs, logs, and configuration on a headless server.
Pythonautomaticblu-raycd
