3 مستودعات
Awesome GitHub RepositoriesHTTP Control Interfaces
RESTful interfaces used to trigger and monitor the status of crawler tasks.
Distinct from Distributed Crawler Orchestrators: Focuses on the control interface for a single crawler instance rather than distributed coordination across environments.
Explore 3 awesome GitHub repositories matching web development · HTTP Control Interfaces. Refine with filters or upvote what's useful.
Awesome HTTP Control Interfaces GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- builderio/gpt-crawler
BuilderIO/gpt-crawler
22,248عرض على GitHubgpt-crawler is a web scraping utility designed to extract website content and convert it into structured text files for use as AI model knowledge bases. It functions as a data generator that crawls specified web addresses to produce the knowledge files required for building custom GPTs, grounding large language models, and providing context to AI agents. The system transforms raw HTML into clean Markdown text to reduce token usage and improve readability for AI models. It utilizes token-aware content chunking and output file size limitations to ensure generated datasets remain compatible with
Exposes a REST interface to remotely trigger and monitor scraping tasks.
TypeScript - dataabc/weibo-crawler
dataabc/weibo-crawler
4,541عرض على GitHubهذا المشروع عبارة عن أداة كشط (scraper) لـ Sina Weibo وخط أنابيب بيانات لوسائل التواصل الاجتماعي مصمم لاستخراج ملفات تعريف المستخدمين، والمنشورات، والتعليقات، وأصول الوسائط المتعددة. يعمل كزاحف بيانات حاوي (containerized) يقوم بأتمتة جمع وتخزين محتوى وسائل التواصل الاجتماعي ومقاييس التفاعل محلياً. يتضمن النظام طبقة معالجة تستخدم نماذج لغوية كبيرة لتحليل النصوص المكتوبة، وتوليد ملخصات وتحليل للمشاعر. يتميز بنموذج حاوية جاهز للنشر يتميز بواجهة HTTP لإدارة مهام الاستخراج ومراقبة تقدم العمل. يغطي الزاحف مجموعة واسعة من الإمكانيات، بما في ذلك مراقبة وسائل التواصل الاجتماعي عبر تحديثات مجدولة تزايدية، وأرشفة أصول الوسائط المتعددة على الأقراص المحلية، وتصدير البيانات بتنسيقات متعددة إلى ملفات مسطحة أو قواعد بيانات. كما يلتقط التفاعلات الاجتماعية التفصيلية، مثل التعليقات من المستوى الأول وإعادة النشر.
Ships a RESTful interface used to trigger crawling jobs and monitor their execution progress.
Pythoncrawlerweiboweibo-spider - automatic-ripping-machine/automatic-ripping-machine
automatic-ripping-machine/automatic-ripping-machine
4,595عرض على GitHubAutomatic Optical Disc Ripping Server is a headless system that detects inserted CDs, DVDs, and Blu-rays to automatically extract media, transcode video, and eject discs. It functions as a multi-drive media digitizer using a concurrent processing pipeline to rip and transcode media from several optical drives simultaneously without queuing. The system includes an asynchronous video transcoding pipeline that batches conversion tasks to run during scheduled off-peak hours. It also serves as a media server automation tool, fetching metadata from online APIs to name folders and trigger library re
Exposes an HTTP API for monitoring and controlling rip jobs, logs, and configuration on a headless server.
Pythonautomaticblu-raycd
