32 रिपॉजिटरी
Specialized retrieval of page structures and content from remote content management systems.
Distinct from Remote Data Fetching: Distinct from general remote data fetching by focusing specifically on CMS page data retrieval for frontend rendering.
Explore 32 awesome GitHub repositories matching data & databases · CMS Content Fetching. Refine with filters or upvote what's useful.
Claude Code is a command-line interface and multi-agent orchestration framework designed for autonomous software engineering. It enables AI agents to perform codebase modifications, debugging, and Git workflow management while coordinating multiple specialized agents to decompose and execute complex engineering tasks in parallel. The system distinguishes itself through a high degree of isolation and safety, utilizing Git worktrees to create independent working directories for concurrent agents and implementing a tiered permission system that combines user rules, project policies, and OS-level
Downloads web content from URLs and converts it to Markdown for LLM processing.
gpt-oss is an open-weight large language model and reasoning engine designed for complex reasoning and agentic workflows. It functions as an AI agent framework and model serving API, allowing for local deployment and the hosting of standardized interfaces to expose model completions and internal reasoning processes. The project distinguishes itself as a quantized inference engine, utilizing tensor parallelism and weight quantization to run high-parameter models on limited hardware. It features a reasoning model that employs chain-of-thought processing to solve multi-step logical tasks. The s
Fetches and converts web page content into a format optimized for LLM consumption and citation.
NotionNext is a static site generator and blog engine that transforms Notion workspace pages into public websites. It functions as a cloud-deployed content management system using the Next.js framework to render data fetched from the Notion API. The system utilizes a template-based layout system to map page categories to predefined visual themes. This allows for the creation of portfolios and blogs where the visual appearance is separated from the content structure. The platform includes automated search engine optimization through metadata-driven sitemap and HTML tag generation. It supports
Retrieves page data from a remote Notion workspace to populate the website frontend.
Reader is a digital content reader and browser-based document viewer. It functions as a digital library manager and content aggregator that collects articles and documents from various online sources into a single interface. The project utilizes a JSON-driven approach to organize and display hierarchies of digital documents. It incorporates a REST-based aggregation model to fetch reading materials and metadata from remote servers for a unified viewing experience. The application provides client-side rendering for digital texts and manages personal collections through a digital library system
Retrieves structured page data and reading materials from remote servers to populate the local view.
EmDash is an open-source content management system built on Astro that combines a visual admin panel with a plugin-driven architecture and server-side rendering. It provides a complete content management system with structured content modeling, a rich text editor using Portable Text format, and a TypeScript API for type-safe content queries. The system supports authentication through passkeys, OAuth 2.1, and external providers, with role-based access control and fine-grained permission scopes. What distinguishes EmDash is its plugin development framework, which supports both native plugins ru
Retrieves every entry for a given content type with error handling.
Carlo is a Node.js web rendering framework and desktop application bundler. It functions as a server-side browser controller and headless automation bridge that uses a local browser instance as the primary user interface for Node.js applications. The project distinguishes itself by providing a bidirectional bridge for cross-environment JavaScript integration, allowing server-side functions to be exposed to the browser window object and enabling the execution of page-context code from the server. It includes capabilities for packaging applications into standalone desktop executables, complete
Fetches and renders the primary application interface from a specified remote origin.
Deep Searcher is an open-source retrieval-augmented generation engine that indexes private documents into a vector database and uses large language models to answer complex questions with cited reasoning. It functions as both a command-line interface and a web API research tool, enabling users to load data and generate comprehensive reports by combining indexed private information with LLM-powered analysis. The system distinguishes itself through a plugin-based provider architecture that supports multiple embedding models, LLM providers, vector databases, and file loaders as interchangeable c
Fetches and indexes content from specified URLs using configurable web crawlers for inclusion in the knowledge base.
Yao is an LLM agent framework and low-code web app builder designed for orchestrating autonomous AI agents. It provides a platform to design, deploy, and coordinate agents with specialized personas that can plan tasks, utilize external tools, and execute multi-stage pipelines. The project distinguishes itself through a Model Context Protocol server for connecting assistants to external binaries and HTTP services, and a gRPC remote execution engine that allows agents to manage remote servers and devices. It includes a model-agnostic provider bridge that supports dynamic switching between vario
Retrieves data, prices, and pages from external websites using a built-in scraping service optimized for LLM use.
Horizon is an AI-powered news aggregation system designed to build custom pipelines that fetch, filter, and enrich information from diverse web sources. It utilizes large language models to automate information filtering, scoring content to remove noise and highlight high-value stories. The system integrates the Model Context Protocol to expose pipeline stages as tools for external AI assistants. It employs a unified adapter to standardize diverse AI model providers for consistent content scoring and summarization tasks. The pipeline aggregates data from RSS feeds, social platforms, financia
Builds custom workflows to fetch, deduplicate, and enrich data from diverse web sources before final delivery.
Airweave is a unified AI knowledge base platform that syncs data from external APIs into a searchable layer for retrieval-augmented generation. It provides a pre-built data connector library and a framework for building custom connectors, enabling the extraction, transformation, and synchronization of structured and unstructured data from SaaS applications. The platform includes a hybrid vector retrieval system that combines semantic, neural, and keyword search strategies to deliver grounded context for AI agents. The platform distinguishes itself through an agentic search engine that iterati
Fetches web content from ClinicalTrials.gov pages for downstream LLM consumption.
Rainmeter is a Windows desktop widget engine that renders customizable skins and interactive widgets directly on the desktop, supporting live data feeds and user interaction. It functions as a desktop customization platform and skin authoring framework, allowing users to create widgets by defining data sources and visual elements with full style and layout control. The engine includes a Lua scripting runtime for extending widget functionality with custom logic and data processing, and provides a plugin SDK with a C/C++ API for building native plugins that add new data sources or rendering capa
Fetches and parses web content from URLs and RSS feeds for display in desktop widgets.
Fetches web content and converts it for use by language models in the IDA Pro context.
react-notion-x एक React-आधारित रेंडरिंग इंजन और TypeScript क्लाइंट है जिसे Notion API डेटा को फॉर्मेट किए गए वेब पेजों और कंपोनेंट्स में बदलने के लिए डिज़ाइन किया गया है। यह एक कंटेंट पार्सर और रेंडरर के रूप में कार्य करता है जो Notion API प्रतिक्रियाओं को प्रदर्शित करने के लिए सुसंगत डेटा स्ट्रक्चर्स में फेच, नॉर्मलाइज़ और प्रोसेस करता है। इस प्रोजेक्ट में जटिल Notion पेज कंटेंट और ब्लॉक स्ट्रक्चर्स को प्लेन टेक्स्ट मार्कडाउन में बदलने के लिए एक यूटिलिटी शामिल है। प्रदर्शन बनाए रखने के लिए, यह एक लेज़ी-लोडिंग इंटरफेस का उपयोग करता है जो PDFs और गणितीय समीकरणों जैसे भारी एलिमेंट्स की लोडिंग को स्थगित कर देता है। रेंडरर सिंटैक्स हाइलाइटिंग वाले कोड ब्लॉक्स, डेटा कलेक्शंस और एम्बेडेड डॉक्यूमेंट्स सहित कंटेंट टाइप्स की एक विस्तृत श्रृंखला का समर्थन करता है। यह सार्वजनिक और निजी दोनों पेजों तक पहुंचने की क्षमताएं प्रदान करता है और इसमें लो-क्वालिटी प्लेसहोल्डर्स जैसी इमेज ऑप्टिमाइज़ेशन तकनीकें शामिल हैं।
Provides a typed client to retrieve page structures and content from the Notion API.
node-DeepResearch is an autonomous web research engine that uses large language models to iteratively search, read, and reason over web content to answer complex questions. It provides a chat-based interface that displays real-time reasoning steps and final answers, and can be configured to focus exclusively on academic papers by limiting searches to academic repositories. The research engine operates through an agentic search-read-reason loop that repeatedly searches, reads, and reasons until a stopping condition is satisfied. It enforces a token budget to cap total consumption and failed at
Fetches web pages, extracts clean markdown text, and generates image captions for language model ingestion.
TAICHI-flet एक AI-एकीकृत संसाधन ब्राउज़र और Flet के साथ निर्मित Windows डेस्कटॉप एप्लिकेशन है। यह कृत्रिम बुद्धिमत्ता यूटिलिटीज़ को फिल्मों, संगीत और सॉफ़्टवेयर को खोजने और एक्सेस करने के टूल्स के साथ संयोजित करने के लिए डिज़ाइन किया गया एक केंद्रीकृत मल्टीमीडिया हब और वेब कंटेंट एग्रीगेटर के रूप में कार्य करता है। यह एप्लिकेशन क्लाउड स्टोरेज ड्राइव और बाहरी वेब पतों सहित कई स्रोतों से संसाधनों के एकत्रीकरण को सक्षम बनाता है। यह एनीमे और संगीत को स्ट्रीम और डाउनलोड करने, टेक्स्ट-टू-स्पीच प्लेबैक के साथ ऑनलाइन उपन्यास पढ़ने, और कृत्रिम बुद्धिमत्ता का उपयोग करके Windows ऑपरेटिंग सिस्टम पर कार्यों को स्वचालित करने के लिए विशेष टूल्स प्रदान करता है। इंटरफ़ेस में कंटेंट श्रेणियों के बीच स्विच करने के लिए एक टैब-आधारित नेविगेशन सिस्टम और डेस्कटॉप सौंदर्यशास्त्र व वॉलपेपर को कस्टमाइज़ करने के लिए एक थीम मैनेजमेंट सिस्टम शामिल है। तकनीकी क्षमताओं में रिमोट छवियों के लिए क्रॉस-ऑरिजिन सुरक्षा प्रतिबंधों को बायपास करने के लिए प्रॉक्सी सर्वर का उपयोग और लंबे समय तक चलने वाले कार्यों के दौरान इंटरफ़ेस की प्रतिक्रियाशीलता बनाए रखने के लिए डेमन-थ्रेड प्रोसेसिंग शामिल है।
Downloads HTML and binary data from web addresses to retrieve external multimedia resources.
Crawler4j एक मल्टी-थ्रेडेड Java वेब क्रॉलर और स्पाइडर है जिसे हाई-वॉल्यूम वेब ट्रैवर्सल और कंटेंट एक्सट्रैक्शन के लिए डिज़ाइन किया गया है। यह एक विनम्र (polite) क्रॉलिंग फ्रेमवर्क के रूप में कार्य करता है जो कई वेबसाइटों पर HTML और बाइनरी कंटेंट की खोज और इंडेक्सिंग को सक्षम बनाता है। यह प्रोजेक्ट एक पर्सिस्टेंट क्रॉलिंग मॉडल के माध्यम से खुद को अलग करता है जो सेशन स्टेट को लोकल स्टोरेज में सीरियलाइज़ करता है, जिससे इंजन क्रैश या रुकावट के बाद इंडेक्सिंग को फिर से शुरू कर सकता है। इसमें सर्वर ओवरलोडिंग और IP ब्लॉकिंग को रोकने के लिए अनुरोध आवृत्ति और देरी को विनियमित करने के लिए एक पोलाइटनेस कंट्रोलर शामिल है। यह सिस्टम डेप्थ-लिमिटेड स्कोप मैनेजमेंट, टारगेट फ़िल्टरिंग, और कस्टम यूज़र एजेंट्स व प्रॉक्सी रूटिंग के लिए रिक्वेस्ट इंटरसेप्शन सहित ट्रैवर्सल क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। डेटा स्टोरेज को एक रिपॉजिटरी पैटर्न के माध्यम से संभाला जाता है जो क्रॉलिंग लॉजिक को रिलेशनल डेटाबेस में पेज मेटाडेटा के पर्सिस्टेंस से अलग करता है।
Provides control over whether to follow redirects, include encrypted pages, or process specific content types.
iflow-cli is a command-line interface and suite of AI tools designed for software engineering, workflow orchestration, and multimodal data analysis. It functions as an LLM command line interface that enables users to execute AI workflows, analyze codebase structures, and interact with large language models directly from the terminal. The project features a plugin-based agent architecture that allows for the integration of specialized domain experts and custom instruction sets from an external marketplace. It distinguishes itself through a multimodal AI terminal capable of processing visual da
Extracts raw content from specific URLs to provide text optimized for analysis by language models.
Templater is an Obsidian template engine and JavaScript automation plugin that functions as a dynamic content generator and workflow orchestrator. It enables the automation of document creation and note-taking tasks through the use of dynamic placeholders and embedded logic. The project distinguishes itself by executing custom JavaScript and shell commands to manipulate files and insert data. It allows for interactive note generation via modal prompts for user input and the import of external JavaScript modules to provide reusable logic outside of template files. Its capabilities include pro
Executes HTTP requests to retrieve remote web content for use within documents.
ollama-js एक JavaScript क्लाइंट लाइब्रेरी और API रैपर है जो लार्ज लैंग्वेज मॉडल के साथ इंटरैक्ट करने और उन्हें मैनेज करने के लिए एक प्रोग्रामेटिक इंटरफ़ेस प्रदान करती है। यह स्थानीय और क्लाउड-आधारित दोनों एनवायरनमेंट में मॉडल के निष्पादन को सक्षम बनाती है, जो कन्वर्सेशनल टेक्स्ट के निर्माण और मॉडल लाइफसाइकिल के मैनेजमेंट को सुविधाजनक बनाती है। यह प्रोजेक्ट मॉडल एडमिनिस्ट्रेशन के लिए विशेष टूल प्रदान करके खुद को अलग करता है, जिसमें मॉडल को डाउनलोड, बनाने और हटाने की क्षमता, साथ ही कस्टम मॉडल ब्लूप्रिंट और प्रॉम्प्ट टेम्प्लेट को परिभाषित करने की क्षमता शामिल है। यह सिमेंटिक सर्च और रिट्रीवल पाइपलाइनों का समर्थन करने के लिए संख्यात्मक टेक्स्ट प्रतिनिधित्व उत्पन्न करने के लिए एक वेक्टर एम्बेडिंग क्लाइंट भी प्रदान करता है। यह लाइब्रेरी मल्टीमॉडल विश्लेषण, आंतरिक तर्क ट्रेसेस (reasoning traces) के कैप्चर और डेटा निष्कर्षण के लिए स्ट्रक्चर्ड JSON स्कीमा के प्रवर्तन सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है। यह टूल इनवोकेशन और एसिंक्रोनस जनरेटर के माध्यम से रिस्पॉन्स की स्ट्रीमिंग के माध्यम से उन्नत मॉडल इंटरैक्शन का भी समर्थन करती है। यह लाइब्रेरी TypeScript में लिखी गई है।
Retrieves raw content from specified URLs for use within language model workflows.
OpenSquilla is an LLM agent orchestration framework designed to coordinate multi-step AI workflows and tool execution using directed acyclic graphs. It functions as a centralized system for managing specialized skill packages and executing complex reasoning sequences. The project distinguishes itself through a routing gateway that directs tasks to different AI providers based on complexity, cost, and performance. It utilizes a multi-tier AI memory system that organizes working, episodic, and semantic knowledge using local embeddings and SQLite, alongside a secure execution sandbox that isolat
Deno AI Agent reads the full content of a specific URL to perform deep inspection of a page.