11 repository-uri
End-to-end processes for parsing documents, generating embeddings, and storing chunks for semantic retrieval.
Distinct from Index Construction: Covers the full pipeline from parsing to storage, whereas index construction focuses only on populating the structure.
Explore 11 awesome GitHub repositories matching data & databases · Knowledge Base Construction. Refine with filters or upvote what's useful.
QAnything is a retrieval-augmented generation application framework and self-hosted AI interface. It functions as a system that combines a vector database knowledge base, a document parsing service, and a hybrid search engine to generate answers based on private user data. The project features a modular pipeline architecture that allows users to independently replace components such as parsers, embedding models, and reranking engines. It supports local-first model deployment and offline operation to ensure data privacy, and includes a two-stage retrieval pipeline that merges dense vector embe
Implements end-to-end processes for parsing documents, generating embeddings, and storing chunks for semantic retrieval.
Redis is a high-performance in-memory key-value store that functions as a distributed cache, message broker, and NoSQL database. It provides sub-millisecond read and write access to data stored in RAM and can operate as a vector database for indexing high-dimensional embeddings. The system supports a wide range of data storage and synchronization primitives, including the management of strings, hashes, lists, sets, and JSON documents. It enables real-time data operations through atomic transactions, hybrid persistence using snapshots and append-only logs, and high-availability configurations
Parses documents and creates vector embeddings to build searchable knowledge bases for semantic search.
Skill Seekers is a toolset for generating large language model knowledge bases, featuring a multi-source content scraper and a dedicated RAG data pipeline. It extracts technical data from documentation, code, and video to create structured assets and configuration files for AI-powered IDE extensions. The project distinguishes itself through the ability to transform raw data into polished tutorials and specialized skills for AI plugin marketplaces. It utilizes abstract syntax tree parsing and optical character recognition to analyze GitHub repositories, PDFs, and video frames, converting these
Converts documentation and diverse data sources into structured formats for retrieval pipelines and vector databases.
This project is a collection of tutorials and guides for building large language model applications using the LangChain framework, written in Chinese. It serves as a learning resource for developing software that integrates language models with memory and chain-based logic. The resource provides specific walkthroughs for implementing retrieval augmented generation systems using vector stores and document loaders. It includes guides on creating autonomous agents that dynamically select and execute external tools, as well as tutorials for translating plain text queries into executable database
Walks through the full pipeline of parsing documents and generating embeddings for semantic retrieval.
53AIHub is a centralized orchestration platform for deploying and managing AI agents and prompts across multiple large language model providers. It functions as a multi-model AI gateway and an operation portal for AI services, providing a unified interface to coordinate agents and prompts from various external platforms. The project distinguishes itself as a white-label AI portal designed for self-hosted infrastructure, allowing for full control over operational data on private servers or containers. It includes a comprehensive AI SaaS administration layer with a multi-tenant subscription eng
Implements end-to-end processes for parsing documents and generating embeddings for semantic retrieval.
Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP
Processes knowledge files to create searchable vector-based knowledge bases for question-answering tasks.
DesktopCommanderMCP is a Model Context Protocol (MCP) server that gives AI agents direct access to local files, shell commands, and system processes through natural language instructions. It acts as a unified bridge between conversational commands and desktop operations, enabling an AI to translate plain English into file management, code editing, system command execution, data analysis, and software scaffolding tasks without needing its own API. The server exposes these capabilities as structured tools via the MCP protocol, so any compatible agent can interact with the local environment in a
Creates, updates, and organizes local markdown notes and converts scattered data into structured living documents.
Nexent este un plan de control AI enterprise și o platformă de orchestrare a agenților LLM. Oferă un mediu zero-code pentru proiectarea, implementarea și gestionarea agenților AI de producție printr-un framework de colaborare multi-agent care coordonează agenți autonomi specializați folosind protocoale de mesagerie standardizate. Platforma integrează Model Context Protocol pentru a conecta agenții cu instrumente, plugin-uri și servicii externe printr-o interfață de comunicare universală. Se distinge în continuare printr-un manager dedicat de baze de cunoștințe RAG care importă documente nestructurate și utilizează căutarea hibridă pentru a oferi context fundamentat pentru răspunsurile modelului. Sistemul acoperă o gamă largă de capabilități, inclusiv controlul accesului multi-tenant bazat pe roluri, interacțiunea multimodală prin text, voce și imagini, și regăsirea vectorială hibridă. Include, de asemenea, o piață pentru distribuția și descoperirea agenților, alături de instrumente de observabilitate pentru capturarea urmelor de execuție. Platforma suportă deployment securizat prin împachetare offline containerizată pentru infrastructuri air-gapped.
Parses and vectorizes various document formats into searchable knowledge bases with integrated access controls.
Cube Studio este o platformă MLOps cloud-native și un orchestrator AI bazat pe Kubernetes, conceput pentru întregul ciclu de viață al învățării automate. Oferă un framework de antrenare distribuită pentru fine-tuning-ul modelelor la scară largă, un manager de resurse GPU pentru virtualizarea hardware și un orchestrator de pipeline-uri ML care utilizează grafuri aciclice direcționate vizuale pentru a gestiona fluxurile de lucru end-to-end. Platforma se distinge prin serverul său specializat de inferență LLM, care suportă generarea augmentată prin recuperare (RAG) și construirea de baze de cunoștințe private. Dispune de un sistem dedicat pentru fine-tuning supervizat și învățare prin consolidare a modelelor de limbaj mari, completat de instrumente vizuale de căutare a hiperparametrilor. Sistemul acoperă o gamă largă de capabilități operaționale, inclusiv etichetarea datelor multimodale, pipeline-uri de date distribuite și programarea sarcinilor de lucru multi-cluster. De asemenea, oferă medii de dezvoltare interactive bazate pe browser, gestionarea imaginilor de containere și un registru de modele pentru versionarea și implementarea API-urilor de inferență scalabile cu împărțirea traficului. Infrastructura include monitorizarea integrată a stării clusterului și controlul accesului bazat pe roluri cu integrare single sign-on.
Integrates domain-specific data using embeddings and semantic retrieval to build private knowledge bases.
Acest proiect este un sistem de gestionare a conținutului (CMS) .NET Core și o platformă de gestionare multi-site concepută pentru a organiza și publica conținut digital structurat pe site-uri web independente dintr-o interfață centralizată. Funcționează atât ca un CMS headless, cât și ca un generator de site-uri statice, randând șabloane dinamice în fișiere HTML pentru a crește viteza de încărcare și scalabilitatea. Sistemul integrează generarea augmentată prin recuperare (RAG) pentru a transforma documentele și conținutul site-ului web în baze de cunoștințe AI căutabile. Include un orchestrator vizual de fluxuri de lucru AI pentru a defini logica între interogările utilizatorilor și output-urile modelelor de limbaj mari. Platforma acoperă domenii largi de capabilități, inclusiv modelarea datelor cu schemă flexibilă, organizarea activelor digitale și controlul accesului bazat pe roluri. Suportă publicarea multi-terminal pentru diverse dispozitive, o arhitectură de extensibilitate bazată pe plugin-uri pentru module personalizate și o suită cuprinzătoare de securitate cu criptare a datelor SM4 și apărare împotriva vulnerabilităților web. Software-ul este conceput pentru infrastructură web auto-găzduită și poate fi implementat prin containere Docker pe Windows, Linux și macOS.
Implements an end-to-end pipeline for parsing documents and generating embeddings to create searchable AI knowledge bases.
ClaraVerse is a self-hosted orchestration platform for deploying and managing local language models, autonomous agents, and automated workflows on private infrastructure. It functions as a containerized backend manager that orchestrates services, databases, and model providers within local containers to maintain data sovereignty. The platform features a visual workflow builder with a drag-and-drop interface for designing complex parallel task sequences. It utilizes a multi-model abstraction layer to normalize interactions across diverse local and remote AI endpoints and includes a retrieval a
Implements an end-to-end process for parsing documents and generating embeddings for semantic retrieval.