Awesome GitHub RepositoriesVector Document Indexing

Pathway is a high-performance data processing framework designed for building unified batch and streaming pipelines. It functions as an orchestrator for complex data transformations, utilizing a differential dataflow engine to process updates incrementally. By treating static datasets and continuous event streams with identical logic, the platform ensures exactly-once processing semantics and consistent results across diverse data sources. The framework distinguishes itself through its specialized support for real-time artificial intelligence and retrieval-augmented generation. It features in

PrivateGPT is a private AI document assistant and local knowledge base manager designed for querying private files and documents using retrieval-augmented generation. It functions as a local language model application and API gateway, allowing users to obtain cited answers from unstructured data without sending information to external servers. The system differentiates itself by acting as a tool integrator that connects language models to external functions, including web search, tabular data analysis, and custom action extensions. It provides a standardized API layer that allows local infere

oh-my-codex is an AI coding workflow orchestrator and a retrieval augmented generation documentation assistant. It manages complex programming tasks through a structured sequence of planning, execution, and verification phases, while providing tools for querying and translating technical documentation. The project utilizes Git worktrees to isolate parallel coding sessions, ensuring that concurrent tasks remain independent. It integrates a vector-store knowledge base to index documents into embeddings, enabling semantic search and factual context retrieval across multiple languages. The syste

Gitbook is a documentation-as-code platform designed for centralized technical knowledge management. It functions as a knowledge management system that synchronizes documentation files directly with version control repositories, allowing teams to maintain content alongside their source code. The platform distinguishes itself through an integrated artificial intelligence layer that provides context-aware search assistance and automated content suggestions. By utilizing block-based content modeling, it enables the construction of structured, modular documentation that can be compiled into stati

Kotaemon is an orchestration framework designed for building modular, agentic workflows that integrate document processing, retrieval-augmented generation, and multi-step reasoning. It provides a comprehensive platform for developing document-based question answering systems, allowing users to chain language models, prompt templates, and external tools into complex, automated pipelines. The system distinguishes itself through a highly modular architecture that emphasizes component-based composition and schema-driven data exchange. It supports autonomous agents capable of decomposing complex q

Mastra is an orchestration framework designed for building, deploying, and managing autonomous AI agents and multi-agent systems. It provides a comprehensive suite of primitives for creating resilient AI applications, including durable workflow orchestration, event-driven agent loops, and semantic memory management. By integrating these core components, the platform enables developers to build complex, multi-step processes that can reason about goals and execute tasks without manual intervention. The framework distinguishes itself through its focus on observability and secure, isolated execut

This project is a retrieval-augmented generation pipeline designed for building custom ChatGPT plugins that allow language models to query private or professional documents. It implements a full retrieval workflow, from processing and indexing document chunks to retrieving relevant context for natural language queries. The system distinguishes itself through a hybrid retrieval approach that combines dense vector embeddings with sparse keyword matching, further refined by a two-stage semantic re-ranking process. It includes specialized data privacy tools for screening personally identifiable i

This repository is a collection of frameworks and guides for Llama models, functioning as a fine-tuning framework, an inference pipeline, and an AI workflow orchestrator. It provides tools for adapting large language models to specific datasets and domains. The project includes a parameter-efficient fine-tuning toolkit that utilizes techniques like low-rank adaptation to reduce memory and compute requirements. It also serves as an implementation guide for retrieval-augmented generation, combining model inference with external data retrieval to improve response accuracy. The capability surfac

DocsGPT is a retrieval-augmented generation platform and private knowledge base used to build AI agents that perform grounded search and analysis. It functions as a multi-model AI orchestrator and enterprise agent builder, allowing for the integration of various local and cloud language models to customize reasoning and text generation. The project provides a visual environment for developing automated assistants using conditional logic and third-party API connectivity. It enables the creation of private AI agents capable of performing enterprise search and detailed document analysis using pr

SurfSense is a self-hosted platform designed for building retrieval-augmented generation pipelines and managing private knowledge bases. It functions as a containerized research stack that allows users to index diverse data sources and query them using language models, ensuring that all information retrieval is grounded in specific source citations. The platform distinguishes itself through its modular architecture, which supports the integration of custom tools and diverse language models via a unified abstraction layer. It facilitates secure, collaborative research environments by implement

QAnything is a retrieval-augmented generation application framework and self-hosted AI interface. It functions as a system that combines a vector database knowledge base, a document parsing service, and a hybrid search engine to generate answers based on private user data. The project features a modular pipeline architecture that allows users to independently replace components such as parsers, embedding models, and reranking engines. It supports local-first model deployment and offline operation to ensure data privacy, and includes a two-stage retrieval pipeline that merges dense vector embe

Unstructured is an enterprise-grade data orchestration engine designed to transform raw, unstructured files into structured, machine-readable formats. It functions as a comprehensive platform for document ingestion, partitioning, and enrichment, specifically engineered to prepare complex data for retrieval-augmented generation and agentic AI workflows. The platform distinguishes itself through its sophisticated document processing strategies, which combine rule-based extraction with vision-language models to handle diverse file layouts, tables, and images. It provides a modular architecture t

Eino is an AI agent development kit and LLM application framework designed for building autonomous agents and orchestrating complex language model workflows. It serves as a multi-agent orchestration engine and workflow orchestrator, providing a graph-based execution model to route data between models, tools, and retrievers. The framework distinguishes itself through a robust set of multi-agent coordination patterns, including supervisor-led management, sequential flows, and autonomous reasoning loops like ReAct. It features advanced agent execution controls such as active turn preemption, che

Genkit es un framework de aplicaciones LLM y un toolkit para desarrolladores de IA generativa diseñado para construir aplicaciones de IA en producción. Sirve como un orquestador de flujos de trabajo de IA que coordina llamadas a modelos y el uso de herramientas agenticas a través de flujos de ejecución con seguridad de tipos. El proyecto proporciona una interfaz de modelo unificada y una arquitectura de plugins para estandarizar el acceso a diversos modelos de lenguaje grandes, almacenes vectoriales y backends de telemetría. Se distingue por una suite de observabilidad dedicada para rastrear pasos de ejecución y un toolkit para desarrolladores para realizar prompts, depurar y evaluar la lógica de IA a través de una interfaz local. El framework cubre una amplia superficie de capacidades, incluyendo orquestación de agentes con llamadas a herramientas y delegación de sub-agentes, generación aumentada por recuperación (RAG) mediante integración con bases de datos vectoriales y generación de salida estructurada usando validación basada en esquemas. También incluye sistemas para la gestión de sesiones con estado, streaming de respuestas basado en eventos y la capacidad de exponer flujos de IA como endpoints HTTP escalables. El desarrollo cuenta con soporte de una interfaz de línea de comandos para ejecutar funciones y gestionar logs.

Genkit is an open-source framework for building AI-powered applications. It provides a unified interface for connecting to hundreds of generative AI models from multiple providers, enabling text, image, audio, and video generation through a single API. The framework structures multi-step AI interactions—including chat, retrieval-augmented generation, tool use, and agentic workflows—as composable, traceable flows with built-in streaming and state management. The framework distinguishes itself through a comprehensive developer toolkit that includes a command-line interface and a local developer

pgai es un kit de herramientas y framework de IA para PostgreSQL diseñado para integrar modelos de lenguaje de gran tamaño (LLM) y embeddings vectoriales directamente en la base de datos. Actúa como un puente para ejecutar solicitudes de modelos de machine learning y realizar traducciones de texto a SQL dentro de consultas estándar de base de datos. El proyecto proporciona un pipeline automatizado de embeddings vectoriales que gestiona la carga, el análisis y la fragmentación de texto desde tablas y documentos no estructurados. Este sistema utiliza un worker en segundo plano para sincronizar los embeddings automáticamente a medida que cambian los datos de origen e incluye herramientas especializadas para crear aplicaciones de generación aumentada por recuperación (RAG) y motores de búsqueda semántica. El kit de herramientas cubre amplias áreas de capacidad, incluyendo el procesamiento de datos no estructurados con OCR, la creación de catálogos semánticos para mapear esquemas de bases de datos a lenguaje natural, y la implementación de búsquedas de similitud de alto rendimiento mediante indexación vectorial y reordenamiento de resultados. También permite el enriquecimiento de datos, la clasificación y la moderación de contenido llamando a modelos externos mediante SQL.

Este proyecto es un stack de desarrollo contenedorizado y framework de aplicaciones para construir sistemas de generación aumentada por recuperación (RAG). Proporciona un sandbox de IA dockerizado que integra entornos de ejecución de modelos locales, grafos de conocimiento y almacenes vectoriales para permitir la creación de chatbots contextuales. El stack se distingue por su almacén vectorial basado en grafos, que combina grafos de conocimiento estructurados con índices vectoriales para la recuperación de datos tanto semánticos como estructurales. Permite el alojamiento de modelos locales con aceleración de CPU o GPU, facilitando tareas generativas sin depender de APIs externas en la nube. El framework cubre una amplia gama de capacidades, incluyendo el procesamiento e indexación de documentos PDF, la orquestación de servicios de IA basados en contenedores y la implementación de generación de respuestas fundamentadas. Incluye una interfaz de chat basada en web con streaming de respuestas incremental y una interfaz estandarizada para cambiar entre diferentes proveedores de modelos de lenguaje. El entorno se inicializa mediante orquestación de contenedores para desplegar rápidamente un stack preconfigurado de modelos y bases de datos.

Este proyecto es un plugin de base de conocimientos y gestor de contexto RAG que utiliza una interfaz de base de datos vectorial local para permitir la búsqueda semántica y el mapeo de relaciones. Transforma texto en vectores numéricos para encontrar notas y extractos semánticamente relacionados basándose en el significado conceptual en lugar de coincidencias de palabras clave. El sistema se diferencia mediante un visualizador de grafos semánticos que mapea las notas en clústeres para revelar conexiones conceptuales. También cuenta con un gestor de contexto capaz de agrupar notas y extractos locales en paquetes reutilizables para proporcionar bases factuales fundamentadas para conversaciones con modelos de lenguaje grandes. La herramienta cubre una amplia gama de capacidades, incluyendo consultas de conocimiento en lenguaje natural, ejecución de flujos de trabajo automatizados para la creación de notas y la capacidad de enrutar prompts entre modelos de IA locales y basados en la nube. Proporciona varias interfaces de descubrimiento, como indicadores de contenido relacionado en línea y un panel inferior para mostrar documentos similares durante el proceso de edición.

zvec is an embedded vector database engine and indexing library designed for high-dimensional similarity search. It functions as a hybrid search engine and a retrieval-augmented generation knowledge base, allowing for the storage and retrieval of dense and sparse vectors. The system is distinguished by its hybrid retrieval pipeline, which fuses vector similarity, full-text keyword matching, and scalar metadata filtering into single query operations. It supports a plugin-based model integration system for registering custom embedding models and rerankers, as well as language bindings for nativ

DrQA es un sistema de respuesta a preguntas de dominio abierto que recupera documentos relevantes de un gran corpus y extrae respuestas específicas a preguntas en lenguaje natural. Se implementa como un sistema de red neuronal que combina un motor de recuperación de documentos con un modelo de comprensión de lectura automática. El sistema utiliza una arquitectura de pipeline de dos etapas. Un recuperador de documentos de grano grueso utiliza vectores de palabras ponderados para identificar documentos potenciales, mientras que un modelo de comprensión de lectura automática de grano fino identifica y extrae el fragmento de texto exacto que contiene la respuesta. El proyecto también incluye un generador de datasets de procesamiento de lenguaje natural supervisado. Esta herramienta crea ejemplos de entrenamiento haciendo coincidir pares de pregunta-respuesta con párrafos de apoyo utilizando heurísticas de cadena automatizadas. La base de código proporciona capacidades adicionales para el procesamiento de texto y tokenización para preparar texto sin procesar para el procesamiento de redes neuronales.