Awesome GitHub RepositoriesVector Stores

gbrain is an agent framework and retrieval-augmented generation system that combines a durable task queue, a git-synced vector store, and a knowledge graph engine. It provides a foundation for building AI agents that interact with structured knowledge bases using the Model Context Protocol. The system synchronizes markdown files from a git repository into a database for high-performance semantic retrieval and creates typed edges between data pages by extracting entity references and wikilinks. It uses a database-backed queue to execute persistent background jobs and tool loops, ensuring relia

This project is a retrieval-augmented generation application designed to answer questions from uploaded PDF documents. It functions as a document question-answering engine and a streaming AI chat interface that provides responses backed by specific source citations. The system utilizes a state-machine workflow orchestrator to coordinate multi-step document ingestion and retrieval pipelines. This orchestration allows for step-by-step visualization and debugging of the process as documents are parsed and processed. The application manages the full lifecycle of document interaction, including P

This project provides a dockerized AI workflow stack and orchestration templates for deploying a self-hosted AI environment. It establishes a localized infrastructure for building autonomous agents and model chains that process private data on-premises without external cloud dependencies. The environment is designed to support autonomous agent development, allowing models to dynamically select tools, execute shell commands, and interact with local file systems. It includes integrated vector database support to enable retrieval augmented generation and private document analysis. The stack cov

WasmEdge is an extensible WebAssembly runtime that executes WebAssembly bytecode in a secure sandbox for cloud, edge, and embedded applications. It functions as a multi-language compiler, compiling applications written in Rust, JavaScript, Go, and Python into WebAssembly bytecode for sandboxed execution, and as a server-side JavaScript runtime that runs JavaScript programs with ES6 modules, NPM packages, and Node.js-compatible APIs. The runtime also serves as an AI inference runtime, executing AI models from JavaScript using WASI-NN plug-ins for inference tasks on personal devices and edge har

Spring AI is an application framework for Java that provides a portable, fluent API for integrating AI models, tools, and vector stores into applications. It wraps multiple AI providers behind a common interface, allowing developers to switch between chat, embedding, image, and speech models without changing application code. The framework includes a chainable chat client API similar to WebClient or RestClient, supports both synchronous and streaming interactions, and offers structured output conversion that transforms unstructured AI responses into strongly-typed Java objects. The framework

Llama-stack es un stack de orquestación estandarizado y una puerta de enlace de API para IA generativa. Proporciona una capa de comunicación unificada y una interfaz consistente para desplegar, gestionar e interactuar con varios proveedores y despliegues de modelos de lenguaje de gran tamaño. El sistema funciona como un framework de agentes que gestiona la ejecución de herramientas y paquetes de habilidades versionados para automatizar tareas complejas. Incluye un sistema de procesamiento por lotes para manejar grandes volúmenes de solicitudes asíncronas mediante procesamiento offline y una interfaz de base de datos vectorial para almacenar y buscar documentos, permitiendo la generación aumentada por recuperación (RAG). El stack cubre capacidades de alto nivel, incluyendo la orquestación de agentes de IA, el despliegue de modelos y la estandarización de APIs de modelos para permitir el cambio entre proveedores sin reescribir el código de la aplicación.

Deep Searcher is an open-source retrieval-augmented generation engine that indexes private documents into a vector database and uses large language models to answer complex questions with cited reasoning. It functions as both a command-line interface and a web API research tool, enabling users to load data and generate comprehensive reports by combining indexed private information with LLM-powered analysis. The system distinguishes itself through a plugin-based provider architecture that supports multiple embedding models, LLM providers, vector databases, and file loaders as interchangeable c

This project is an educational implementation guide and framework for building Retrieval Augmented Generation systems. It provides a workflow for constructing a knowledge base pipeline that partitions documents, indexes them as vectors, and provides external context for language model prompts. The system features a document chunking framework that uses recursive character splitting to fit text into model context windows. It includes an in-memory vector store and a similarity search system that retrieves relevant text segments by calculating the mathematical distance between dense embedding ve

Horizon is a realtime API server and RethinkDB backend designed to push database changes instantly to front-end clients. It utilizes a WebSocket data streaming API to synchronize data between the database and user interfaces without requiring manual polling. The project integrates an OAuth identity manager for verifying user identities through third-party providers and a role-based access control system to define granular permissions for viewing or modifying database documents. It is delivered as a containerized backend framework, allowing the server and its dependencies to be deployed as a p

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

Superagent is an AI safety platform that protects applications from prompt injections, data leaks, and harmful outputs through built-in guardrails. It functions as a prompt injection detection system, data redaction tool, and red team testing tool, automatically removing personally identifiable information and protected health data from AI inputs and outputs while scanning image uploads with vision AI to detect visual prompt injection attacks before processing. The platform routes every prompt through a sequential pipeline of safety checks including injection detection, data redaction, and co

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Wenda es una plataforma de orquestación de LLM y motor de flujo de trabajo personalizado diseñado para gestionar múltiples backends de modelos de lenguaje a través de una interfaz unificada. Funciona como una puerta de enlace de IA autohospedada que permite la ejecución de secuencias de tareas complejas y flujos de conversación automatizados. El sistema utiliza plugins de JavaScript para orquestar flujos de trabajo y activar llamadas a APIs externas. Admite generación aumentada por recuperación (RAG) inyectando datos relevantes desde almacenes vectoriales y archivos offline en los prompts para aumentar la precisión de las respuestas. La plataforma está construida para despliegues en redes privadas, con gestión de acceso multiusuario y la capacidad de ejecutar modelos de código abierto cuantizados para ajustarse a restricciones de hardware específicas. También incluye seguimiento de historial basado en sesiones para mantener el contexto conversacional.

Wenda es una plataforma de infraestructura y gateway autohospedada para desplegar modelos de lenguaje dentro de redes internas para garantizar la privacidad y seguridad de los datos. Funciona como un hub centralizado y API gateway que unifica la comunicación entre varios ejecutores de modelos offline y proveedores de servicios online a través de una única interfaz. La plataforma incluye un orquestador de flujo de trabajo que utiliza scripts personalizados y llamadas a API para automatizar flujos de conversación complejos y configuraciones de modelos. También incorpora un sistema de recuperación que aumenta las respuestas del modelo con conocimiento externo recuperado de bases de datos vectoriales y motores de búsqueda. El sistema gestiona el estado y la memoria conversacional persistiendo el historial de diálogo en una base de datos para mantener el contexto a través de las sesiones de usuario. Utiliza un enfoque de integración modular para permitir la adición de nuevos proveedores de modelos sin modificar la aplicación principal.

Riot es un motor de búsqueda distribuido y servidor de indexación basado en Go diseñado para indexación y recuperación de texto completo. Funciona como un sistema de recuperación que ordena documentos por relevancia utilizando algoritmos de ranking BM25, frecuencia de términos y frecuencia inversa de documento (TF-IDF). El motor proporciona soporte especializado para el idioma chino, con segmentación de texto concurrente y mapeo fonético Pinyin para hacer coincidir la entrada romanizada con los caracteres. Utiliza una arquitectura distribuida que emplea fragmentación (sharding) de índice basada en hash para equilibrar la carga de datos y el rendimiento a través de múltiples nodos de servidor. El sistema cubre una amplia gama de capacidades de búsqueda, incluyendo ejecución de consultas con lógica booleana, filtrado de proximidad y gestión del ciclo de vida del índice en tiempo real. Mantiene un índice de búsqueda rápido en memoria mientras utiliza almacenamiento respaldado por disco para la persistencia y durabilidad de los datos. Se incluyen herramientas de monitoreo para rastrear la utilización de memoria, disco y CPU en todo el entorno distribuido.

The official Go client for Elasticsearch

GreptimeDB is a distributed, open-source time-series database built for unified observability. It stores and queries metrics, logs, and traces together in a single columnar engine, supporting both SQL and PromQL for analysis. The database is designed as a Kubernetes-native operator with a decoupled compute and storage architecture, enabling horizontal scaling and multi-region deployment. What distinguishes GreptimeDB is its role as a multi-protocol ingestion gateway, accepting data through OpenTelemetry, Prometheus Remote Write, InfluxDB, Loki, Elasticsearch, Kafka, and MQTT protocols without

Este proyecto es una biblioteca de plantillas de flujo de trabajo de n8n preconfiguradas y planos estructurales diseñados para automatizar procesos de negocio y tareas de IA. Proporciona una colección de archivos JSON que pueden importarse a un motor de flujo de trabajo para desplegar secuencias de automatización, incluyendo configuraciones especializadas para integrar bases de datos vectoriales y modelos de lenguaje grandes. La colección se centra en el desarrollo de agentes de IA conscientes del contexto, utilizando buffers de memoria y sistemas de recuperación para crear tuberías inteligentes de generación y recuperación de datos. Incluye planos dedicados para la generación aumentada por recuperación (RAG) y búsqueda semántica a través de integraciones de almacenes vectoriales. Las plantillas cubren una amplia gama de áreas de capacidad, incluyendo análisis de datos impulsado por IA, tuberías de contenido para gestión de medios y redes sociales, y automatización específica de la industria para sectores como legal, salud, bienes raíces y comercio electrónico. También proporciona flujos de trabajo de utilidad para la automatización de tareas financieras, análisis de reclutamiento de RRHH y monitoreo de infraestructura.

Helicone is an AI gateway and observability platform designed to intercept, manage, and monitor interactions with large language models. By acting as a reverse-proxy, it provides a centralized layer for routing requests across multiple AI providers, allowing developers to maintain consistent application logic while gaining deep visibility into model performance, usage, and costs. The platform distinguishes itself through a robust suite of traffic management and prompt engineering tools. It enables policy-driven control, including automatic failover between providers, rate limiting, and edge-b

Este proyecto es un cliente de API PHP y SDK para integrar servicios de OpenAI en aplicaciones PHP. Sirve como una librería de integración y wrapper para interactuar con modelos de lenguaje grandes para generar texto, imágenes y audio mediante llamadas a la API REST. La librería proporciona orquestación especializada para asistentes de IA, gestionando hilos de conversación y almacenes vectoriales. También incluye herramientas para el ajuste fino (fine-tuning) de modelos personalizados, implementación de búsqueda semántica mediante embeddings de texto y procesamiento de audio para transcripción y síntesis. La superficie de capacidad cubre la moderación de contenido, gestión de archivos y el manejo de chats y completado de texto. Soporta la entrega de datos en tiempo real mediante streaming de eventos enviados por el servidor (SSE), procesamiento por lotes asíncrono y la verificación de firmas de webhook.