Awesome GitHub RepositoriesIncremental Vector Sync

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

Este proyecto es un motor de similitud vectorial en C++ y una implementación del algoritmo Hierarchical Navigable Small World. Proporciona una librería header-only para realizar búsquedas aproximadas de vecinos más cercanos en espacios de alta dimensión, junto con bindings de Python que exponen estas capacidades de indexación y búsqueda a entornos de ciencia de datos. El motor permite la recuperación de embeddings en tiempo real y la búsqueda de similitud de alta dimensión utilizando una estructura de grafo multicapa para equilibrar la velocidad de búsqueda y la precisión. Soporta métricas de distancia personalizadas para calcular la similitud entre vectores en varios espacios matemáticos. El sistema cubre una amplia gama de operaciones de indexación, incluyendo la inserción incremental de vectores y la capacidad de marcar elementos como eliminados sin reconstruir el índice. También soporta búsqueda multi-vector, filtrado de resultados de búsqueda y persistencia basada en disco para guardar y recargar el estado del índice.

hnswlib es una librería C++ header-only y motor de indexación vectorial diseñado para la búsqueda aproximada de vecinos más cercanos en alta dimensión. Organiza grandes colecciones de embeddings en una estructura de grafo consultable para permitir consultas de proximidad rápidas y cálculos de distancia. El sistema utiliza grafos Hierarchical Navigable Small World para lograr una búsqueda de similitud vectorial rápida. Se distingue por permitir la definición de métricas de distancia y funciones de similitud personalizadas para adaptar los cálculos a requisitos de datos específicos. El motor cubre el ciclo de vida completo de indexación, incluyendo la construcción incremental del índice y la gestión de puntos de datos mediante adiciones y eliminación de elementos. Las capacidades de consulta incluyen búsqueda de vecinos más cercanos tanto aproximada como exacta, complementada por filtrado de búsqueda booleana para excluir candidatos basados en etiquetas de elementos. La librería soporta la persistencia del índice mediante serialización de archivos binarios y proporciona configuraciones para ejecución paralela para distribuir tareas de consulta e indexación a través de múltiples núcleos de CPU.

Cognita is a retrieval augmented generation orchestration framework used to build pipelines that connect document stores and language models to provide grounded answers. It functions as a document ingestion pipeline and a vector database integrator, managing the process of loading, parsing, and indexing files into a searchable knowledge base. The system includes a language model gateway proxy that provides a unified API to interact with multiple different model providers. This routing layer decouples the application from specific vendors, allowing requests to be proxied through a provider-agn