Awesome GitHub RepositoriesIncremental Vector Sync

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

该项目是一个 C++ 向量相似度引擎，实现了分层可导航小世界（HNSW）算法。它提供了一个仅包含头文件的库，用于在高维空间中执行近似最近邻搜索，并附带 Python 绑定，将这些索引和搜索功能暴露给数据科学环境。 该引擎利用多层图结构平衡搜索速度和准确性，实现实时嵌入检索和高维相似度搜索。它支持自定义距离度量，以计算各种数学空间中向量之间的相似度。 该系统涵盖了广泛的索引操作，包括增量向量插入以及在不重建索引的情况下标记元素为已删除的能力。它还支持多向量搜索、搜索结果过滤以及基于磁盘的持久化，以保存和重新加载索引状态。

hnswlib 是一个仅包含头文件的 C++ 库和向量索引引擎，专为高维近似最近邻搜索而设计。它将大型嵌入集合组织成可搜索的图结构，以实现快速的邻近查询和距离计算。 该系统利用分层可导航小世界（HNSW）图来实现快速向量相似度搜索。其独特之处在于允许定义自定义距离度量和相似度函数，以适应特定数据需求。 该引擎涵盖了完整的索引生命周期，包括增量索引构建以及通过添加和元素移除来管理数据点。查询功能包括近似和精确最近邻搜索，并辅以布尔搜索过滤，以根据元素标签排除候选对象。 该库支持通过二进制文件序列化进行索引持久化，并提供并行执行配置，以将查询和索引任务分配到多个 CPU 核心上。

Cognita is a retrieval augmented generation orchestration framework used to build pipelines that connect document stores and language models to provide grounded answers. It functions as a document ingestion pipeline and a vector database integrator, managing the process of loading, parsing, and indexing files into a searchable knowledge base. The system includes a language model gateway proxy that provides a unified API to interact with multiple different model providers. This routing layer decouples the application from specific vendors, allowing requests to be proxied through a provider-agn