Awesome GitHub RepositoriesIncremental Vector Sync

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

Dieses Projekt ist eine C++-Engine für Vektorähnlichkeit und eine Implementierung des Hierarchical Navigable Small World (HNSW) Algorithmus. Es bietet eine Header-only-Bibliothek für Approximate-Nearest-Neighbor-Suchen in hochdimensionalen Räumen sowie Python-Bindings, die diese Indexierungs- und Suchfunktionen für Data-Science-Umgebungen zugänglich machen. Die Engine ermöglicht Echtzeit-Embedding-Retrieval und hochdimensionale Ähnlichkeitssuche mittels einer mehrschichtigen Graphstruktur, um Suchgeschwindigkeit und Genauigkeit auszubalancieren. Sie unterstützt benutzerdefinierte Distanzmetriken zur Berechnung der Ähnlichkeit zwischen Vektoren in verschiedenen mathematischen Räumen. Das System deckt eine breite Palette an Indexierungsoperationen ab, einschließlich inkrementeller Vektoreinfügung und der Möglichkeit, Elemente als gelöscht zu markieren, ohne den Index neu aufbauen zu müssen. Es unterstützt zudem Multi-Vektor-Suche, Suchergebnis-Filterung und disk-basierte Persistenz, um den Index-Status zu speichern und neu zu laden.

hnswlib ist eine Header-only-C++-Bibliothek und Vektor-Indexierungs-Engine für hochdimensionale Approximate-Nearest-Neighbor-Suche. Sie organisiert große Sammlungen von Embeddings in einer durchsuchbaren Graphstruktur, um schnelle Proximity-Queries und Distanzberechnungen zu ermöglichen. Das System nutzt Hierarchical Navigable Small World (HNSW) Graphen, um eine schnelle Vektorähnlichkeitssuche zu erreichen. Es zeichnet sich dadurch aus, dass benutzerdefinierte Distanzmetriken und Ähnlichkeitsfunktionen definiert werden können, um Berechnungen an spezifische Datenanforderungen anzupassen. Die Engine deckt den gesamten Indexierungs-Lebenszyklus ab, einschließlich inkrementellem Indexaufbau und der Verwaltung von Datenpunkten durch Hinzufügen und Entfernen von Elementen. Die Suchfunktionen umfassen sowohl Approximate- als auch Exact-Nearest-Neighbor-Suche, ergänzt durch boolesche Suchfilter, um Kandidaten basierend auf Element-Labels auszuschließen. Die Bibliothek unterstützt Index-Persistenz via binärer Dateiserialisierung und bietet Konfigurationen für parallele Ausführung, um Query- und Indexierungs-Tasks auf mehrere CPU-Kerne zu verteilen.

Cognita is a retrieval augmented generation orchestration framework used to build pipelines that connect document stores and language models to provide grounded answers. It functions as a document ingestion pipeline and a vector database integrator, managing the process of loading, parsing, and indexing files into a searchable knowledge base. The system includes a language model gateway proxy that provides a unified API to interact with multiple different model providers. This routing layer decouples the application from specific vendors, allowing requests to be proxied through a provider-agn