Awesome GitHub RepositoriesIncremental Vector Sync

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

Acest proiect este un motor de similaritate vectorială în C++ și o implementare a algoritmului Hierarchical Navigable Small World. Oferă o bibliotecă header-only pentru efectuarea căutărilor aproximative de cel mai apropiat vecin (ANN) în spații cu dimensiuni mari, alături de binding-uri Python care expun aceste capabilități de indexare și căutare mediilor de data science. Motorul permite recuperarea embedding-urilor în timp real și căutarea de similaritate în spații cu dimensiuni mari folosind o structură de graf multi-strat pentru a echilibra viteza și acuratețea căutării. Suportă metrici de distanță personalizate pentru a calcula similaritatea între vectori în diverse spații matematice. Sistemul acoperă o gamă largă de operațiuni de indexare, inclusiv inserarea incrementală a vectorilor și capacitatea de a marca elementele ca șterse fără a reconstrui indexul. Suportă, de asemenea, căutarea multi-vectorială, filtrarea rezultatelor căutării și persistența pe disc pentru a salva și reîncărca starea indexului.

hnswlib este o bibliotecă C++ header-only și un motor de indexare vectorială conceput pentru căutarea aproximativă a celui mai apropiat vecin în spații cu dimensiuni mari. Acesta organizează colecții mari de embedding-uri într-o structură de graf care poate fi căutată pentru a permite interogări rapide de proximitate și calcule de distanță. Sistemul utilizează grafuri Hierarchical Navigable Small World pentru a obține o căutare rapidă a similarității vectoriale. Se distinge prin permiterea definirii de metrici de distanță personalizate și funcții de similaritate pentru a adapta calculele la cerințe specifice de date. Motorul acoperă întregul ciclu de viață al indexării, inclusiv construcția incrementală a indexului și gestionarea punctelor de date prin adăugări și eliminarea elementelor. Capabilitățile de interogare includ atât căutarea aproximativă, cât și cea exactă a celui mai apropiat vecin, completată de filtrarea căutării booleene pentru a exclude candidații pe baza etichetelor elementelor. Biblioteca suportă persistența indexului prin serializarea fișierelor binare și oferă configurații pentru execuția paralelă pentru a distribui sarcinile de interogare și indexare pe mai multe nuclee CPU.

Cognita is a retrieval augmented generation orchestration framework used to build pipelines that connect document stores and language models to provide grounded answers. It functions as a document ingestion pipeline and a vector database integrator, managing the process of loading, parsing, and indexing files into a searchable knowledge base. The system includes a language model gateway proxy that provides a unified API to interact with multiple different model providers. This routing layer decouples the application from specific vendors, allowing requests to be proxied through a provider-agn