Awesome GitHub RepositoriesIncremental Vector Sync

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

Ce projet est un moteur de similarité vectorielle en C++ et une implémentation de l'algorithme Hierarchical Navigable Small World. Il fournit une bibliothèque header-only pour effectuer des recherches approximatives de plus proches voisins dans des espaces de haute dimension, ainsi que des bindings Python qui exposent ces capacités d'indexation et de recherche aux environnements de science des données. Le moteur permet la récupération d'embeddings en temps réel et la recherche de similarité en haute dimension en utilisant une structure de graphe multicouche pour équilibrer la vitesse de recherche et la précision. Il prend en charge des métriques de distance personnalisées pour calculer la similarité entre les vecteurs dans divers espaces mathématiques. Le système couvre une large gamme d'opérations d'indexation, incluant l'insertion incrémentale de vecteurs et la possibilité de marquer des éléments comme supprimés sans reconstruire l'index. Il prend également en charge la recherche multi-vecteurs, le filtrage des résultats de recherche et la persistance sur disque pour sauvegarder et recharger l'état de l'index.

hnswlib est une bibliothèque C++ header-only et un moteur d'indexation vectorielle conçu pour la recherche approximative de plus proches voisins en haute dimension. Il organise de grandes collections d'embeddings dans une structure de graphe interrogeable pour permettre des requêtes de proximité rapides et des calculs de distance. Le système utilise des graphes Hierarchical Navigable Small World pour obtenir une recherche de similarité vectorielle rapide. Il se distingue en permettant la définition de métriques de distance et de fonctions de similarité personnalisées pour adapter les calculs à des exigences de données spécifiques. Le moteur couvre tout le cycle de vie de l'indexation, incluant la construction incrémentale de l'index et la gestion des points de données via des ajouts et des suppressions d'éléments. Les capacités de requête incluent à la fois la recherche approximative et exacte des plus proches voisins, complétées par un filtrage de recherche booléen pour exclure des candidats basés sur des étiquettes d'éléments. La bibliothèque prend en charge la persistance de l'index via la sérialisation de fichiers binaires et fournit des configurations pour l'exécution parallèle afin de distribuer les tâches de requête et d'indexation sur plusieurs cœurs CPU.

Cognita is a retrieval augmented generation orchestration framework used to build pipelines that connect document stores and language models to provide grounded answers. It functions as a document ingestion pipeline and a vector database integrator, managing the process of loading, parsing, and indexing files into a searchable knowledge base. The system includes a language model gateway proxy that provides a unified API to interact with multiple different model providers. This routing layer decouples the application from specific vendors, allowing requests to be proxied through a provider-agn