nmslib/hnsw
Hnsw
Ce projet est un moteur de similarité vectorielle en C++ et une implémentation de l'algorithme Hierarchical Navigable Small World. Il fournit une bibliothèque header-only pour effectuer des recherches approximatives de plus proches voisins dans des espaces de haute dimension, ainsi que des bindings Python qui exposent ces capacités d'indexation et de recherche aux environnements de science des données.
Le moteur permet la récupération d'embeddings en temps réel et la recherche de similarité en haute dimension en utilisant une structure de graphe multicouche pour équilibrer la vitesse de recherche et la précision. Il prend en charge des métriques de distance personnalisées pour calculer la similarité entre les vecteurs dans divers espaces mathématiques.
Le système couvre une large gamme d'opérations d'indexation, incluant l'insertion incrémentale de vecteurs et la possibilité de marquer des éléments comme supprimés sans reconstruire l'index. Il prend également en charge la recherche multi-vecteurs, le filtrage des résultats de recherche et la persistance sur disque pour sauvegarder et recharger l'état de l'index.
Features
- Vector Similarity Search - Provides a high-performance engine for similarity search on high-dimensional vector embeddings.
- Low-Latency Vector Retrieval - Enables low-latency retrieval of the most relevant vectors from large datasets in real-time.
- Approximate Nearest Neighbor Search - Finds the closest vectors in high-dimensional space by balancing lookup speed and accuracy.
- Proximity Graph Indexes - Uses a multi-layered proximity graph to efficiently navigate and retrieve approximate nearest neighbors.
- Vector Indexing - Organizes high-dimensional embeddings into optimized indexes to support efficient semantic retrieval.
- HNSW Indexes - Implements the Hierarchical Navigable Small World algorithm for fast approximate nearest neighbor search.
- Vector Distance Metrics - Provides pluggable distance functions to calculate similarity between high-dimensional vectors in various mathematical spaces.
- Disk-Persistent Data Structures - Implements the ability to serialize the in-memory graph structure to disk for session recovery.
- Incremental Indexing Engines - Allows for the insertion and modification of vectors without rebuilding the entire index from scratch.
- Python Vector Index Wrappers - Exposes high-performance C++ vector indexing and search capabilities to Python environments.
- Search Result Filtering - Restricts search results to specific subsets of elements using labels or boolean logic.
- Incremental Vector Sync - Supports adding new vectors to the index incrementally without requiring a full rebuild.
- Header-Only Libraries - Distributed as a header-only C++ library to simplify integration and enable compiler optimizations.
- Python-C++ Bindings - Provides Python bindings for high-performance C++ vector indexing and search operations.
- Radius Vector Searches - Supports executing queries using distance thresholds to find all neighbors within a specific radius.
- Similarity Search - Graph-based method for efficient approximate nearest neighbor search.
