microsoft/SPTAG
SPTAG
SPTAG est une bibliothèque de recherche de plus proches voisins approximatifs (ANN) par vecteur et un moteur de recherche vectorielle distribué. Il fournit un index vectoriel à grande échelle conçu pour organiser et récupérer des vecteurs similaires à partir de jeux de données massifs en utilisant une recherche de similarité haute performance et des requêtes de proximité.
Le système fonctionne comme un gestionnaire d'index vectoriel dynamique, prenant en charge les mises à jour, insertions et suppressions incrémentales de vecteurs sans nécessiter une reconstruction complète de l'index. Il met à l'échelle les opérations de recherche sur plusieurs machines pour gérer des jeux de données à grande échelle et des volumes élevés de requêtes en ligne grâce au traitement distribué des requêtes de recherche.
Le projet implémente des capacités de recherche et d'indexation en utilisant des arbres de partitionnement spatial et des graphes de voisinage relatif. Il effectue des recherches de plus proches voisins approximatifs via une traversée itérative de graphes et des calculs de métriques de distance pour localiser les vecteurs les plus proches d'un point de requête.
Features
- Billion-Scale Vector Search - Provides high-performance approximate nearest neighbor search optimized for massive, billion-scale vector datasets.
- Approximate Nearest Neighbor Search - Provides a library for high-performance retrieval using approximate nearest neighbor search algorithms.
- Distributed Vector Stores - Scales vector search operations across multiple machines to handle extremely large datasets and online requests.
- Graph Traversal - Uses iterative graph traversal to navigate connected vector nodes and find the nearest neighbors.
- Vector Search Indexes - Implements high-performance data structures optimized for similarity search in high-dimensional vector spaces.
- Vector Indexing - Provides tools for building and managing vector indices that support incremental updates without full rebuilds.
- Dynamic Index Management - Supports incremental updates, insertions, and deletions of vectors without requiring a full index rebuild.
- Distributed Engines - Functions as a distributed engine that scales horizontally across multiple nodes for massive datasets.
- Vector Similarity Search - Retrieves vectors closest to a query point by calculating distance metrics through iterative traversal.
- High-Dimensional - Divides high-dimensional space into recursive regions to narrow the search area for candidate vector matches.
- Proximity Graphs - Builds relative neighborhood graphs to enable efficient greedy traversal during similarity searches.
- Distributed Search Engines - Utilizes a distributed cluster architecture to scale similarity search operations for massive datasets.
- Incremental Indexing Engines - Supports dynamic updates to large-scale vector indices without requiring a full re-indexing process.
- Distributed Search Query Routing - Implements query routing across a cluster of machines to handle massive datasets while maintaining low latency.
- Similarity Search - Library for fast approximate nearest neighbor search.
