microsoft/SPTAG
SPTAG
SPTAG este o bibliotecă de căutare a celui mai apropiat vecin aproximativ (vector approximate nearest neighbor) și un motor de căutare vectorială distribuit. Oferă un index vectorial la scară largă conceput pentru a organiza și regăsi vectori similari din seturi de date masive folosind căutarea de similaritate de înaltă performanță și interogări de proximitate.
Sistemul funcționează ca un manager dinamic de index vectorial, suportând actualizări incrementale, inserări și ștergeri de vectori fără a necesita o reconstrucție completă a indexului. Scalează operațiunile de căutare pe mai multe mașini pentru a gestiona seturi de date la scară largă și volume mari de cereri online prin gestionarea distribuită a cererilor de căutare.
Proiectul implementează capabilități de căutare și indexare folosind arbori de partiționare a spațiului și grafuri de vecinătate relativă. Efectuează căutări de tip cel mai apropiat vecin aproximativ prin parcurgerea iterativă a grafului și calcule de metrici de distanță pentru a localiza vectorii cei mai apropiați de un punct de interogare.
Features
- Billion-Scale Vector Search - Provides high-performance approximate nearest neighbor search optimized for massive, billion-scale vector datasets.
- Approximate Nearest Neighbor Search - Provides a library for high-performance retrieval using approximate nearest neighbor search algorithms.
- Distributed Vector Stores - Scales vector search operations across multiple machines to handle extremely large datasets and online requests.
- Graph Traversal - Uses iterative graph traversal to navigate connected vector nodes and find the nearest neighbors.
- Vector Search Indexes - Implements high-performance data structures optimized for similarity search in high-dimensional vector spaces.
- Vector Indexing - Provides tools for building and managing vector indices that support incremental updates without full rebuilds.
- Dynamic Index Management - Supports incremental updates, insertions, and deletions of vectors without requiring a full index rebuild.
- Distributed Engines - Functions as a distributed engine that scales horizontally across multiple nodes for massive datasets.
- Vector Similarity Search - Retrieves vectors closest to a query point by calculating distance metrics through iterative traversal.
- High-Dimensional - Divides high-dimensional space into recursive regions to narrow the search area for candidate vector matches.
- Proximity Graphs - Builds relative neighborhood graphs to enable efficient greedy traversal during similarity searches.
- Distributed Search Engines - Utilizes a distributed cluster architecture to scale similarity search operations for massive datasets.
- Incremental Indexing Engines - Supports dynamic updates to large-scale vector indices without requiring a full re-indexing process.
- Distributed Search Query Routing - Implements query routing across a cluster of machines to handle massive datasets while maintaining low latency.
- Similarity Search - Library for fast approximate nearest neighbor search.
