1 repositorio
Transformations that convert raw tensor data into fixed-dimension embedding vectors.
Distinct from Tensor Transformations: Distinct from general tensor transformations by focusing specifically on the conversion to embeddings for retrieval.
Explore 1 awesome GitHub repository matching data & databases · Embedding Conversions. Refine with filters or upvote what's useful.
Infinity es una base de datos vectorial distribuida y un almacén vectorial multimodal diseñado para gestionar datasets a gran escala para recuperación y búsqueda por similitud. Sirve como backend para aplicaciones de modelos de lenguaje grandes y pipelines de generación aumentada por recuperación (RAG) almacenando y recuperando vectores densos, vectores dispersos y datos de texto completo. El sistema funciona como un motor de búsqueda híbrido, combinando embeddings vectoriales y búsqueda de texto completo con algoritmos de reranking para identificar los documentos más relevantes. Admite el almacenamiento de datos multimodal, permitiendo el mantenimiento de diversos tipos de datos, incluyendo tensores, cadenas y numéricos, dentro de un único entorno. La base de datos ofrece capacidades para gestionar esquemas y registros, incluyendo importación, exportación y consultas estructuradas. Incluye herramientas para la gestión de índices y optimización de almacenamiento, y ofrece recuperación de estado mediante snapshots del sistema o de tablas. La base de datos puede desplegarse como un binario único o mediante Docker, y es accesible a través de una API HTTP y un SDK de Python.
Transforms two dimensional tensor data into fixed dimension embedding vectors during the data insertion process.