Awesome GitHub RepositoriesDistributed Architectures

Infinity es una base de datos vectorial distribuida y un almacén vectorial multimodal diseñado para gestionar datasets a gran escala para recuperación y búsqueda por similitud. Sirve como backend para aplicaciones de modelos de lenguaje grandes y pipelines de generación aumentada por recuperación (RAG) almacenando y recuperando vectores densos, vectores dispersos y datos de texto completo. El sistema funciona como un motor de búsqueda híbrido, combinando embeddings vectoriales y búsqueda de texto completo con algoritmos de reranking para identificar los documentos más relevantes. Admite el almacenamiento de datos multimodal, permitiendo el mantenimiento de diversos tipos de datos, incluyendo tensores, cadenas y numéricos, dentro de un único entorno. La base de datos ofrece capacidades para gestionar esquemas y registros, incluyendo importación, exportación y consultas estructuradas. Incluye herramientas para la gestión de índices y optimización de almacenamiento, y ofrece recuperación de estado mediante snapshots del sistema o de tablas. La base de datos puede desplegarse como un binario único o mediante Docker, y es accesible a través de una API HTTP y un SDK de Python.