Awesome GitHub RepositoriesDistributed Vector Stores

Weaviate is a cloud-native vector database and distributed vector store designed to save high-dimensional vectors alongside structured data. It functions as a hybrid search engine that combines vector similarity, keyword matching, and structured metadata filtering within a single query. The system is optimized for retrieval-augmented generation, integrating vector search with generative AI and reranking to power question-and-answer workflows. It distinguishes itself through the ability to merge semantic search with traditional keyword queries and structured metadata filters to improve result

DeepLake is AI data infrastructure consisting of a multimodal data lake, a hybrid search engine, and a serverless vector database. It provides a PostgreSQL-based AI data runtime that combines multimodal storage with streaming pipelines to load and shuffle datasets from cloud storage directly into deep learning training pipelines. The system utilizes lazy indexing to store and slice images, audio, and video without loading entire files into memory. It enables retrieval-augmented generation by persisting high-dimensional embeddings in a serverless vector store and implementing hybrid search tha

SPTAG es una librería de búsqueda de vecinos más cercanos aproximados (ANN) en vectores y un motor de búsqueda vectorial distribuido. Proporciona un índice vectorial a gran escala diseñado para organizar y recuperar vectores similares de datasets masivos utilizando búsqueda de similitud de alto rendimiento y consultas de proximidad. El sistema funciona como un gestor de índices vectoriales dinámico, admitiendo actualizaciones, inserciones y eliminaciones incrementales de vectores sin requerir una reconstrucción completa del índice. Escala las operaciones de búsqueda a través de múltiples máquinas para manejar datasets a gran escala y altos volúmenes de peticiones online mediante el manejo distribuido de peticiones de búsqueda. El proyecto implementa capacidades de búsqueda e indexación utilizando árboles de partición espacial y grafos de vecindad relativa. Realiza búsquedas de vecinos más cercanos aproximados mediante el recorrido iterativo de grafos y cálculos de métricas de distancia para localizar los vectores más cercanos a un punto de consulta.

Este repositorio es un sitio de documentación técnica y una colección de guías y referencias para implementar servicios de redes, seguridad e infraestructura en la nube. Funciona como un portal generado por sitio estático y una plataforma de contenido headless, separando los archivos fuente de la capa de presentación para permitir un renderizado flexible. El proyecto utiliza documentación basada en markdown almacenada en un repositorio Git con control de versiones. Proporciona contenido técnico especializado, incluyendo documentación de plataforma de IA para construir agentes y gestionar inferencia, una guía de infraestructura en la nube para configuración de DNS y CDN, una referencia de edge computing para despliegue serverless y documentación de seguridad de red para Zero Trust y gestión de firewalls.