Awesome GitHub RepositoriesDistributed Vector Stores

Weaviate is a cloud-native vector database and distributed vector store designed to save high-dimensional vectors alongside structured data. It functions as a hybrid search engine that combines vector similarity, keyword matching, and structured metadata filtering within a single query. The system is optimized for retrieval-augmented generation, integrating vector search with generative AI and reranking to power question-and-answer workflows. It distinguishes itself through the ability to merge semantic search with traditional keyword queries and structured metadata filters to improve result

DeepLake is AI data infrastructure consisting of a multimodal data lake, a hybrid search engine, and a serverless vector database. It provides a PostgreSQL-based AI data runtime that combines multimodal storage with streaming pipelines to load and shuffle datasets from cloud storage directly into deep learning training pipelines. The system utilizes lazy indexing to store and slice images, audio, and video without loading entire files into memory. It enables retrieval-augmented generation by persisting high-dimensional embeddings in a serverless vector store and implementing hybrid search tha

SPTAG ist eine Bibliothek für die Suche nach ungefähren nächsten Nachbarn (Approximate Nearest Neighbor) in Vektoren und eine verteilte Vektorsuchmaschine. Sie bietet einen Vektorindex im großen Maßstab, der darauf ausgelegt ist, ähnliche Vektoren aus massiven Datensätzen mittels hochperformanter Ähnlichkeitssuche und Proximity-Abfragen zu organisieren und abzurufen. Das System fungiert als dynamischer Vektorindex-Manager und unterstützt inkrementelle Updates, Einfügungen und Löschungen von Vektoren, ohne dass ein vollständiger Index-Rebuild erforderlich ist. Es skaliert Suchoperationen über mehrere Maschinen hinweg, um große Datensätze und hohe Volumina an Online-Anfragen durch verteiltes Handling von Suchanfragen zu bewältigen. Das Projekt implementiert Such- und Indexierungsfunktionen unter Verwendung von Space-Partition-Trees und Relative-Neighborhood-Graphs. Es führt Suchen nach ungefähren nächsten Nachbarn mittels iterativer Graph-Traversierung und Distanzmetrik-Berechnungen durch, um die nächstgelegenen Vektoren zu einem Abfragepunkt zu lokalisieren.

This repository is a technical documentation site and a collection of guides and references for implementing networking, security, and cloud infrastructure services. It functions as a static-site generated portal and a headless content platform, separating source files from the presentation layer to enable flexible rendering. The project utilizes markdown-based documentation stored in a version-controlled Git repository. It provides specialized technical content including an AI platform documentation for building agents and managing inference, a cloud infrastructure guide for DNS and CDN conf