1 Repo
Transformations that convert raw tensor data into fixed-dimension embedding vectors.
Distinct from Tensor Transformations: Distinct from general tensor transformations by focusing specifically on the conversion to embeddings for retrieval.
Explore 1 awesome GitHub repository matching data & databases · Embedding Conversions. Refine with filters or upvote what's useful.
Infinity ist eine verteilte Vektordatenbank und ein multimodaler Vektorspeicher, der darauf ausgelegt ist, großskalige Datensätze für Retrieval und Ähnlichkeitssuche zu verwalten. Er dient als Backend für Large-Language-Model-Anwendungen und Retrieval-Augmented-Generation-Pipelines, indem er dichte Vektoren, dünnbesetzte Vektoren und Volltextdaten speichert und abruft. Das System fungiert als hybride Suchmaschine, die Vektor-Embeddings und Volltextsuche mit Reranking-Algorithmen kombiniert, um die relevantesten Dokumente zu identifizieren. Es unterstützt die Speicherung multimodaler Daten und ermöglicht die Pflege verschiedener Datentypen, einschließlich Tensoren, Strings und numerischer Werte, innerhalb einer einzigen Umgebung. Die Datenbank bietet Funktionen zur Verwaltung von Datenbankschemata und Datensätzen, einschließlich Datenimport, -export und strukturierter Abfragen. Sie enthält Tools für das Index-Management und die Speicheroptimierung und bietet Zustandswiederherstellung durch System- oder Tabellen-Snapshots. Die Datenbank kann als einzelne Binärdatei oder über Docker bereitgestellt werden und ist über eine HTTP-API und ein Python-SDK zugänglich.
Transforms two dimensional tensor data into fixed dimension embedding vectors during the data insertion process.