Awesome GitHub RepositoriesData Manipulation Operations

Apache DataFusion is an extensible, columnar SQL query engine that runs embedded within a host application without requiring a separate server process. It processes data in columnar batches using Apache Arrow for memory-efficient analytics, and can scale analytic workloads across multiple nodes for parallel execution. The engine supports both SQL and DataFrame queries through a modular, streaming architecture that allows custom operators, data sources, functions, and optimizer rules. The engine distinguishes itself through its modular extension framework, which enables building custom query e

Infinity ist eine verteilte Vektordatenbank und ein multimodaler Vektorspeicher, der darauf ausgelegt ist, großskalige Datensätze für Retrieval und Ähnlichkeitssuche zu verwalten. Er dient als Backend für Large-Language-Model-Anwendungen und Retrieval-Augmented-Generation-Pipelines, indem er dichte Vektoren, dünnbesetzte Vektoren und Volltextdaten speichert und abruft. Das System fungiert als hybride Suchmaschine, die Vektor-Embeddings und Volltextsuche mit Reranking-Algorithmen kombiniert, um die relevantesten Dokumente zu identifizieren. Es unterstützt die Speicherung multimodaler Daten und ermöglicht die Pflege verschiedener Datentypen, einschließlich Tensoren, Strings und numerischer Werte, innerhalb einer einzigen Umgebung. Die Datenbank bietet Funktionen zur Verwaltung von Datenbankschemata und Datensätzen, einschließlich Datenimport, -export und strukturierter Abfragen. Sie enthält Tools für das Index-Management und die Speicheroptimierung und bietet Zustandswiederherstellung durch System- oder Tabellen-Snapshots. Die Datenbank kann als einzelne Binärdatei oder über Docker bereitgestellt werden und ist über eine HTTP-API und ein Python-SDK zugänglich.