Awesome GitHub RepositoriesData Manipulation Operations

Apache DataFusion is an extensible, columnar SQL query engine that runs embedded within a host application without requiring a separate server process. It processes data in columnar batches using Apache Arrow for memory-efficient analytics, and can scale analytic workloads across multiple nodes for parallel execution. The engine supports both SQL and DataFrame queries through a modular, streaming architecture that allows custom operators, data sources, functions, and optimizer rules. The engine distinguishes itself through its modular extension framework, which enables building custom query e

Infinity es una base de datos vectorial distribuida y un almacén vectorial multimodal diseñado para gestionar datasets a gran escala para recuperación y búsqueda por similitud. Sirve como backend para aplicaciones de modelos de lenguaje grandes y pipelines de generación aumentada por recuperación (RAG) almacenando y recuperando vectores densos, vectores dispersos y datos de texto completo. El sistema funciona como un motor de búsqueda híbrido, combinando embeddings vectoriales y búsqueda de texto completo con algoritmos de reranking para identificar los documentos más relevantes. Admite el almacenamiento de datos multimodal, permitiendo el mantenimiento de diversos tipos de datos, incluyendo tensores, cadenas y numéricos, dentro de un único entorno. La base de datos ofrece capacidades para gestionar esquemas y registros, incluyendo importación, exportación y consultas estructuradas. Incluye herramientas para la gestión de índices y optimización de almacenamiento, y ofrece recuperación de estado mediante snapshots del sistema o de tablas. La base de datos puede desplegarse como un binario único o mediante Docker, y es accesible a través de una API HTTP y un SDK de Python.