Awesome GitHub RepositoriesVectorized Execution Engines

DuckDB este o bază de date SQL analitică încorporată, în proces, și un sistem de gestionare a bazelor de date OLAP. Funcționează ca un motor de date pentru fișiere Parquet și CSV, permițând utilizatorilor să execute interogări SQL complexe pe seturi de date mari fără a necesita un proces de server separat. Sistemul este conceput pentru procesare analitică locală și fluxuri de lucru de știință a datelor încorporate. Acesta permite interogarea și analiza directă a fișierelor Parquet și CSV de pe disc, evitând necesitatea de a încărca datele într-o bază de date permanentă. Motorul oferă execuție SQL analitică de înaltă performanță, inclusiv suport pentru funcții de fereastră și subinterogări imbricate. Acesta încorporează un layout de stocare pe coloane și execuție vectorială a interogărilor pentru a gestiona manipularea și explorarea datelor la scară largă. Baza de date este accesibilă printr-o interfață de linie de comandă autonomă și binding-uri specifice limbajelor pentru Python, R, Java și Wasm.

DuckDB is an in-process analytical database engine designed to run directly within an application process. As a zero-dependency, embedded system, it provides enterprise-grade SQL data processing capabilities without the overhead of managing a dedicated database server. It is built to handle complex analytical and aggregation tasks by storing and retrieving information in columns, allowing for high-performance relational data manipulation. The engine distinguishes itself through a columnar vectorized execution model that maximizes CPU cache efficiency during query operations. It employs adapti

QuestDB is a high-performance, distributed time-series database designed for the ingestion, storage, and analysis of massive datasets. It functions as a real-time analytics platform that utilizes a columnar storage engine to optimize disk input and output, enabling efficient analytical scans and complex windowing operations on streaming data. The platform distinguishes itself through specialized capabilities for handling asynchronous time-series streams, including advanced join algorithms that align disparate data sets based on precise timestamp lookups. It supports high-volume ingestion thro

Arrow is a cross-language development platform for in-memory data. It provides a standardized, language-independent columnar memory format designed to accelerate analytical operations and improve memory efficiency on modern computing hardware. By utilizing a schema-driven approach, the framework enables the efficient organization of both flat and nested data structures. The project functions as an analytical data processing engine that facilitates high-performance computation directly on memory-resident datasets. It distinguishes itself through a zero-copy architecture, which allows multiple

Doris is a distributed SQL data warehouse designed for high-performance analytical workloads and real-time data processing. It functions as a unified platform that integrates traditional relational warehousing with lakehouse query capabilities, allowing users to execute analytical operations directly against external data lakes without requiring data migration. The system distinguishes itself through a shared-nothing, massively parallel processing architecture that utilizes vectorized query execution and columnar storage to maintain sub-second latency. It supports dynamic schema evolution, en

StarRocks is a distributed SQL OLAP database engine designed for real-time analytics and high-performance multi-dimensional analysis. It functions as a data lakehouse query engine that enables SQL execution across large datasets and external open table formats without requiring local data imports. The system employs a shared-nothing distributed architecture and utilizes the MySQL protocol to integrate with business intelligence tools. It maintains real-time data consistency through a primary key upsert model and accelerates query response times using vectorized execution and cost-based optimi

This project is a curated collection of academic papers, books, and technical resources designed for studying the architecture and implementation of database management systems. It serves as a comprehensive educational guide for engineers and researchers looking to understand the fundamental principles behind modern data storage and retrieval. The repository distinguishes itself by providing structured learning paths across critical database domains, including the design of persistent storage engines, the mechanics of query optimization, and the complexities of distributed transaction managem

Daft is a distributed dataframe library and multimodal data processor designed to handle large-scale structured and unstructured data. It functions as a vectorized execution engine that processes tables alongside images, audio, and video, utilizing a unified schema to manage diverse data types. The project distinguishes itself by combining distributed data engineering with large-scale AI inference. It provides an AI data pipeline for batch-optimizing model prompts and generating high-dimensional text embeddings, while utilizing zero-copy memory sharing to execute custom Python functions witho

YDB este o bază de date SQL distribuită și un motor analitic conceput pentru scalabilitate orizontală și consistență puternică. Funcționează ca un sistem multi-model care suportă workload-uri tranzacționale și analitice printr-o arhitectură distribuită care oferă tranzacții ACID serializabile. Sistemul se distinge prin compatibilitatea sa largă cu protocoalele, implementând protocolul PostgreSQL pentru driverele SQL standard și protocolul Kafka pentru mesagerie și streaming. Servește, de asemenea, ca o bază de date vectorială, suportând indecși vectoriali și căutări de tip approximate nearest neighbor pentru căutări semantice și embeddings. Platforma gestionează datele folosind un model de stocare hibrid cu formate orientate pe rânduri și pe coloane, utilizând execuția interogărilor vectorizate pentru analize la scară de petabytes. Suprafața sa operațională include streaming de tip change data capture, cozi persistente de tip exactly-once și disponibilitate ridicată multi-zonă. Deployment-ul și gestionarea ciclului de viață sunt susținute printr-un operator Kubernetes și provizionarea de tip infrastructure-as-code.

Velox este un motor de execuție a interogărilor C++ de înaltă performanță și o bibliotecă de procesare a datelor coloanare. Servește drept framework compozabil pentru implementarea motoarelor de interogare analitică, oferind un evaluator de expresii vectorizat și un toolkit pentru sistemele de gestionare a datelor. Proiectul se distinge prin utilizarea execuției coloanare vectorizate și a alocării memoriei bazate pe arene pentru a procesa seturi de date la scară largă. Dispune de optimizări specializate, cum ar fi caching-ul tabelelor de broadcast join, push-down dinamic al filtrelor și codificare prin dicționar pentru a reduce overhead-ul de memorie și a accelera citirile analitice. Motorul acoperă o gamă largă de capabilități analitice, inclusiv implementarea de hash, merge și semi joins, precum și agregarea paralelă în mai multe etape și calculul funcțiilor de fereastră. Oferă primitive pentru stocarea coloanară în memorie, decodarea datelor Parquet și integrarea cu stocarea în cloud. Extensibilitatea este oferită printr-un sistem de înregistrare a funcțiilor pentru funcții scalare și agregate personalizate, cu binding-uri de nivel înalt disponibile pentru a conecta logica C++ la Python.