1 repository
Vectorized decoding kernels for unpacking compressed string representations, such as delta encoding, in columnar formats.
Distinguishing note: Existing candidates focus on BlurHash, bytecode, or rich-text deltas, not analytical columnar string decoding.
Explore 1 awesome GitHub repository matching data & databases · Columnar String Decoding. Refine with filters or upvote what's useful.
Velox este un motor de execuție a interogărilor C++ de înaltă performanță și o bibliotecă de procesare a datelor coloanare. Servește drept framework compozabil pentru implementarea motoarelor de interogare analitică, oferind un evaluator de expresii vectorizat și un toolkit pentru sistemele de gestionare a datelor. Proiectul se distinge prin utilizarea execuției coloanare vectorizate și a alocării memoriei bazate pe arene pentru a procesa seturi de date la scară largă. Dispune de optimizări specializate, cum ar fi caching-ul tabelelor de broadcast join, push-down dinamic al filtrelor și codificare prin dicționar pentru a reduce overhead-ul de memorie și a accelera citirile analitice. Motorul acoperă o gamă largă de capabilități analitice, inclusiv implementarea de hash, merge și semi joins, precum și agregarea paralelă în mai multe etape și calculul funcțiilor de fereastră. Oferă primitive pentru stocarea coloanară în memorie, decodarea datelor Parquet și integrarea cu stocarea în cloud. Extensibilitatea este oferită printr-un sistem de înregistrare a funcțiilor pentru funcții scalare și agregate personalizate, cu binding-uri de nivel înalt disponibile pentru a conecta logica C++ la Python.
Unpacks byte-array delta encoding using allocation-free buffers to optimize string processing overhead.