Awesome GitHub RepositoriesCustom Scalar Function Writing

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

sqlean este o colecție de biblioteci de extensii SQLite implementate ca biblioteci partajate bazate pe C. Oferă o suită de funcții scalare și tabelare suplimentare care extind capabilitățile native ale motorului de bază de date SQLite. Proiectul oferă seturi de instrumente specializate pentru criptografie, matematică avansată, rețelistică și acces la sistemul de fișiere. Acestea includ hashing și codificare binară, analiză statistică, validarea adreselor IP și capacitatea de a mapa fișiere CSV sau căi din sistemul de fișiere ca tabele virtuale. Biblioteca include, de asemenea, instrumente cuprinzătoare de procesare a textului, cum ar fi expresii regulate, potrivire fuzzy și manipularea șirurilor de caractere conștientă de Unicode. Capabilitățile suplimentare acoperă gestionarea de înaltă precizie a datei și orei și generarea de identificatori unici.

Velox este un motor de execuție a interogărilor C++ de înaltă performanță și o bibliotecă de procesare a datelor coloanare. Servește drept framework compozabil pentru implementarea motoarelor de interogare analitică, oferind un evaluator de expresii vectorizat și un toolkit pentru sistemele de gestionare a datelor. Proiectul se distinge prin utilizarea execuției coloanare vectorizate și a alocării memoriei bazate pe arene pentru a procesa seturi de date la scară largă. Dispune de optimizări specializate, cum ar fi caching-ul tabelelor de broadcast join, push-down dinamic al filtrelor și codificare prin dicționar pentru a reduce overhead-ul de memorie și a accelera citirile analitice. Motorul acoperă o gamă largă de capabilități analitice, inclusiv implementarea de hash, merge și semi joins, precum și agregarea paralelă în mai multe etape și calculul funcțiilor de fereastră. Oferă primitive pentru stocarea coloanară în memorie, decodarea datelor Parquet și integrarea cu stocarea în cloud. Extensibilitatea este oferită printr-un sistem de înregistrare a funcțiilor pentru funcții scalare și agregate personalizate, cu binding-uri de nivel înalt disponibile pentru a conecta logica C++ la Python.