Awesome GitHub RepositoriesCustom Scalar Function Writing

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

sqlean ist eine Sammlung von SQLite-Erweiterungsbibliotheken, die als C-basierte Shared Libraries implementiert sind. Sie bietet eine Suite zusätzlicher skalarer und tabellenwertiger Funktionen, die die nativen Fähigkeiten der SQLite-Datenbank-Engine erweitern. Das Projekt bietet spezialisierte Toolsets für Kryptografie, fortgeschrittene Mathematik, Netzwerke und Dateisystemzugriff. Dazu gehören binäres Hashing und Encoding, statistische Analysen, IP-Adressvalidierung sowie die Möglichkeit, CSV-Dateien oder Dateisystempfade als virtuelle Tabellen abzubilden. Die Bibliothek enthält zudem umfassende Textverarbeitungstools wie reguläre Ausdrücke, Fuzzy-Matching und Unicode-bewusste String-Manipulation. Zusätzliche Funktionen decken hochpräzises Datums- und Zeitmanagement sowie die Generierung eindeutiger Identifikatoren ab.

Velox ist eine leistungsstarke C++-Abfrage-Ausführungs-Engine und eine Bibliothek für spaltenbasierte Datenverarbeitung. Sie dient als kompositionsfähiges Framework zur Implementierung analytischer Query-Engines und bietet einen vektorisierten Ausdrucksauswerter sowie ein Toolkit für Datenmanagementsysteme. Das Projekt zeichnet sich durch die Verwendung vektorisierter spaltenbasierter Ausführung und arena-basierter Speicherallokation zur Verarbeitung großer Datensätze aus. Es bietet spezialisierte Optimierungen wie Broadcast-Join-Table-Caching, Dynamic-Filter-Push-Down und Dictionary-Encoding, um den Speicher-Overhead zu reduzieren und analytische Lesezugriffe zu beschleunigen. Die Engine deckt ein breites Spektrum analytischer Funktionen ab, einschließlich der Implementierung von Hash-, Merge- und Semi-Joins sowie mehrstufiger paralleler Aggregation und der Berechnung von Fensterfunktionen. Sie bietet Primitive für spaltenbasierte In-Memory-Speicherung, Parquet-Datendekodierung und die Integration mit Cloud-Speichern. Erweiterbarkeit wird durch ein Funktionsregistrierungssystem für benutzerdefinierte Skalar- und Aggregatfunktionen geboten, wobei High-Level-Bindings verfügbar sind, um die C++-Logik mit Python zu verbinden.