Awesome GitHub RepositoriesCustom Scalar Function Writing

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

sqlean est une collection de bibliothèques d'extension SQLite implémentées sous forme de bibliothèques partagées basées sur C. Elle fournit une suite de fonctions scalaires et de fonctions renvoyant des tables supplémentaires qui étendent les capacités natives du moteur de base de données SQLite. Le projet fournit des ensembles d'outils spécialisés pour la cryptographie, les mathématiques avancées, le réseau et l'accès au système de fichiers. Ceux-ci incluent le hachage et l'encodage binaire, l'analyse statistique, la validation d'adresses IP et la capacité de mapper des fichiers CSV ou des chemins de système de fichiers en tant que tables virtuelles. La bibliothèque inclut également des outils complets de traitement de texte tels que les expressions régulières, la correspondance floue (fuzzy matching) et la manipulation de chaînes compatible Unicode. Des capacités supplémentaires couvrent la gestion de haute précision des dates et heures et la génération d'identifiants uniques.

Velox est un moteur d'exécution de requêtes C++ haute performance et une bibliothèque de traitement de données colonnaires. Il sert de framework composable pour implémenter des moteurs de requêtes analytiques, fournissant un évaluateur d'expressions vectorisées et une boîte à outils pour les systèmes de gestion de données. Le projet se distingue par son utilisation de l'exécution colonnaire vectorisée et de l'allocation mémoire basée sur des arènes pour traiter des jeux de données à grande échelle. Il propose des optimisations spécialisées telles que la mise en cache des tables de jointure broadcast, le push-down de filtres dynamiques et l'encodage par dictionnaire pour réduire la surcharge mémoire et accélérer les lectures analytiques. Le moteur couvre un large éventail de capacités analytiques, incluant l'implémentation de jointures hash, merge et semi, ainsi que l'agrégation parallèle multi-étapes et le calcul de fonctions de fenêtre. Il fournit des primitives pour le stockage colonnaire en mémoire, le décodage de données Parquet et l'intégration avec le stockage cloud. L'extensibilité est assurée par un système d'enregistrement de fonctions pour des fonctions scalaires et d'agrégation personnalisées, avec des bindings de haut niveau disponibles pour connecter la logique C++ à Python.