1 dépôt
Awesome GitHub RepositoriesVariable Width Memory Serialization
Serialization mechanisms that handle non-contiguous memory allocation for variable-width data streams.
Distinct from Variable-Width Integer Encodings: Distinct from [f4_mt1] as it focuses on memory block allocation rather than integer encoding schemes.
Explore 1 awesome GitHub repository matching data & databases · Variable Width Memory Serialization. Refine with filters or upvote what's useful.
Awesome Variable Width Memory Serialization GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- facebookincubator/velox
facebookincubator/velox
4,155Voir sur GitHubVelox est un moteur d'exécution de requêtes C++ haute performance et une bibliothèque de traitement de données colonnaires. Il sert de framework composable pour implémenter des moteurs de requêtes analytiques, fournissant un évaluateur d'expressions vectorisées et une boîte à outils pour les systèmes de gestion de données. Le projet se distingue par son utilisation de l'exécution colonnaire vectorisée et de l'allocation mémoire basée sur des arènes pour traiter des jeux de données à grande échelle. Il propose des optimisations spécialisées telles que la mise en cache des tables de jointure broadcast, le push-down de filtres dynamiques et l'encodage par dictionnaire pour réduire la surcharge mémoire et accélérer les lectures analytiques. Le moteur couvre un large éventail de capacités analytiques, incluant l'implémentation de jointures hash, merge et semi, ainsi que l'agrégation parallèle multi-étapes et le calcul de fonctions de fenêtre. Il fournit des primitives pour le stockage colonnaire en mémoire, le décodage de données Parquet et l'intégration avec le stockage cloud. L'extensibilité est assurée par un système d'enregistrement de fonctions pour des fonctions scalaires et d'agrégation personnalisées, avec des bindings de haut niveau disponibles pour connecter la logique C++ à Python.
Writes data streams to memory blocks by transparently allocating additional non-contiguous ranges as needed.
C++
