2 dépôts
Adjusting thread counts for query processing and aggregation to optimize hardware utilization.
Distinct from Parallel Execution Settings: Focuses on tuning parallelism for data processing tasks rather than general infrastructure settings.
Explore 2 awesome GitHub repositories matching devops & infrastructure · Execution Parallelism Tuners. Refine with filters or upvote what's useful.
Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis
Tunes thread counts for query processing and data aggregation to maximize throughput.
hnswlib est une bibliothèque C++ header-only et un moteur d'indexation vectorielle conçu pour la recherche approximative de plus proches voisins en haute dimension. Il organise de grandes collections d'embeddings dans une structure de graphe interrogeable pour permettre des requêtes de proximité rapides et des calculs de distance. Le système utilise des graphes Hierarchical Navigable Small World pour obtenir une recherche de similarité vectorielle rapide. Il se distingue en permettant la définition de métriques de distance et de fonctions de similarité personnalisées pour adapter les calculs à des exigences de données spécifiques. Le moteur couvre tout le cycle de vie de l'indexation, incluant la construction incrémentale de l'index et la gestion des points de données via des ajouts et des suppressions d'éléments. Les capacités de requête incluent à la fois la recherche approximative et exacte des plus proches voisins, complétées par un filtrage de recherche booléen pour exclure des candidats basés sur des étiquettes d'éléments. La bibliothèque prend en charge la persistance de l'index via la sérialisation de fichiers binaires et fournit des configurations pour l'exécution parallèle afin de distribuer les tâches de requête et d'indexation sur plusieurs cœurs CPU.
Provides configurations to tune the number of CPU threads used for indexing and querying to optimize throughput.