18 dépôts
Mechanisms for grouping multiple computational queries into a single execution call to improve throughput.
Distinct from Batch Matrix Multiplication Utilities: Distinct from Batch Matrix Multiplication Utilities: focuses on general task/query batching rather than specific linear algebra operations.
Explore 18 awesome GitHub repositories matching data & databases · Query Batching. Refine with filters or upvote what's useful.
TanStack Table is a headless, framework-agnostic engine designed for building complex data grids and managing tabular state. By decoupling data processing logic from the visual rendering layer, it allows developers to implement custom user interfaces while offloading sophisticated operations like sorting, filtering, grouping, and pagination to a unified, performant core. The library distinguishes itself through its commitment to type safety and environment flexibility. It leverages strict type definitions to ensure data integrity across the entire application and utilizes an adapter pattern t
Groups individual operations into batches to improve system efficiency and reduce processing overhead.
Hystrix is a latency and fault tolerance library designed to prevent cascading failures in distributed systems. It functions as a circuit breaker implementation that monitors failure thresholds and opens circuits to isolate remote calls when downstream services degrade. The project distinguishes itself by providing multiple isolation mechanisms, utilizing dedicated thread pools and semaphores to ensure that latency in one dependency does not saturate the entire system. It also features a request collapsing and batching engine that groups concurrent calls into single executions to reduce the t
Runs multiple remote calls concurrently while caching identical requests and collapsing them into a single batch.
Apollo Client is a GraphQL client library and data fetching framework used to request data from a GraphQL server and synchronize that state within a frontend application. It functions as a remote state manager and a local state management tool, allowing developers to define client-side schemas and resolvers for data that does not reside on a remote server. The project features a normalized GraphQL cache that identifies objects by ID to ensure referential equality and consistent data updates across different queries. It also includes a GraphQL API mocking tool to simulate server responses and
Combines multiple GraphQL operations into a single network request to reduce overhead and round trips.
Horovod is a distributed deep learning framework designed to scale machine learning training across multiple GPUs and nodes. It functions as an orchestrator for multi-GPU scaling and a tool for distributed gradient averaging, allowing users to increase compute capacity without rewriting core model logic. The project provides a consistent communication interface that supports multi-framework model distribution across TensorFlow, PyTorch, Keras, and MXNet. It leverages an MPI distributed training library to synchronize gradients across processes using collective communication operations. The s
Groups multiple small gradient updates into a single large buffer to reduce network communication frequency.
Horovod is a distributed deep learning framework and gradient synchronizer designed to scale model training across multiple GPUs and compute nodes. It functions as a distributed training orchestrator and an elastic training engine, utilizing an MPI collective communication library to synchronize weights and gradients across TensorFlow, PyTorch, Keras, and MXNet models. The system distinguishes itself through dynamic elastic scaling, which allows it to adjust the number of active workers at runtime and recover from node failures. It optimizes communication efficiency using tensor fusion batchi
Groups multiple small tensors into larger buffers to reduce network overhead during gradient synchronization.
Bytebase is a database DevSecOps platform and management console designed to orchestrate schema migrations, deployments, and security audits across multiple database engines. It serves as a SQL GitOps tool that synchronizes database states with configurations stored in Git repositories to manage infrastructure as code. The platform distinguishes itself through a multi-database management console that provides a single interface for relational and NoSQL databases. It includes a security layer for role-based access control, database activity auditing, and column-level data masking to protect se
Pushes schema or data updates to multiple databases and tenants simultaneously using a centralized interface.
Dask est un framework de calcul parallèle et un planificateur de tâches distribué conçu pour mettre à l'échelle les flux de travail de science des données Python, des machines uniques aux grands clusters. Il fonctionne comme un gestionnaire de ressources de cluster qui orchestre la logique computationnelle en représentant les tâches et leurs dépendances sous forme de graphes acycliques dirigés. Cette architecture permet au système d'automatiser la distribution des charges de travail sur le matériel disponible tout en gérant des exigences d'exécution complexes. Le projet se distingue par un moteur d'évaluation paresseuse qui diffère les opérations sur les données jusqu'à ce qu'elles soient explicitement demandées, permettant une optimisation globale du graphe et une allocation efficace des ressources. Il intègre le déversement de données conscient de la mémoire pour éviter les plantages du système lors du traitement de jeux de données dépassant la mémoire disponible, et il utilise la fusion de graphes de tâches pour combiner des séquences d'opérations en étapes d'exécution uniques, minimisant la surcharge de planification et la communication entre nœuds. La plateforme fournit une surface de capacités complète pour l'analyse de données à grande échelle, incluant le support pour l'apprentissage automatique distribué, l'intégration du calcul haute performance et le traitement de données parallèle. Elle offre des outils étendus pour la gestion du cycle de vie des clusters, le profilage des performances et la surveillance en temps réel de l'exécution des tâches. Les utilisateurs peuvent déployer ces environnements sur diverses infrastructures, incluant le matériel local, les fournisseurs cloud, les systèmes conteneurisés et les clusters de calcul haute performance.
Groups multiple queries into a single execution call to enable parallel processing and reuse of shared intermediate results.
Falcor is a JavaScript library that models remote data as a single virtual JSON graph, providing a path-based query engine for efficient client-side data retrieval and updates. It represents multiple remote data sources as a unified document where entities are accessed via globally unique identity paths. The system distinguishes itself by treating the remote data model as a virtual JSON resource, allowing the client to query specific paths without managing individual endpoints. It uses a reference-aware graph model to handle many-to-many relationships and prevents data duplication. Network ef
Merges multiple concurrent requests within a time window into a single network call to eliminate redundancy.
GraphQL.NET est un framework côté serveur pour construire et exécuter des API GraphQL au sein d'applications C#. Il fournit une boîte à outils complète pour la construction de schémas, un moteur fédéré pour les graphes de données distribués et un gestionnaire d'abonnements pour gérer les flux de données en temps réel. Le projet se distingue par un constructeur de schéma flexible qui prend en charge à la fois les définitions programmatiques code-first et les approches déclaratives schema-first utilisant le langage de définition de schéma standard. Il inclut un moteur de fédération dédié pour diviser les graphes de données en sous-graphes et les composer en une passerelle unifiée, ainsi qu'une implémentation de chargeur de données (data loader) spécifiquement conçue pour résoudre le problème de requête N+1 via le traitement par lots et la mise en cache. Le framework couvre un large éventail de capacités opérationnelles, notamment l'intégration de l'injection de dépendances pour la gestion du cycle de vie des services, des pipelines de middleware pour l'interception de la résolution de champs, et un pipeline d'exécution optimisé avec des types de valeur pour réduire les allocations mémoire. Il fournit également des outils pour l'analyse de la complexité des requêtes, la mise en cache des documents et le contrôle d'accès basé sur les rôles pour sécuriser les endpoints de l'API. La prise en charge de la compilation de schéma en avance de phase (ahead-of-time) permet au framework de s'exécuter dans des environnements qui interdisent la génération de code dynamique.
Implements the DataLoader pattern to batch requests and cache results, eliminating N+1 query problems.
HotChocolate is a GraphQL server implementation for .NET that handles queries, mutations, and subscriptions over HTTP. It provides code-first schema generation directly from C# classes and attributes, keeping the schema and business logic in sync without manual type definitions. The project also includes a GraphQL gateway that composes multiple GraphQL and REST endpoints into a single unified schema, along with a GraphQL IDE for exploring, testing, and debugging GraphQL APIs interactively. The project distinguishes itself through its comprehensive tooling ecosystem, which includes a GraphQL c
Implements DataLoader-based batching to eliminate N+1 query problems in GraphQL resolvers.
GraphQL Platform is a comprehensive GraphQL ecosystem for .NET that provides a spec-compliant server framework for building APIs and gateways, along with a typed C# client for consuming GraphQL services. At its core, it translates C# classes and methods into a GraphQL schema using code-first or fluent descriptor approaches, enabling developers to define their API structure directly from their existing .NET code. The platform distinguishes itself through several integrated capabilities that address common GraphQL production concerns. It includes a DataLoader batching and caching engine that gr
Ships a DataLoader batching engine that groups data fetching requests by key to solve the N+1 problem in resolvers.
GraphQL-Ruby est une bibliothèque Ruby pour construire des API GraphQL avec un schéma fortement typé et un moteur d'exécution de requêtes dédié. Elle fournit un framework complet pour mapper les objets de l'application à un système de types formel, permettant une récupération de données structurée via des résolveurs définis. Le projet se distingue par des mécanismes avancés de performance et de livraison, incluant un data loader pour le batching et le cache afin d'éviter les patterns de requêtes N+1. Il supporte la livraison de données haute performance via le streaming de réponses incrémentales, les réponses de requêtes différées et la récupération de données en parallèle utilisant des fibers. De plus, il offre un support natif pour les conventions Relay, incluant des helpers spécialisés pour les connexions et l'identification d'objets. La bibliothèque couvre une large surface de gestion d'API, incluant un contrôle d'accès granulaire, le versioning de schéma pour maintenir la rétrocompatibilité et des mises à jour en temps réel via des abonnements. Elle inclut également des outils de gestion de trafic pour protéger les ressources serveur, tels que la limitation de complexité des requêtes et le rate limiting. Le développement et l'observabilité sont supportés par des outils d'analyse AST, le traçage d'exécution et des utilitaires de test spécialisés pour la vérification du chargement par lots.
Provides a DataLoader engine to batch data fetching requests and eliminate N+1 query problems.
obs-websocket est un plugin de contrôle à distance WebSocket et une extension pour OBS Studio. Il fonctionne comme une API réseau JSON-RPC qui permet aux appareils et applications externes de gérer les paramètres logiciels, les scènes et les opérations de streaming. Le projet fournit un protocole réseau standardisé qui permet l'exécution de commandes à distance et la synchronisation d'état pilotée par les événements. Il sécurise ces connexions en utilisant une authentification par défi salé (salted-challenge) pour vérifier l'identité du client. L'interface couvre un large éventail de capacités de production, incluant la gestion des scènes et des sources, le contrôle du niveau audio et la gestion de la sortie pour l'enregistrement et le streaming. Elle prend également en charge l'interrogation des statistiques système et la surveillance de l'état du logiciel pour faciliter la surveillance des diffusions en temps réel et l'automatisation des workflows.
Provides the ability to group multiple network commands into a single request for efficient execution.
LMQL est un langage de programmation et une interface probabiliste qui mélange la logique algorithmique avec la génération de texte stochastique. Il fonctionne comme un framework d'invites guidé par des contraintes et un générateur de sortie structurée, permettant aux utilisateurs de forcer les réponses du modèle à adhérer à des formats et types de données stricts. Le système se distingue comme un optimiseur d'inférence qui augmente le débit des jetons et réduit la latence. Ceci est réalisé via des stratégies d'exécution spécialisées, incluant la mise en cache des invites basée sur des arbres et le traitement par lots asynchrone. Le projet couvre un large éventail de capacités de contrôle de génération, telles que le masquage de jetons basé sur les logits, la sélection par recherche en faisceau (beam-search) et l'exécution entrelacée logique-invite. Il fournit également une infrastructure pour le streaming de réponses en temps réel via WebSockets et des événements envoyés par le serveur (SSE).
Groups multiple computational queries into single execution calls to increase token throughput and reduce latency.
Ce projet est un boilerplate de monorepo full stack et un template d'API GraphQL Node.js. Il fournit un projet de départ qui intègre une API GraphQL schema-first, une base de données PostgreSQL et un frontend React au sein d'un dépôt unique pour partager les types entre le backend et l'interface utilisateur. L'architecture inclut un wrapper serverless pour le déploiement cloud et la mise à l'échelle automatique. Elle implémente une couche de batching de requêtes pour optimiser la performance de la base de données en prévenant le problème de requête N+1. Le projet couvre la gestion de base de données via le versionnage de schéma basé sur les migrations et les fichiers de seed. Il inclut également des capacités pour l'intégration de l'identité utilisateur, englobant l'authentification, l'autorisation et le contrôle d'accès basé sur les permissions.
Implements a request batching layer using DataLoader to eliminate N+1 query problems in GraphQL resolvers.
Apollo Android est une bibliothèque cliente GraphQL fortement typée pour exécuter des requêtes et des mutations à travers JVM, Android et Kotlin Multiplatform. Elle inclut un outil de génération de code qui crée des classes immuables et des parseurs à partir de schémas GraphQL et de fichiers d'opération pour assurer la sécurité des types à la compilation. Le projet propose un cache normalisé qui aplatit les réponses dans une table de recherche pour maintenir une source de vérité unique. Il fournit également un client de souscription pour les mises à jour de données côté serveur en temps réel via des connexions WebSocket ou SSE, et un framework de mocking pour simuler les réponses du serveur et générer de fausses données typées pour les tests. La bibliothèque couvre un large éventail de capacités incluant l'optimisation réseau via le batching de requêtes et les requêtes persistantes, ainsi que la gestion de l'état des données locales avec des mises à jour optimistes et la pagination. Elle prend en charge l'intégration de moteurs HTTP personnalisés et le mapping de types scalaires personnalisés vers des classes de langage natives. L'outil s'intègre aux IDE de développement pour fournir une génération de code automatique et une navigation depuis l'éditeur vers les définitions.
Groups multiple GraphQL operations into a single network request to reduce round-trip latency.
Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,
Groups multiple augmented views of the same image into separate tensors within a single batch.
MadelineProto is an asynchronous PHP library that provides a programmatic interface for interacting with the Telegram API using the MTProto protocol, the same protocol used by official Telegram clients. It functions as both a Telegram bot SDK and a userbot automation library, enabling PHP applications to connect to Telegram as either a bot account or a regular user account, sending and receiving messages, media, and other data directly without relying on the Bot API intermediary. The library is built on an event-driven architecture with Amp v3 fiber-based concurrency, allowing for non-blockin
Queues multiple concurrent Telegram API calls into a single container for efficient batch processing.