18 Repos
Mechanisms for grouping multiple computational queries into a single execution call to improve throughput.
Distinct from Batch Matrix Multiplication Utilities: Distinct from Batch Matrix Multiplication Utilities: focuses on general task/query batching rather than specific linear algebra operations.
Explore 18 awesome GitHub repositories matching data & databases · Query Batching. Refine with filters or upvote what's useful.
TanStack Table is a headless, framework-agnostic engine designed for building complex data grids and managing tabular state. By decoupling data processing logic from the visual rendering layer, it allows developers to implement custom user interfaces while offloading sophisticated operations like sorting, filtering, grouping, and pagination to a unified, performant core. The library distinguishes itself through its commitment to type safety and environment flexibility. It leverages strict type definitions to ensure data integrity across the entire application and utilizes an adapter pattern t
Groups individual operations into batches to improve system efficiency and reduce processing overhead.
Hystrix is a latency and fault tolerance library designed to prevent cascading failures in distributed systems. It functions as a circuit breaker implementation that monitors failure thresholds and opens circuits to isolate remote calls when downstream services degrade. The project distinguishes itself by providing multiple isolation mechanisms, utilizing dedicated thread pools and semaphores to ensure that latency in one dependency does not saturate the entire system. It also features a request collapsing and batching engine that groups concurrent calls into single executions to reduce the t
Runs multiple remote calls concurrently while caching identical requests and collapsing them into a single batch.
Apollo Client is a GraphQL client library and data fetching framework used to request data from a GraphQL server and synchronize that state within a frontend application. It functions as a remote state manager and a local state management tool, allowing developers to define client-side schemas and resolvers for data that does not reside on a remote server. The project features a normalized GraphQL cache that identifies objects by ID to ensure referential equality and consistent data updates across different queries. It also includes a GraphQL API mocking tool to simulate server responses and
Combines multiple GraphQL operations into a single network request to reduce overhead and round trips.
Horovod is a distributed deep learning framework designed to scale machine learning training across multiple GPUs and nodes. It functions as an orchestrator for multi-GPU scaling and a tool for distributed gradient averaging, allowing users to increase compute capacity without rewriting core model logic. The project provides a consistent communication interface that supports multi-framework model distribution across TensorFlow, PyTorch, Keras, and MXNet. It leverages an MPI distributed training library to synchronize gradients across processes using collective communication operations. The s
Groups multiple small gradient updates into a single large buffer to reduce network communication frequency.
Horovod is a distributed deep learning framework and gradient synchronizer designed to scale model training across multiple GPUs and compute nodes. It functions as a distributed training orchestrator and an elastic training engine, utilizing an MPI collective communication library to synchronize weights and gradients across TensorFlow, PyTorch, Keras, and MXNet models. The system distinguishes itself through dynamic elastic scaling, which allows it to adjust the number of active workers at runtime and recover from node failures. It optimizes communication efficiency using tensor fusion batchi
Groups multiple small tensors into larger buffers to reduce network overhead during gradient synchronization.
Bytebase is a database DevSecOps platform and management console designed to orchestrate schema migrations, deployments, and security audits across multiple database engines. It serves as a SQL GitOps tool that synchronizes database states with configurations stored in Git repositories to manage infrastructure as code. The platform distinguishes itself through a multi-database management console that provides a single interface for relational and NoSQL databases. It includes a security layer for role-based access control, database activity auditing, and column-level data masking to protect se
Pushes schema or data updates to multiple databases and tenants simultaneously using a centralized interface.
Dask ist ein Framework für paralleles Rechnen und ein verteilter Task-Scheduler, der darauf ausgelegt ist, Python-Data-Science-Workflows von einzelnen Maschinen auf große Cluster zu skalieren. Es fungiert als Cluster-Ressourcenmanager, der die Berechnungslogik orchestriert, indem Aufgaben und deren Abhängigkeiten als gerichtete azyklische Graphen dargestellt werden. Diese Architektur ermöglicht es dem System, die Verteilung von Workloads auf verfügbare Hardware zu automatisieren und gleichzeitig komplexe Ausführungsanforderungen zu verwalten. Das Projekt zeichnet sich durch eine Lazy-Evaluation-Engine aus, die Datenoperationen verzögert, bis sie explizit angefordert werden, was eine globale Graphoptimierung und effiziente Ressourcenzuweisung ermöglicht. Es integriert speicherbewusstes Data-Spilling, um Systemabstürze bei der Verarbeitung von Datensätzen zu verhindern, die den verfügbaren Speicher überschreiten, und nutzt Task-Graph-Fusion, um Sequenzen von Operationen in einzelne Ausführungsschritte zu kombinieren, wodurch Scheduling-Overhead und Inter-Node-Kommunikation minimiert werden. Die Plattform bietet eine umfassende Oberfläche für die Datenanalyse im großen Maßstab, einschließlich Unterstützung für verteiltes maschinelles Lernen, Integration in das Hochleistungsrechnen und parallele Datenverarbeitung. Sie bietet umfangreiche Werkzeuge für das Cluster-Lebenszyklusmanagement, Performance-Profiling und die Echtzeitüberwachung der Aufgabenausführung. Benutzer können diese Umgebungen über verschiedene Infrastrukturen hinweg bereitstellen, einschließlich lokaler Hardware, Cloud-Anbietern, containerisierten Systemen und Hochleistungsrechner-Clustern.
Groups multiple queries into a single execution call to enable parallel processing and reuse of shared intermediate results.
Falcor is a JavaScript library that models remote data as a single virtual JSON graph, providing a path-based query engine for efficient client-side data retrieval and updates. It represents multiple remote data sources as a unified document where entities are accessed via globally unique identity paths. The system distinguishes itself by treating the remote data model as a virtual JSON resource, allowing the client to query specific paths without managing individual endpoints. It uses a reference-aware graph model to handle many-to-many relationships and prevents data duplication. Network ef
Merges multiple concurrent requests within a time window into a single network call to eliminate redundancy.
GraphQL.NET ist ein serverseitiges Framework für den Aufbau und die Ausführung von GraphQL-APIs innerhalb von C#-Anwendungen. Es bietet ein umfassendes Toolkit für den Schema-Aufbau, eine föderierte Engine für verteilte Datengraphen und einen Subscription-Handler für die Verwaltung von Echtzeit-Datenströmen. Das Projekt zeichnet sich durch einen flexiblen Schema-Builder aus, der sowohl programmatische Code-First-Definitionen als auch deklarative Schema-First-Ansätze unter Verwendung der Standard-Schema-Definitionssprache unterstützt. Es enthält eine dedizierte Föderations-Engine, um Datengraphen in Subgraphen aufzuteilen und zu einem einheitlichen Gateway zusammenzuführen, sowie eine Data-Loader-Implementierung, die speziell darauf ausgelegt ist, das N+1-Abfrageproblem durch Batching und Caching zu lösen. Das Framework deckt ein breites Spektrum an operativen Funktionen ab, einschließlich Dependency-Injection-Integration für das Service-Lifetime-Management, Middleware-Pipelines für die Interzeption von Feldauflösungen und eine Ausführungspipeline, die mit Werttypen optimiert wurde, um Speicherallokationen zu reduzieren. Zudem bietet es Tools für die Analyse der Abfragekomplexität, Dokument-Caching und rollenbasierte Zugriffskontrolle zur Absicherung von API-Endpunkten. Die Unterstützung für Ahead-of-Time-Schema-Kompilierung ermöglicht es dem Framework, in Umgebungen ausgeführt zu werden, die dynamische Code-Generierung untersagen.
Implements the DataLoader pattern to batch requests and cache results, eliminating N+1 query problems.
HotChocolate is a GraphQL server implementation for .NET that handles queries, mutations, and subscriptions over HTTP. It provides code-first schema generation directly from C# classes and attributes, keeping the schema and business logic in sync without manual type definitions. The project also includes a GraphQL gateway that composes multiple GraphQL and REST endpoints into a single unified schema, along with a GraphQL IDE for exploring, testing, and debugging GraphQL APIs interactively. The project distinguishes itself through its comprehensive tooling ecosystem, which includes a GraphQL c
Implements DataLoader-based batching to eliminate N+1 query problems in GraphQL resolvers.
GraphQL Platform is a comprehensive GraphQL ecosystem for .NET that provides a spec-compliant server framework for building APIs and gateways, along with a typed C# client for consuming GraphQL services. At its core, it translates C# classes and methods into a GraphQL schema using code-first or fluent descriptor approaches, enabling developers to define their API structure directly from their existing .NET code. The platform distinguishes itself through several integrated capabilities that address common GraphQL production concerns. It includes a DataLoader batching and caching engine that gr
Ships a DataLoader batching engine that groups data fetching requests by key to solve the N+1 problem in resolvers.
GraphQL-Ruby ist eine Ruby-Bibliothek zum Erstellen von GraphQL-APIs mit einem stark typisierten Schema und einer dedizierten Query-Execution-Engine. Sie bietet ein umfassendes Framework zum Mappen von Anwendungsobjekten auf ein formales Typsystem, was strukturiertes Datenabrufen durch definierte Resolver ermöglicht. Das Projekt zeichnet sich durch fortschrittliche Performance- und Bereitstellungsmechanismen aus, darunter einen Data Loader für Batching und Caching zur Vermeidung von N+1-Abfragemustern. Es unterstützt leistungsstarke Datenbereitstellung durch inkrementelles Response-Streaming, verzögerte Abfrageantworten und paralleles Datenabrufen mittels Fibers. Zudem bietet es native Unterstützung für Relay-Konventionen, einschließlich spezialisierter Helfer für Connections und Objektidentifikation. Die Bibliothek deckt ein breites Spektrum an API-Management ab, einschließlich fein abgestufter Zugriffskontrolle, Schema-Versionierung zur Wahrung der Abwärtskompatibilität und Echtzeit-Updates via Subscriptions. Sie enthält zudem Traffic-Management-Tools zum Schutz von Serverressourcen, wie z. B. die Begrenzung der Abfragekomplexität und Request-Rate-Limiting. Entwicklung und Observability werden durch AST-Analysewerkzeuge, Execution-Tracing und spezialisierte Test-Utilities zur Verifizierung von Batch-Loading unterstützt.
Provides a DataLoader engine to batch data fetching requests and eliminate N+1 query problems.
obs-websocket ist ein WebSocket-Remote-Control-Plugin und eine Erweiterung für OBS Studio. Es fungiert als JSON-RPC-Netzwerk-API, die es externen Geräten und Anwendungen ermöglicht, Softwareeinstellungen, Szenen und Streaming-Vorgänge zu verwalten. Das Projekt bietet ein standardisiertes Netzwerkprotokoll, das die Ausführung von Remote-Befehlen und ereignisgesteuerte Zustands-Synchronisation ermöglicht. Es sichert diese Verbindungen mittels Salted-Challenge-Authentifizierung ab, um die Identität des Clients zu verifizieren. Die Schnittstelle deckt ein breites Spektrum an Produktionsfunktionen ab, einschließlich Szenen- und Quellenverwaltung, Audiolautstärkeregelung und Output-Management für Aufnahme und Streaming. Sie unterstützt zudem die Abfrage von Systemstatistiken und die Überwachung des Softwarestatus, um Echtzeit-Broadcast-Monitoring und Workflow-Automatisierung zu erleichtern.
Provides the ability to group multiple network commands into a single request for efficient execution.
LMQL ist eine Programmiersprache und probabilistische Schnittstelle, die algorithmische Logik mit stochastischer Textgenerierung verbindet. Sie fungiert als Framework für constraint-gesteuertes Prompting und als Generator für strukturierte Ausgaben, der es Benutzern ermöglicht, Modellantworten zur Einhaltung strikter Formatierungen und Datentypen zu zwingen. Das System zeichnet sich als Inferenz-Optimierer aus, der den Token-Durchsatz erhöht und die Latenz reduziert. Dies wird durch spezialisierte Ausführungsstrategien erreicht, einschließlich baumbasiertem Prompt-Caching und asynchroner Batch-Verarbeitung. Das Projekt deckt ein breites Spektrum an Funktionen zur Generierungssteuerung ab, wie logit-basiertes Token-Masking, Beam-Search-Selektion und verschachtelte Logik-Prompt-Ausführung. Es bietet zudem Infrastruktur für Echtzeit-Antwort-Streaming mittels WebSockets und Server-Sent Events.
Groups multiple computational queries into single execution calls to increase token throughput and reduce latency.
Dieses Projekt ist eine Full-Stack-Monorepo-Vorlage und ein Node.js-GraphQL-API-Template. Es bietet ein Seed-Projekt, das eine Schema-First-GraphQL-API, eine PostgreSQL-Datenbank und ein React-Frontend innerhalb eines einzigen Repositorys integriert, um Typen zwischen Backend und Benutzeroberfläche zu teilen. Die Architektur beinhaltet einen Serverless-Wrapper für Cloud-Bereitstellung und automatische Skalierung. Sie implementiert eine Request-Batching-Ebene, um die Datenbankleistung durch die Vermeidung des N+1-Abfrageproblems zu optimieren. Das Projekt deckt Datenbankmanagement durch migrationsbasierte Schema-Versionierung und Seed-Dateien ab. Es enthält zudem Funktionen für die Integration von Benutzeridentitäten, einschließlich Authentifizierung, Autorisierung und berechtigungsbasierter Zugriffskontrolle.
Implements a request batching layer using DataLoader to eliminate N+1 query problems in GraphQL resolvers.
Apollo Android ist eine typsichere GraphQL-Client-Bibliothek für die Ausführung von Queries und Mutations über JVM, Android und Kotlin Multiplatform hinweg. Sie enthält ein Codegenerierungstool, das unveränderliche Klassen und Parser aus GraphQL-Schemas und Operationsdateien erstellt, um Typsicherheit zur Kompilierzeit zu gewährleisten. Das Projekt verfügt über einen normalisierten Cache, der Antworten in eine Lookup-Tabelle flacht, um eine einzige Quelle der Wahrheit beizubehalten. Es bietet zudem einen Subscription-Client für Echtzeit-Updates serverseitiger Daten via WebSocket- oder SSE-Verbindungen sowie ein Mocking-Framework zur Simulation von Serverantworten und zur Generierung gefälschter typsicherer Daten für Tests. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich Netzwerkoptimierung durch Request-Batching und persistente Queries sowie die Verwaltung des lokalen Datenzustands mit optimistischen Updates und Paginierung. Sie unterstützt die Integration benutzerdefinierter HTTP-Engines und das Mapping benutzerdefinierter Skalartypen auf native Sprachklassen. Das Tool integriert sich in Entwicklungs-IDEs, um automatische Codegenerierung und Navigation vom Editor zu Definitionen bereitzustellen.
Groups multiple GraphQL operations into a single network request to reduce round-trip latency.
Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,
Groups multiple augmented views of the same image into separate tensors within a single batch.
MadelineProto is an asynchronous PHP library that provides a programmatic interface for interacting with the Telegram API using the MTProto protocol, the same protocol used by official Telegram clients. It functions as both a Telegram bot SDK and a userbot automation library, enabling PHP applications to connect to Telegram as either a bot account or a regular user account, sending and receiving messages, media, and other data directly without relying on the Bot API intermediary. The library is built on an event-driven architecture with Amp v3 fiber-based concurrency, allowing for non-blockin
Queues multiple concurrent Telegram API calls into a single container for efficient batch processing.