awesome-repositories.com
Blog
awesome-repositories.com

Entdecke die besten Open-Source-Repositories mit KI-gestützter Suche.

EntdeckenKuratierte SuchenOpen-Source-AlternativenSelf-hosted SoftwareBlogSitemap
ProjektÜber unsRanking-MethodikPresseMCP-Server
RechtlichesDatenschutzAGB
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

18 Repos

Awesome GitHub RepositoriesQuery Batching

Mechanisms for grouping multiple computational queries into a single execution call to improve throughput.

Distinct from Batch Matrix Multiplication Utilities: Distinct from Batch Matrix Multiplication Utilities: focuses on general task/query batching rather than specific linear algebra operations.

Explore 18 awesome GitHub repositories matching data & databases · Query Batching. Refine with filters or upvote what's useful.

Awesome Query Batching GitHub Repositories

Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
  • tanstack/tableAvatar von TanStack

    TanStack/table

    28,119Auf GitHub ansehen↗

    TanStack Table is a headless, framework-agnostic engine designed for building complex data grids and managing tabular state. By decoupling data processing logic from the visual rendering layer, it allows developers to implement custom user interfaces while offloading sophisticated operations like sorting, filtering, grouping, and pagination to a unified, performant core. The library distinguishes itself through its commitment to type safety and environment flexibility. It leverages strict type definitions to ensure data integrity across the entire application and utilizes an adapter pattern t

    Groups individual operations into batches to improve system efficiency and reduce processing overhead.

    TypeScriptdatagriddatagridsdatatable
    Auf GitHub ansehen↗28,119
  • netflix/hystrixAvatar von Netflix

    Netflix/Hystrix

    24,461Auf GitHub ansehen↗

    Hystrix is a latency and fault tolerance library designed to prevent cascading failures in distributed systems. It functions as a circuit breaker implementation that monitors failure thresholds and opens circuits to isolate remote calls when downstream services degrade. The project distinguishes itself by providing multiple isolation mechanisms, utilizing dedicated thread pools and semaphores to ensure that latency in one dependency does not saturate the entire system. It also features a request collapsing and batching engine that groups concurrent calls into single executions to reduce the t

    Runs multiple remote calls concurrently while caching identical requests and collapsing them into a single batch.

    Java
    Auf GitHub ansehen↗24,461
  • apollographql/apollo-clientAvatar von apollographql

    apollographql/apollo-client

    19,798Auf GitHub ansehen↗

    Apollo Client is a GraphQL client library and data fetching framework used to request data from a GraphQL server and synchronize that state within a frontend application. It functions as a remote state manager and a local state management tool, allowing developers to define client-side schemas and resolvers for data that does not reside on a remote server. The project features a normalized GraphQL cache that identifies objects by ID to ensure referential equality and consistent data updates across different queries. It also includes a GraphQL API mocking tool to simulate server responses and

    Combines multiple GraphQL operations into a single network request to reduce overhead and round trips.

    TypeScriptapollo-clientapollographqlgraphql
    Auf GitHub ansehen↗19,798
  • uber/horovodAvatar von uber

    uber/horovod

    14,686Auf GitHub ansehen↗

    Horovod is a distributed deep learning framework designed to scale machine learning training across multiple GPUs and nodes. It functions as an orchestrator for multi-GPU scaling and a tool for distributed gradient averaging, allowing users to increase compute capacity without rewriting core model logic. The project provides a consistent communication interface that supports multi-framework model distribution across TensorFlow, PyTorch, Keras, and MXNet. It leverages an MPI distributed training library to synchronize gradients across processes using collective communication operations. The s

    Groups multiple small gradient updates into a single large buffer to reduce network communication frequency.

    Python
    Auf GitHub ansehen↗14,686
  • horovod/horovodAvatar von horovod

    horovod/horovod

    14,686Auf GitHub ansehen↗

    Horovod is a distributed deep learning framework and gradient synchronizer designed to scale model training across multiple GPUs and compute nodes. It functions as a distributed training orchestrator and an elastic training engine, utilizing an MPI collective communication library to synchronize weights and gradients across TensorFlow, PyTorch, Keras, and MXNet models. The system distinguishes itself through dynamic elastic scaling, which allows it to adjust the number of active workers at runtime and recover from node failures. It optimizes communication efficiency using tensor fusion batchi

    Groups multiple small tensors into larger buffers to reduce network overhead during gradient synchronization.

    Python
    Auf GitHub ansehen↗14,686
  • bytebase/bytebaseAvatar von bytebase

    bytebase/bytebase

    14,151Auf GitHub ansehen↗

    Bytebase is a database DevSecOps platform and management console designed to orchestrate schema migrations, deployments, and security audits across multiple database engines. It serves as a SQL GitOps tool that synchronizes database states with configurations stored in Git repositories to manage infrastructure as code. The platform distinguishes itself through a multi-database management console that provides a single interface for relational and NoSQL databases. It includes a security layer for role-based access control, database activity auditing, and column-level data masking to protect se

    Pushes schema or data updates to multiple databases and tenants simultaneously using a centralized interface.

    Gocicddata-maskingdata-security
    Auf GitHub ansehen↗14,151
  • dask/daskAvatar von dask

    dask/dask

    13,746Auf GitHub ansehen↗

    Dask ist ein Framework für paralleles Rechnen und ein verteilter Task-Scheduler, der darauf ausgelegt ist, Python-Data-Science-Workflows von einzelnen Maschinen auf große Cluster zu skalieren. Es fungiert als Cluster-Ressourcenmanager, der die Berechnungslogik orchestriert, indem Aufgaben und deren Abhängigkeiten als gerichtete azyklische Graphen dargestellt werden. Diese Architektur ermöglicht es dem System, die Verteilung von Workloads auf verfügbare Hardware zu automatisieren und gleichzeitig komplexe Ausführungsanforderungen zu verwalten. Das Projekt zeichnet sich durch eine Lazy-Evaluation-Engine aus, die Datenoperationen verzögert, bis sie explizit angefordert werden, was eine globale Graphoptimierung und effiziente Ressourcenzuweisung ermöglicht. Es integriert speicherbewusstes Data-Spilling, um Systemabstürze bei der Verarbeitung von Datensätzen zu verhindern, die den verfügbaren Speicher überschreiten, und nutzt Task-Graph-Fusion, um Sequenzen von Operationen in einzelne Ausführungsschritte zu kombinieren, wodurch Scheduling-Overhead und Inter-Node-Kommunikation minimiert werden. Die Plattform bietet eine umfassende Oberfläche für die Datenanalyse im großen Maßstab, einschließlich Unterstützung für verteiltes maschinelles Lernen, Integration in das Hochleistungsrechnen und parallele Datenverarbeitung. Sie bietet umfangreiche Werkzeuge für das Cluster-Lebenszyklusmanagement, Performance-Profiling und die Echtzeitüberwachung der Aufgabenausführung. Benutzer können diese Umgebungen über verschiedene Infrastrukturen hinweg bereitstellen, einschließlich lokaler Hardware, Cloud-Anbietern, containerisierten Systemen und Hochleistungsrechner-Clustern.

    Groups multiple queries into a single execution call to enable parallel processing and reuse of shared intermediate results.

    Pythondasknumpypandas
    Auf GitHub ansehen↗13,746
  • netflix/falcorAvatar von Netflix

    Netflix/falcor

    10,572Auf GitHub ansehen↗

    Falcor is a JavaScript library that models remote data as a single virtual JSON graph, providing a path-based query engine for efficient client-side data retrieval and updates. It represents multiple remote data sources as a unified document where entities are accessed via globally unique identity paths. The system distinguishes itself by treating the remote data model as a virtual JSON resource, allowing the client to query specific paths without managing individual endpoints. It uses a reference-aware graph model to handle many-to-many relationships and prevents data duplication. Network ef

    Merges multiple concurrent requests within a time window into a single network call to eliminate redundancy.

    JavaScript
    Auf GitHub ansehen↗10,572
  • graphql-dotnet/graphql-dotnetAvatar von graphql-dotnet

    graphql-dotnet/graphql-dotnet

    5,987Auf GitHub ansehen↗

    GraphQL.NET ist ein serverseitiges Framework für den Aufbau und die Ausführung von GraphQL-APIs innerhalb von C#-Anwendungen. Es bietet ein umfassendes Toolkit für den Schema-Aufbau, eine föderierte Engine für verteilte Datengraphen und einen Subscription-Handler für die Verwaltung von Echtzeit-Datenströmen. Das Projekt zeichnet sich durch einen flexiblen Schema-Builder aus, der sowohl programmatische Code-First-Definitionen als auch deklarative Schema-First-Ansätze unter Verwendung der Standard-Schema-Definitionssprache unterstützt. Es enthält eine dedizierte Föderations-Engine, um Datengraphen in Subgraphen aufzuteilen und zu einem einheitlichen Gateway zusammenzuführen, sowie eine Data-Loader-Implementierung, die speziell darauf ausgelegt ist, das N+1-Abfrageproblem durch Batching und Caching zu lösen. Das Framework deckt ein breites Spektrum an operativen Funktionen ab, einschließlich Dependency-Injection-Integration für das Service-Lifetime-Management, Middleware-Pipelines für die Interzeption von Feldauflösungen und eine Ausführungspipeline, die mit Werttypen optimiert wurde, um Speicherallokationen zu reduzieren. Zudem bietet es Tools für die Analyse der Abfragekomplexität, Dokument-Caching und rollenbasierte Zugriffskontrolle zur Absicherung von API-Endpunkten. Die Unterstützung für Ahead-of-Time-Schema-Kompilierung ermöglicht es dem Framework, in Umgebungen ausgeführt zu werden, die dynamische Code-Generierung untersagen.

    Implements the DataLoader pattern to batch requests and cache results, eliminating N+1 query problems.

    C#apidotnet-coregraphiql
    Auf GitHub ansehen↗5,987
  • chillicream/hotchocolateAvatar von ChilliCream

    ChilliCream/hotchocolate

    5,713Auf GitHub ansehen↗

    HotChocolate is a GraphQL server implementation for .NET that handles queries, mutations, and subscriptions over HTTP. It provides code-first schema generation directly from C# classes and attributes, keeping the schema and business logic in sync without manual type definitions. The project also includes a GraphQL gateway that composes multiple GraphQL and REST endpoints into a single unified schema, along with a GraphQL IDE for exploring, testing, and debugging GraphQL APIs interactively. The project distinguishes itself through its comprehensive tooling ecosystem, which includes a GraphQL c

    Implements DataLoader-based batching to eliminate N+1 query problems in GraphQL resolvers.

    C#
    Auf GitHub ansehen↗5,713
  • chillicream/graphql-platformAvatar von ChilliCream

    ChilliCream/graphql-platform

    5,712Auf GitHub ansehen↗

    GraphQL Platform is a comprehensive GraphQL ecosystem for .NET that provides a spec-compliant server framework for building APIs and gateways, along with a typed C# client for consuming GraphQL services. At its core, it translates C# classes and methods into a GraphQL schema using code-first or fluent descriptor approaches, enabling developers to define their API structure directly from their existing .NET code. The platform distinguishes itself through several integrated capabilities that address common GraphQL production concerns. It includes a DataLoader batching and caching engine that gr

    Ships a DataLoader batching engine that groups data fetching requests by key to solve the N+1 problem in resolvers.

    C#asp-netasp-net-corec-sharp
    Auf GitHub ansehen↗5,712
  • rmosolgo/graphql-rubyAvatar von rmosolgo

    rmosolgo/graphql-ruby

    5,448Auf GitHub ansehen↗

    GraphQL-Ruby ist eine Ruby-Bibliothek zum Erstellen von GraphQL-APIs mit einem stark typisierten Schema und einer dedizierten Query-Execution-Engine. Sie bietet ein umfassendes Framework zum Mappen von Anwendungsobjekten auf ein formales Typsystem, was strukturiertes Datenabrufen durch definierte Resolver ermöglicht. Das Projekt zeichnet sich durch fortschrittliche Performance- und Bereitstellungsmechanismen aus, darunter einen Data Loader für Batching und Caching zur Vermeidung von N+1-Abfragemustern. Es unterstützt leistungsstarke Datenbereitstellung durch inkrementelles Response-Streaming, verzögerte Abfrageantworten und paralleles Datenabrufen mittels Fibers. Zudem bietet es native Unterstützung für Relay-Konventionen, einschließlich spezialisierter Helfer für Connections und Objektidentifikation. Die Bibliothek deckt ein breites Spektrum an API-Management ab, einschließlich fein abgestufter Zugriffskontrolle, Schema-Versionierung zur Wahrung der Abwärtskompatibilität und Echtzeit-Updates via Subscriptions. Sie enthält zudem Traffic-Management-Tools zum Schutz von Serverressourcen, wie z. B. die Begrenzung der Abfragekomplexität und Request-Rate-Limiting. Entwicklung und Observability werden durch AST-Analysewerkzeuge, Execution-Tracing und spezialisierte Test-Utilities zur Verifizierung von Batch-Loading unterstützt.

    Provides a DataLoader engine to batch data fetching requests and eliminate N+1 query problems.

    Ruby
    Auf GitHub ansehen↗5,448
  • obsproject/obs-websocketAvatar von obsproject

    obsproject/obs-websocket

    4,317Auf GitHub ansehen↗

    obs-websocket ist ein WebSocket-Remote-Control-Plugin und eine Erweiterung für OBS Studio. Es fungiert als JSON-RPC-Netzwerk-API, die es externen Geräten und Anwendungen ermöglicht, Softwareeinstellungen, Szenen und Streaming-Vorgänge zu verwalten. Das Projekt bietet ein standardisiertes Netzwerkprotokoll, das die Ausführung von Remote-Befehlen und ereignisgesteuerte Zustands-Synchronisation ermöglicht. Es sichert diese Verbindungen mittels Salted-Challenge-Authentifizierung ab, um die Identität des Clients zu verifizieren. Die Schnittstelle deckt ein breites Spektrum an Produktionsfunktionen ab, einschließlich Szenen- und Quellenverwaltung, Audiolautstärkeregelung und Output-Management für Aufnahme und Streaming. Sie unterstützt zudem die Abfrage von Systemstatistiken und die Überwachung des Softwarestatus, um Echtzeit-Broadcast-Monitoring und Workflow-Automatisierung zu erleichtern.

    Provides the ability to group multiple network commands into a single request for efficient execution.

    C++hacktoberfestobs-studioremote-control
    Auf GitHub ansehen↗4,317
  • eth-sri/lmqlAvatar von eth-sri

    eth-sri/lmql

    4,185Auf GitHub ansehen↗

    LMQL ist eine Programmiersprache und probabilistische Schnittstelle, die algorithmische Logik mit stochastischer Textgenerierung verbindet. Sie fungiert als Framework für constraint-gesteuertes Prompting und als Generator für strukturierte Ausgaben, der es Benutzern ermöglicht, Modellantworten zur Einhaltung strikter Formatierungen und Datentypen zu zwingen. Das System zeichnet sich als Inferenz-Optimierer aus, der den Token-Durchsatz erhöht und die Latenz reduziert. Dies wird durch spezialisierte Ausführungsstrategien erreicht, einschließlich baumbasiertem Prompt-Caching und asynchroner Batch-Verarbeitung. Das Projekt deckt ein breites Spektrum an Funktionen zur Generierungssteuerung ab, wie logit-basiertes Token-Masking, Beam-Search-Selektion und verschachtelte Logik-Prompt-Ausführung. Es bietet zudem Infrastruktur für Echtzeit-Antwort-Streaming mittels WebSockets und Server-Sent Events.

    Groups multiple computational queries into single execution calls to increase token throughput and reduce latency.

    Python
    Auf GitHub ansehen↗4,185
  • kriasoft/nodejs-api-starterAvatar von kriasoft

    kriasoft/nodejs-api-starter

    3,970Auf GitHub ansehen↗

    Dieses Projekt ist eine Full-Stack-Monorepo-Vorlage und ein Node.js-GraphQL-API-Template. Es bietet ein Seed-Projekt, das eine Schema-First-GraphQL-API, eine PostgreSQL-Datenbank und ein React-Frontend innerhalb eines einzigen Repositorys integriert, um Typen zwischen Backend und Benutzeroberfläche zu teilen. Die Architektur beinhaltet einen Serverless-Wrapper für Cloud-Bereitstellung und automatische Skalierung. Sie implementiert eine Request-Batching-Ebene, um die Datenbankleistung durch die Vermeidung des N+1-Abfrageproblems zu optimieren. Das Projekt deckt Datenbankmanagement durch migrationsbasierte Schema-Versionierung und Seed-Dateien ab. Es enthält zudem Funktionen für die Integration von Benutzeridentitäten, einschließlich Authentifizierung, Autorisierung und berechtigungsbasierter Zugriffskontrolle.

    Implements a request batching layer using DataLoader to eliminate N+1 query problems in GraphQL resolvers.

    TypeScript
    Auf GitHub ansehen↗3,970
  • apollographql/apollo-androidAvatar von apollographql

    apollographql/apollo-android

    3,953Auf GitHub ansehen↗

    Apollo Android ist eine typsichere GraphQL-Client-Bibliothek für die Ausführung von Queries und Mutations über JVM, Android und Kotlin Multiplatform hinweg. Sie enthält ein Codegenerierungstool, das unveränderliche Klassen und Parser aus GraphQL-Schemas und Operationsdateien erstellt, um Typsicherheit zur Kompilierzeit zu gewährleisten. Das Projekt verfügt über einen normalisierten Cache, der Antworten in eine Lookup-Tabelle flacht, um eine einzige Quelle der Wahrheit beizubehalten. Es bietet zudem einen Subscription-Client für Echtzeit-Updates serverseitiger Daten via WebSocket- oder SSE-Verbindungen sowie ein Mocking-Framework zur Simulation von Serverantworten und zur Generierung gefälschter typsicherer Daten für Tests. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich Netzwerkoptimierung durch Request-Batching und persistente Queries sowie die Verwaltung des lokalen Datenzustands mit optimistischen Updates und Paginierung. Sie unterstützt die Integration benutzerdefinierter HTTP-Engines und das Mapping benutzerdefinierter Skalartypen auf native Sprachklassen. Das Tool integriert sich in Entwicklungs-IDEs, um automatische Codegenerierung und Navigation vom Editor zu Definitionen bereitzustellen.

    Groups multiple GraphQL operations into a single network request to reduce round-trip latency.

    Kotlin
    Auf GitHub ansehen↗3,953
  • lightly-ai/lightlyAvatar von lightly-ai

    lightly-ai/lightly

    3,684Auf GitHub ansehen↗

    Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,

    Groups multiple augmented views of the same image into separate tensors within a single batch.

    Pythoncomputer-visioncontrastive-learningcontributions-welcome
    Auf GitHub ansehen↗3,684
  • danog/madelineprotoAvatar von danog

    danog/MadelineProto

    3,344Auf GitHub ansehen↗

    MadelineProto is an asynchronous PHP library that provides a programmatic interface for interacting with the Telegram API using the MTProto protocol, the same protocol used by official Telegram clients. It functions as both a Telegram bot SDK and a userbot automation library, enabling PHP applications to connect to Telegram as either a bot account or a regular user account, sending and receiving messages, media, and other data directly without relying on the Bot API intermediary. The library is built on an event-driven architecture with Amp v3 fiber-based concurrency, allowing for non-blockin

    Queues multiple concurrent Telegram API calls into a single container for efficient batch processing.

    PHPamphpasyncbot
    Auf GitHub ansehen↗3,344
  1. Home
  2. Data & Databases
  3. Batch Processing
  4. Batch Matrix Multiplication Utilities
  5. Query Batching

Unter-Tags erkunden

  • API Call Batching2 Sub-TagsQueues multiple concurrent API calls into a single container for efficient batch processing with optional ordering. **Distinct from Query Batching:** Distinct from Query Batching: focuses on batching Telegram API calls specifically, not general computational queries.
  • Centralized Batch ExecutionPushes updates to multiple database tenants simultaneously from a single management interface. **Distinct from Query Batching:** Focuses on the orchestration of updates to multiple target environments rather than grouping queries for throughput.
  • DataLoader Batching EnginesEngines that group data fetching requests by key into single batch calls to eliminate N+1 query problems. **Distinct from Query Batching:** Distinct from Query Batching: specifically designed for GraphQL resolvers to batch and cache data fetches by key, not general computational query batching.
  • Tensor Communication Batching1 Sub-TagGrouping multiple small tensor updates into larger buffers to minimize network round trips. **Distinct from Query Batching:** Distinct from Query Batching: specifically applies to the batching of tensor gradients for network efficiency in ML.