18 रिपॉजिटरी
Mechanisms for grouping multiple computational queries into a single execution call to improve throughput.
Distinct from Batch Matrix Multiplication Utilities: Distinct from Batch Matrix Multiplication Utilities: focuses on general task/query batching rather than specific linear algebra operations.
Explore 18 awesome GitHub repositories matching data & databases · Query Batching. Refine with filters or upvote what's useful.
TanStack Table is a headless, framework-agnostic engine designed for building complex data grids and managing tabular state. By decoupling data processing logic from the visual rendering layer, it allows developers to implement custom user interfaces while offloading sophisticated operations like sorting, filtering, grouping, and pagination to a unified, performant core. The library distinguishes itself through its commitment to type safety and environment flexibility. It leverages strict type definitions to ensure data integrity across the entire application and utilizes an adapter pattern t
Groups individual operations into batches to improve system efficiency and reduce processing overhead.
Hystrix is a latency and fault tolerance library designed to prevent cascading failures in distributed systems. It functions as a circuit breaker implementation that monitors failure thresholds and opens circuits to isolate remote calls when downstream services degrade. The project distinguishes itself by providing multiple isolation mechanisms, utilizing dedicated thread pools and semaphores to ensure that latency in one dependency does not saturate the entire system. It also features a request collapsing and batching engine that groups concurrent calls into single executions to reduce the t
Runs multiple remote calls concurrently while caching identical requests and collapsing them into a single batch.
Apollo Client is a GraphQL client library and data fetching framework used to request data from a GraphQL server and synchronize that state within a frontend application. It functions as a remote state manager and a local state management tool, allowing developers to define client-side schemas and resolvers for data that does not reside on a remote server. The project features a normalized GraphQL cache that identifies objects by ID to ensure referential equality and consistent data updates across different queries. It also includes a GraphQL API mocking tool to simulate server responses and
Combines multiple GraphQL operations into a single network request to reduce overhead and round trips.
Horovod is a distributed deep learning framework designed to scale machine learning training across multiple GPUs and nodes. It functions as an orchestrator for multi-GPU scaling and a tool for distributed gradient averaging, allowing users to increase compute capacity without rewriting core model logic. The project provides a consistent communication interface that supports multi-framework model distribution across TensorFlow, PyTorch, Keras, and MXNet. It leverages an MPI distributed training library to synchronize gradients across processes using collective communication operations. The s
Groups multiple small gradient updates into a single large buffer to reduce network communication frequency.
Horovod is a distributed deep learning framework and gradient synchronizer designed to scale model training across multiple GPUs and compute nodes. It functions as a distributed training orchestrator and an elastic training engine, utilizing an MPI collective communication library to synchronize weights and gradients across TensorFlow, PyTorch, Keras, and MXNet models. The system distinguishes itself through dynamic elastic scaling, which allows it to adjust the number of active workers at runtime and recover from node failures. It optimizes communication efficiency using tensor fusion batchi
Groups multiple small tensors into larger buffers to reduce network overhead during gradient synchronization.
Bytebase is a database DevSecOps platform and management console designed to orchestrate schema migrations, deployments, and security audits across multiple database engines. It serves as a SQL GitOps tool that synchronizes database states with configurations stored in Git repositories to manage infrastructure as code. The platform distinguishes itself through a multi-database management console that provides a single interface for relational and NoSQL databases. It includes a security layer for role-based access control, database activity auditing, and column-level data masking to protect se
Pushes schema or data updates to multiple databases and tenants simultaneously using a centralized interface.
Dask एक पैरेलल कंप्यूटिंग फ्रेमवर्क और डिस्ट्रीब्यूटेड टास्क शेड्यूलर है जिसे Python डेटा साइंस वर्कफ़्लो को सिंगल मशीनों से बड़े क्लस्टर्स तक स्केल करने के लिए डिज़ाइन किया गया है। यह एक क्लस्टर रिसोर्स मैनेजर के रूप में कार्य करता है जो कार्यों और उनकी डिपेंडेंसी को डायरेक्टेड एसाइक्लिक ग्राफ (DAGs) के रूप में प्रस्तुत करके कम्प्यूटेशनल लॉजिक को व्यवस्थित करता है। यह आर्किटेक्चर सिस्टम को जटिल निष्पादन आवश्यकताओं का प्रबंधन करते हुए उपलब्ध हार्डवेयर पर वर्कलोड के वितरण को स्वचालित करने की अनुमति देता है। यह प्रोजेक्ट एक लेज़ी इवैल्यूएशन इंजन के माध्यम से खुद को अलग करता है जो डेटा ऑपरेशन्स को तब तक स्थगित कर देता है जब तक कि उन्हें स्पष्ट रूप से अनुरोध न किया जाए, जिससे ग्लोबल ग्राफ ऑप्टिमाइज़ेशन और कुशल संसाधन आवंटन सक्षम होता है। इसमें उपलब्ध मेमोरी से अधिक डेटासेट को प्रोसेस करते समय सिस्टम क्रैश को रोकने के लिए मेमोरी-अवेयर डेटा स्पिलिंग शामिल है, और यह टास्क ग्राफ फ्यूजन का उपयोग ऑपरेशन्स के अनुक्रमों को एकल निष्पादन चरणों में संयोजित करने के लिए करता है, जिससे शेड्यूलिंग ओवरहेड और इंटर-नोड संचार कम हो जाता है। यह प्लेटफॉर्म बड़े पैमाने पर डेटा एनालिटिक्स के लिए एक व्यापक क्षमता सतह प्रदान करता है, जिसमें डिस्ट्रीब्यूटेड मशीन लर्निंग, उच्च-प्रदर्शन कंप्यूटिंग एकीकरण, और पैरेलल डेटा प्रोसेसिंग के लिए समर्थन शामिल है। यह क्लस्टर लाइफसाइकिल मैनेजमेंट, परफॉरमेंस प्रोफाइलिंग, और टास्क निष्पादन की रीयल-टाइम मॉनिटरिंग के लिए व्यापक उपकरण प्रदान करता है। उपयोगकर्ता इन वातावरणों को स्थानीय हार्डवेयर, क्लाउड प्रदाताओं, कंटेनरीकृत सिस्टम, और उच्च-प्रदर्शन कंप्यूटिंग क्लस्टर्स सहित विविध बुनियादी ढांचे पर तैनात कर सकते हैं।
Groups multiple queries into a single execution call to enable parallel processing and reuse of shared intermediate results.
Falcor is a JavaScript library that models remote data as a single virtual JSON graph, providing a path-based query engine for efficient client-side data retrieval and updates. It represents multiple remote data sources as a unified document where entities are accessed via globally unique identity paths. The system distinguishes itself by treating the remote data model as a virtual JSON resource, allowing the client to query specific paths without managing individual endpoints. It uses a reference-aware graph model to handle many-to-many relationships and prevents data duplication. Network ef
Merges multiple concurrent requests within a time window into a single network call to eliminate redundancy.
GraphQL.NET is a server-side framework for building and executing GraphQL APIs within C# applications. It provides a comprehensive toolkit for schema building, a federated engine for distributed data graphs, and a subscription handler for managing real-time data streams. The project distinguishes itself with a flexible schema builder that supports both programmatic code-first definitions and declarative schema-first approaches using the standard schema definition language. It includes a dedicated federation engine to split data graphs into subgraphs and compose them into a unified gateway, as
Implements the DataLoader pattern to batch requests and cache results, eliminating N+1 query problems.
HotChocolate is a GraphQL server implementation for .NET that handles queries, mutations, and subscriptions over HTTP. It provides code-first schema generation directly from C# classes and attributes, keeping the schema and business logic in sync without manual type definitions. The project also includes a GraphQL gateway that composes multiple GraphQL and REST endpoints into a single unified schema, along with a GraphQL IDE for exploring, testing, and debugging GraphQL APIs interactively. The project distinguishes itself through its comprehensive tooling ecosystem, which includes a GraphQL c
Implements DataLoader-based batching to eliminate N+1 query problems in GraphQL resolvers.
GraphQL Platform is a comprehensive GraphQL ecosystem for .NET that provides a spec-compliant server framework for building APIs and gateways, along with a typed C# client for consuming GraphQL services. At its core, it translates C# classes and methods into a GraphQL schema using code-first or fluent descriptor approaches, enabling developers to define their API structure directly from their existing .NET code. The platform distinguishes itself through several integrated capabilities that address common GraphQL production concerns. It includes a DataLoader batching and caching engine that gr
Ships a DataLoader batching engine that groups data fetching requests by key to solve the N+1 problem in resolvers.
GraphQL-Ruby एक स्ट्रॉन्गली टाइप्ड स्कीमा और समर्पित क्वेरी निष्पादन इंजन के साथ GraphQL APIs बनाने के लिए एक Ruby लाइब्रेरी है। यह एप्लिकेशन ऑब्जेक्ट्स को एक औपचारिक टाइप सिस्टम में मैप करने के लिए एक व्यापक फ्रेमवर्क प्रदान करता है, जो परिभाषित रिजॉल्वर्स के माध्यम से स्ट्रक्चर्ड डेटा फेचिंग को सक्षम बनाता है। यह प्रोजेक्ट उन्नत प्रदर्शन और डिलीवरी तंत्र के साथ खुद को अलग करता है, जिसमें N+1 क्वेरी पैटर्न को रोकने के लिए बैचिंग और कैशिंग के लिए डेटा लोडर शामिल है। यह इंक्रीमेंटल रिस्पॉन्स स्ट्रीमिंग, डिफर्ड क्वेरी रिस्पॉन्स और फाइबर्स का उपयोग करके समानांतर डेटा फेचिंग के माध्यम से उच्च-प्रदर्शन डेटा डिलीवरी का समर्थन करता है। इसके अतिरिक्त, यह Relay कन्वेंशन के लिए नेटिव समर्थन प्रदान करता है, जिसमें कनेक्शन्स और ऑब्जेक्ट आइडेंटिफिकेशन के लिए विशेष हेल्पर्स शामिल हैं। यह लाइब्रेरी API प्रबंधन के एक व्यापक क्षेत्र को कवर करती है, जिसमें फाइन-ग्रेन्ड एक्सेस कंट्रोल, बैकवर्ड कम्पैटिबिलिटी बनाए रखने के लिए स्कीमा वर्शनिंग और सब्सक्रिप्शन के माध्यम से रीयल-टाइम अपडेट शामिल हैं। इसमें सर्वर संसाधनों की सुरक्षा के लिए ट्रैफिक मैनेजमेंट टूल्स भी शामिल हैं, जैसे क्वेरी कॉम्प्लेक्सिटी लिमिटिंग और रिक्वेस्ट रेट लिमिटिंग। डेवलपमेंट और ऑब्जर्वेबिलिटी को AST एनालिसिस टूल्स, निष्पादन ट्रेसिंग और बैच लोडिंग वेरिफिकेशन के लिए विशेष टेस्टिंग यूटिलिटीज के माध्यम से समर्थित किया जाता है।
Provides a DataLoader engine to batch data fetching requests and eliminate N+1 query problems.
obs-websocket is a WebSocket remote control plugin and extension for OBS Studio. It functions as a JSON-RPC network API that allows external devices and applications to manage software settings, scenes, and streaming operations. The project provides a standardized network protocol that enables remote command execution and event-driven state synchronization. It secures these connections using salted-challenge authentication to verify client identity. The interface covers a broad range of production capabilities, including scene and source management, audio level control, and output management
Provides the ability to group multiple network commands into a single request for efficient execution.
LMQL एक प्रोग्रामिंग भाषा और संभाव्य इंटरफेस है जो स्टोकेस्टिक टेक्स्ट निर्माण के साथ एल्गोरिथम लॉजिक को मिश्रित करती है। यह एक बाधा-निर्देशित प्रॉम्प्टिंग फ्रेमवर्क और संरचित आउटपुट जनरेटर के रूप में कार्य करता है, जो उपयोगकर्ताओं को मॉडल रिस्पॉन्स को सख्त स्वरूपण और डेटा प्रकारों का पालन करने के लिए मजबूर करने की अनुमति देता है। यह सिस्टम एक इन्फरेंस ऑप्टिमाइज़र के रूप में खुद को अलग करता है जो टोकन थ्रूपुट को बढ़ाता है और विलंबता को कम करता है। यह ट्री-आधारित प्रॉम्प्ट कैशिंग और एसिंक्रोनस बैच प्रोसेसिंग सहित विशेष निष्पादन रणनीतियों के माध्यम से प्राप्त किया जाता है। यह प्रोजेक्ट लॉगिट-आधारित टोकन मास्किंग, बीम-सर्च चयन, और इंटरलीव्ड लॉजिक-प्रॉम्प्ट निष्पादन जैसी पीढ़ी नियंत्रण क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह WebSockets और सर्वर-सेंट इवेंट्स के माध्यम से रीयल-टाइम रिस्पॉन्स स्ट्रीमिंग के लिए इंफ्रास्ट्रक्चर भी प्रदान करता है।
Groups multiple computational queries into single execution calls to increase token throughput and reduce latency.
यह प्रोजेक्ट एक फुल स्टैक मोनोरेपो बॉयलरप्लेट और Node.js GraphQL API टेम्प्लेट है। यह एक सीड प्रोजेक्ट प्रदान करता है जो बैकएंड और उपयोगकर्ता इंटरफ़ेस के बीच प्रकार साझा करने के लिए एक ही रिपॉजिटरी के भीतर एक स्कीमा-फ़र्स्ट GraphQL API, एक PostgreSQL डेटाबेस, और एक React फ्रंटएंड को एकीकृत करता है। आर्किटेक्चर में क्लाउड तैनाती और स्वचालित स्केलिंग के लिए एक सर्वरलेस रैपर शामिल है। यह N+1 क्वेरी समस्या को रोककर डेटाबेस प्रदर्शन को ऑप्टिमाइज़ करने के लिए एक अनुरोध बैचिंग लेयर लागू करता है। प्रोजेक्ट माइग्रेशन-आधारित स्कीमा वर्ज़निंग और सीड फ़ाइलों के माध्यम से डेटाबेस प्रबंधन को कवर करती है। इसमें प्रमाणीकरण, प्राधिकरण, और अनुमति-आधारित एक्सेस कंट्रोल को शामिल करते हुए उपयोगकर्ता पहचान एकीकरण के लिए क्षमताएं भी शामिल हैं।
Implements a request batching layer using DataLoader to eliminate N+1 query problems in GraphQL resolvers.
Apollo Android एक strongly-typed GraphQL क्लाइंट लाइब्रेरी है, जो JVM, Android और Kotlin Multiplatform पर क्वेरी और म्यूटेशन चलाने के काम आती है। इसमें एक कोड जनरेशन टूल शामिल है जो GraphQL स्कीमा और ऑपरेशन फाइलों से immutable क्लासेस और पार्सर बनाता है, ताकि कंपाइल-टाइम पर टाइप सेफ्टी बनी रहे। इस प्रोजेक्ट में एक नॉर्मलाइज्ड कैश है जो रिस्पॉन्स को एक लुकअप टेबल में बदल देता है ताकि डेटा का सिंगल सोर्स ऑफ ट्रुथ बना रहे। यह WebSocket या SSE कनेक्शन के जरिए रियल-टाइम सर्वर-साइड डेटा अपडेट के लिए एक सब्सक्रिप्शन क्लाइंट और टेस्टिंग के लिए सर्वर रिस्पॉन्स को मॉक करने व फेक टाइप-सेफ डेटा जनरेट करने वाला फ्रेमवर्क भी प्रदान करता है। यह लाइब्रेरी रिक्वेस्ट बैचिंग और पर्सिस्टेड क्वेरी के जरिए नेटवर्क ऑप्टिमाइजेशन, और ऑप्टिमिस्टिक अपडेट व पेजिनेशन के साथ लोकल डेटा स्टेट मैनेजमेंट जैसी कई क्षमताएं प्रदान करती है। यह कस्टम HTTP इंजन के इंटीग्रेशन और कस्टम स्केलर टाइप्स को नेटिव लैंग्वेज क्लासेस में मैप करने का भी समर्थन करती है। यह टूल डेवलपमेंट IDEs के साथ इंटीग्रेट होकर ऑटोमैटिक कोड जनरेशन और एडिटर से सीधे डेफिनिशन तक नेविगेशन की सुविधा देता है।
Groups multiple GraphQL operations into a single network request to reduce round-trip latency.
Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,
Groups multiple augmented views of the same image into separate tensors within a single batch.
MadelineProto is an asynchronous PHP library that provides a programmatic interface for interacting with the Telegram API using the MTProto protocol, the same protocol used by official Telegram clients. It functions as both a Telegram bot SDK and a userbot automation library, enabling PHP applications to connect to Telegram as either a bot account or a regular user account, sending and receiving messages, media, and other data directly without relying on the Bot API intermediary. The library is built on an event-driven architecture with Amp v3 fiber-based concurrency, allowing for non-blockin
Queues multiple concurrent Telegram API calls into a single container for efficient batch processing.