17 مستودعات
Mechanisms for grouping multiple computational queries into a single execution call to improve throughput.
Distinct from Batch Matrix Multiplication Utilities: Distinct from Batch Matrix Multiplication Utilities: focuses on general task/query batching rather than specific linear algebra operations.
Explore 17 awesome GitHub repositories matching data & databases · Query Batching. Refine with filters or upvote what's useful.
TanStack Table is a headless, framework-agnostic engine designed for building complex data grids and managing tabular state. By decoupling data processing logic from the visual rendering layer, it allows developers to implement custom user interfaces while offloading sophisticated operations like sorting, filtering, grouping, and pagination to a unified, performant core. The library distinguishes itself through its commitment to type safety and environment flexibility. It leverages strict type definitions to ensure data integrity across the entire application and utilizes an adapter pattern t
Groups individual operations into batches to improve system efficiency and reduce processing overhead.
Hystrix is a latency and fault tolerance library designed to prevent cascading failures in distributed systems. It functions as a circuit breaker implementation that monitors failure thresholds and opens circuits to isolate remote calls when downstream services degrade. The project distinguishes itself by providing multiple isolation mechanisms, utilizing dedicated thread pools and semaphores to ensure that latency in one dependency does not saturate the entire system. It also features a request collapsing and batching engine that groups concurrent calls into single executions to reduce the t
Runs multiple remote calls concurrently while caching identical requests and collapsing them into a single batch.
Apollo Client is a GraphQL client library and data fetching framework used to request data from a GraphQL server and synchronize that state within a frontend application. It functions as a remote state manager and a local state management tool, allowing developers to define client-side schemas and resolvers for data that does not reside on a remote server. The project features a normalized GraphQL cache that identifies objects by ID to ensure referential equality and consistent data updates across different queries. It also includes a GraphQL API mocking tool to simulate server responses and
Combines multiple GraphQL operations into a single network request to reduce overhead and round trips.
Horovod is a distributed deep learning framework designed to scale machine learning training across multiple GPUs and nodes. It functions as an orchestrator for multi-GPU scaling and a tool for distributed gradient averaging, allowing users to increase compute capacity without rewriting core model logic. The project provides a consistent communication interface that supports multi-framework model distribution across TensorFlow, PyTorch, Keras, and MXNet. It leverages an MPI distributed training library to synchronize gradients across processes using collective communication operations. The s
Groups multiple small gradient updates into a single large buffer to reduce network communication frequency.
Horovod is a distributed deep learning framework and gradient synchronizer designed to scale model training across multiple GPUs and compute nodes. It functions as a distributed training orchestrator and an elastic training engine, utilizing an MPI collective communication library to synchronize weights and gradients across TensorFlow, PyTorch, Keras, and MXNet models. The system distinguishes itself through dynamic elastic scaling, which allows it to adjust the number of active workers at runtime and recover from node failures. It optimizes communication efficiency using tensor fusion batchi
Groups multiple small tensors into larger buffers to reduce network overhead during gradient synchronization.
Bytebase is a database DevSecOps platform and management console designed to orchestrate schema migrations, deployments, and security audits across multiple database engines. It serves as a SQL GitOps tool that synchronizes database states with configurations stored in Git repositories to manage infrastructure as code. The platform distinguishes itself through a multi-database management console that provides a single interface for relational and NoSQL databases. It includes a security layer for role-based access control, database activity auditing, and column-level data masking to protect se
Pushes schema or data updates to multiple databases and tenants simultaneously using a centralized interface.
Dask هو إطار عمل للحوسبة المتوازية وجدول مهام موزع مصمم لتوسيع نطاق سير عمل علوم البيانات في Python من أجهزة فردية إلى مجموعات (clusters) كبيرة. يعمل كمدير موارد للمجموعة يقوم بتنسيق المنطق الحسابي من خلال تمثيل المهام وتبعياتها كرسوم بيانية موجهة غير دورية. تسمح هذه البنية للنظام بأتمتة توزيع أعباء العمل عبر الأجهزة المتاحة مع إدارة متطلبات التنفيذ المعقدة. يتميز المشروع بمحرك تقييم كسول يؤجل عمليات البيانات حتى يتم طلبها صراحة، مما يتيح تحسين الرسم البياني العالمي وتخصيص الموارد بكفاءة. يتضمن خاصية تسريب البيانات الواعية بالذاكرة لمنع تعطل النظام عند معالجة مجموعات البيانات التي تتجاوز الذاكرة المتاحة، ويستخدم دمج الرسم البياني للمهام لدمج تسلسلات العمليات في خطوات تنفيذ واحدة، مما يقلل من عبء الجدولة والاتصال بين العقد. توفر المنصة سطح قدرات شاملاً لتحليلات البيانات واسعة النطاق، بما في ذلك دعم التعلم الآلي الموزع، وتكامل الحوسبة عالية الأداء، ومعالجة البيانات المتوازية. توفر أدوات واسعة النطاق لإدارة دورة حياة المجموعة، وتوصيف الأداء، والمراقبة في الوقت الفعلي لتنفيذ المهام. يمكن للمستخدمين نشر هذه البيئات عبر بنية تحتية متنوعة، بما في ذلك الأجهزة المحلية، ومزودي السحابة، والأنظمة الحاوية، ومجموعات الحوسبة عالية الأداء.
Groups multiple queries into a single execution call to enable parallel processing and reuse of shared intermediate results.
Falcor is a JavaScript library that models remote data as a single virtual JSON graph, providing a path-based query engine for efficient client-side data retrieval and updates. It represents multiple remote data sources as a unified document where entities are accessed via globally unique identity paths. The system distinguishes itself by treating the remote data model as a virtual JSON resource, allowing the client to query specific paths without managing individual endpoints. It uses a reference-aware graph model to handle many-to-many relationships and prevents data duplication. Network ef
Merges multiple concurrent requests within a time window into a single network call to eliminate redundancy.
GraphQL.NET هو إطار عمل من جانب الخادم لبناء وتنفيذ واجهات برمجة تطبيقات GraphQL داخل تطبيقات C#. يوفر مجموعة أدوات شاملة لبناء المخططات، ومحركاً اتحادياً لرسوم البيانات الموزعة، ومعالج اشتراكات لإدارة تدفقات البيانات في الوقت الفعلي. يتميز المشروع بمنشئ مخططات مرن يدعم كلاً من تعريفات الكود أولاً البرمجية ونهج المخطط أولاً التصريحي باستخدام لغة تعريف المخطط القياسية. يتضمن محرك اتحاد مخصص لتقسيم رسوم البيانات إلى رسوم فرعية وتكوينها في بوابة موحدة، بالإضافة إلى تنفيذ محمل بيانات مصمم خصيصاً لحل مشكلة استعلام N+1 من خلال التجميع والتخزين المؤقت. يغطي إطار العمل مجموعة واسعة من القدرات التشغيلية، بما في ذلك تكامل حقن التبعية لإدارة عمر الخدمة، وخطوط أنابيب البرمجيات الوسيطة لاعتراض دقة الحقول، وخط أنابيب تنفيذ محسن بأنواع القيم لتقليل تخصيصات الذاكرة. كما يوفر أدوات لتحليل تعقيد الاستعلام، والتخزين المؤقت للمستندات، والتحكم في الوصول القائم على الأدوار لتأمين نقاط نهاية API. يسمح دعم تجميع المخططات مسبقاً لإطار العمل بالتنفيذ في البيئات التي تحظر إنشاء الكود الديناميكي.
Implements the DataLoader pattern to batch requests and cache results, eliminating N+1 query problems.
HotChocolate is a GraphQL server implementation for .NET that handles queries, mutations, and subscriptions over HTTP. It provides code-first schema generation directly from C# classes and attributes, keeping the schema and business logic in sync without manual type definitions. The project also includes a GraphQL gateway that composes multiple GraphQL and REST endpoints into a single unified schema, along with a GraphQL IDE for exploring, testing, and debugging GraphQL APIs interactively. The project distinguishes itself through its comprehensive tooling ecosystem, which includes a GraphQL c
Implements DataLoader-based batching to eliminate N+1 query problems in GraphQL resolvers.
GraphQL Platform is a comprehensive GraphQL ecosystem for .NET that provides a spec-compliant server framework for building APIs and gateways, along with a typed C# client for consuming GraphQL services. At its core, it translates C# classes and methods into a GraphQL schema using code-first or fluent descriptor approaches, enabling developers to define their API structure directly from their existing .NET code. The platform distinguishes itself through several integrated capabilities that address common GraphQL production concerns. It includes a DataLoader batching and caching engine that gr
Ships a DataLoader batching engine that groups data fetching requests by key to solve the N+1 problem in resolvers.
GraphQL-Ruby هو مكتبة Ruby لبناء واجهات برمجة تطبيقات GraphQL بمخطط مكتوب بقوة ومحرك تنفيذ استعلام مخصص. يوفر إطار عمل شاملاً لربط كائنات التطبيق بنظام أنواع رسمي، مما يتيح جلب البيانات المهيكلة من خلال أدوات حل (Resolvers) محددة. يتميز المشروع بآليات متقدمة للأداء والتسليم، بما في ذلك محمل بيانات (Data Loader) للتجميع والتخزين المؤقت لمنع أنماط استعلام N+1. يدعم تسليم البيانات عالي الأداء من خلال بث الاستجابة التزايدي، واستجابات الاستعلام المؤجلة، وجلب البيانات المتوازي باستخدام الألياف (Fibers). بالإضافة إلى ذلك، يوفر دعماً أصلياً لاتفاقيات Relay، بما في ذلك مساعدين متخصصين للاتصالات وتحديد الكائنات. تغطي المكتبة مساحة واسعة من إدارة واجهة برمجة التطبيقات، وتتميز بالتحكم الدقيق في الوصول، وإصدار المخطط للحفاظ على التوافق مع الإصدارات السابقة، والتحديثات في الوقت الفعلي عبر الاشتراكات. كما تتضمن أدوات إدارة حركة المرور لحماية موارد الخادم، مثل تحديد تعقيد الاستعلام وتحديد معدل الطلب. يتم دعم التطوير وقابلية المراقبة من خلال أدوات تحليل AST، وتتبع التنفيذ، وأدوات اختبار متخصصة للتحقق من التحميل المجمع.
Provides a DataLoader engine to batch data fetching requests and eliminate N+1 query problems.
obs-websocket هو إضافة للتحكم عن بُعد عبر WebSocket وامتداد لـ OBS Studio. يعمل كواجهة برمجة تطبيقات شبكة JSON-RPC تسمح للأجهزة والتطبيقات الخارجية بإدارة إعدادات البرنامج، والمشاهد، وعمليات البث. يوفر المشروع بروتوكول شبكة موحداً يتيح تنفيذ الأوامر عن بُعد ومزامنة الحالة القائمة على الأحداث. يقوم بتأمين هذه الاتصالات باستخدام مصادقة التحدي المملح (salted-challenge) للتحقق من هوية العميل. تغطي الواجهة نطاقاً واسعاً من قدرات الإنتاج، بما في ذلك إدارة المشاهد والمصادر، والتحكم في مستوى الصوت، وإدارة المخرجات للتسجيل والبث. كما تدعم استعلام إحصائيات النظام ومراقبة حالة البرنامج لتسهيل مراقبة البث في الوقت الفعلي وأتمتة سير العمل.
Provides the ability to group multiple network commands into a single request for efficient execution.
LMQL هي لغة برمجة وواجهة احتمالية تمزج بين المنطق الخوارزمي وتوليد النصوص العشوائي. تعمل كإطار عمل للمطالبات الموجهة بالقيود (Constraint-guided) ومولد مخرجات مهيكل، مما يسمح للمستخدمين بإجبار استجابات النموذج على الالتزام بتنسيقات وأنواع بيانات صارمة. يتميز النظام كمحسن للاستدلال (Inference optimizer) يزيد من إنتاجية الرموز (Tokens) ويقلل من زمن الوصول. يتم تحقيق ذلك من خلال استراتيجيات تنفيذ متخصصة، بما في ذلك التخزين المؤقت للمطالبات القائم على الشجرة والمعالجة الجماعية غير المتزامنة. يغطي المشروع مجموعة واسعة من إمكانيات التحكم في التوليد، مثل إخفاء الرموز القائم على Logit، واختيار البحث الشعاعي (Beam-search)، وتنفيذ المنطق والمطالبة المتداخل. كما يوفر بنية تحتية لبث الاستجابة في الوقت الفعلي عبر WebSockets وأحداث الخادم (Server-sent events).
Groups multiple computational queries into single execution calls to increase token throughput and reduce latency.
هذا المشروع عبارة عن قالب monorepo كامل المكدس وقالب GraphQL API لـ Node.js. يوفر مشروعاً أولياً يدمج GraphQL API قائم على المخطط، وقاعدة بيانات PostgreSQL، وواجهة أمامية React ضمن مستودع واحد لمشاركة الأنواع بين الخلفية وواجهة المستخدم. تتضمن المعمارية غلافاً بدون خادم (serverless) للنشر السحابي والتوسع التلقائي. ينفذ طبقة تجميع الطلبات لتحسين أداء قاعدة البيانات من خلال منع مشكلة استعلام N+1. يغطي المشروع إدارة قاعدة البيانات من خلال إصدار المخطط القائم على الترحيل وملفات البذور. كما يتضمن قدرات لتكامل هوية المستخدم، بما في ذلك المصادقة، والتفويض، والتحكم في الوصول القائم على الأذونات.
Implements a request batching layer using DataLoader to eliminate N+1 query problems in GraphQL resolvers.
Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,
Groups multiple augmented views of the same image into separate tensors within a single batch.
MadelineProto is an asynchronous PHP library that provides a programmatic interface for interacting with the Telegram API using the MTProto protocol, the same protocol used by official Telegram clients. It functions as both a Telegram bot SDK and a userbot automation library, enabling PHP applications to connect to Telegram as either a bot account or a regular user account, sending and receiving messages, media, and other data directly without relying on the Bot API intermediary. The library is built on an event-driven architecture with Amp v3 fiber-based concurrency, allowing for non-blockin
Queues multiple concurrent Telegram API calls into a single container for efficient batch processing.