Awesome GitHub RepositoriesRequest Batching

Hystrix is a latency and fault tolerance library designed to prevent cascading failures in distributed systems. It functions as a circuit breaker implementation that monitors failure thresholds and opens circuits to isolate remote calls when downstream services degrade. The project distinguishes itself by providing multiple isolation mechanisms, utilizing dedicated thread pools and semaphores to ensure that latency in one dependency does not saturate the entire system. It also features a request collapsing and batching engine that groups concurrent calls into single executions to reduce the t

FoundationDB is an ACID-compliant distributed transactional key-value store. It functions as a scalable database engine that ensures strict serializability and data consistency across a cluster of servers using a shared-nothing architecture. The system is distinguished by its multi-region replication capabilities, allowing data to be synchronized across different datacenters for high availability and disaster recovery. It utilizes optimistic concurrency control to manage distributed transactions and employs a majority-based coordination system to maintain cluster state. The platform provides

هذا المشروع عبارة عن خدمة تضمين BERT عالية الأداء وخادم استدلال مصمم لتعيين تسلسلات النص إلى متجهات رقمية ذات طول ثابت. يعمل كخدمة ميكرو لتعلم الآلة وخادم نموذج موزع يفصل معالجة الطلبات عن الحوسبة الثقيلة. يستخدم النظام بنية تحتية للمراسلة ZeroMQ لتوفير تواصل منخفض زمن الوصول بين العملاء الموزعين وخادم الاستدلال. يدمج معالجة الدفعات من جانب الخادم وتوسيع نطاق عبء عمل GPU لزيادة استخدام الأجهزة وإدارة أحجام الطلبات العالية. تدعم المنصة بنية تحتية للبحث الدلالي من خلال توليد تضمينات متعددة الوسائط لكل من النص والصور داخل مساحة متجه مشتركة. هذا يتيح البحث متعدد الوسائط، وترتيب صلة المحتوى، وإعادة ترتيب النتائج بناءً على المحاذاة الدلالية بين المحتوى المرئي وأوصاف النص. يمكن نشر الخدمة كخدمة ميكرو مرنة يمكن الوصول إليها عبر بروتوكولات gRPC أو HTTP أو WebSocket، وتتميز ببث مزدوج غير محظور للتعامل مع مجموعات البيانات الكبيرة.

StreamDiffusion is an interactive generative AI framework and inference engine designed for the low-latency delivery of image and video streams. It provides a real-time Stable Diffusion pipeline for text-to-image and image-to-image generation, enabling the creation of continuous generative image streams with minimized computational delay. The framework optimizes throughput using a pre-computed cache engine and residual-based guidance approximation to reduce the number of required model passes. It further manages GPU load through similarity-based frame skipping, which avoids redundant computat

FlexLLMGen is an inference engine and runtime designed to run large language models on a single GPU by combining weight compression with tensor offloading. It reduces model weight memory usage by approximately 70% through 4-bit quantization, and stores model parameters, attention cache, and hidden states across GPU, CPU, and disk to fit models larger than available GPU memory. The project distinguishes itself through a throughput-oriented batching approach that processes multiple generation requests together in large batches to maximize throughput on a single GPU. It also supports distributed

This project is an AI singing voice conversion system and vocal processor used for training generative voice models and converting vocal recordings or live input into a target voice. It functions as a VITS model trainer and a real-time voice changer that transforms vocal timbre and pitch to change the identity of a singer. The system provides a graphical management dashboard for controlling training hyperparameters and voice conversion presets. It supports low-latency audio streaming for live microphone input and employs pitch estimation to ensure precise matching between source and target vo

This is a Raft consensus library and distributed consensus engine implemented in Go. It provides the primitives necessary to build fault-tolerant distributed services by implementing a replicated state machine that ensures a group of servers agree on a shared system state through leader election and log replication. The project distinguishes itself through a pluggable architecture for storage backends and snapshot storage, decoupling the consensus logic from physical persistence. It includes specialized mechanisms for leadership transfer, protocol version management to support rolling upgrade

Yoga is a GraphQL server framework and runtime-agnostic HTTP handler used to build and deploy GraphQL APIs. It functions as a toolkit for managing schemas and resolvers, providing a spec-compliant environment for hosting APIs across diverse JavaScript runtimes, including Node.js, Deno, Bun, and serverless cloud environments. The project distinguishes itself through its ability to act as an Apollo Federation gateway, composing multiple subgraphs into a single unified supergraph. It also serves as a dedicated subscription server, delivering real-time data streaming via both WebSockets and Serve

tensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det

gspread is a Python client library and API wrapper designed for programmatically interacting with Google Sheets. It serves as a spreadsheet automation library that enables the creation, organization, and management of cloud-based spreadsheets via Python scripts. The library provides a simplified interface for Google Sheets automation, allowing users to read, write, and update data without writing raw HTTP requests. It supports cloud spreadsheet integration, enabling external Python applications to use Google Sheets as a data storage layer. The project covers a broad range of capabilities inc

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

KServe is an open platform for deploying and serving generative and predictive AI models on Kubernetes. It defines inference services as custom resources with declarative YAML specifications, enabling a Kubernetes-native approach to model deployment and lifecycle management. The platform leverages Knative-based serverless scaling for automatic scale-to-zero and revision management, and supports a pluggable serving runtime architecture that maps model formats to containerized execution environments. KServe distinguishes itself through model-aware autoscaling that scales replicas based on token

OpenChat هو إطار عمل لتدريب وضبط ونشر نماذج اللغات الكبيرة المحسنة لمهام المحادثة والاستدلال الرياضي. يوفر دورة حياة شاملة لهذه النماذج، بدءاً من خطوط أنابيب التدريب ومكدسات النشر وصولاً إلى واجهة محادثة قائمة على الويب. يركز المشروع على تمكين تنفيذ النماذج عالية الأداء على أجهزة المستهلكين دون الحاجة إلى مسرعات على مستوى المؤسسات. يتضمن خادم استنتاج جاهز للإنتاج ينفذ بروتوكول إكمال المحادثة الخاص بـ OpenAI ويستخدم تجميع الطلبات الديناميكي لتحسين إنتاجية الأجهزة. يغطي النظام سير العمل التشغيلي بالكامل، بما في ذلك ترميز مجموعات البيانات (tokenization) وضبط النماذج عبر التدريب الخالي من الحشو (padding-free) والتعلم التعزيزي. كما يمتد إلى استضافة API مع مصادقة قائمة على المفاتيح وواجهة رسومية للتفاعل البشري في الوقت الفعلي.

orpc is a contract-first API development framework for TypeScript that starts with a shared contract definition and generates type-safe clients and servers from that single source of truth. It guarantees end-to-end type safety, meaning inputs, outputs, errors, and streaming data are all checked at compile time across the client–server boundary. What distinguishes orpc from typical RPC frameworks is its ability to export contracts as OpenAPI specifications, to optimize server-side rendering by calling API handlers directly inside the server process, and to support real‑time bidirectional commu

fastllm is a set of specialized software components for model weight conversion, Mixture-of-Experts runtimes, and tensor parallelism. It provides an OpenAI compatible API server to expose large language model capabilities through a standardized request format. The project features a tensor parallelism framework that splits computational workloads across multiple GPUs to accelerate execution. It includes a dedicated runtime optimized for Mixture-of-Experts architectures and a quantization tool to convert model weights into lower precision formats to reduce memory usage and increase throughput.

This project is an MLOps architectural guide and framework for designing and deploying deep learning systems into production environments. It provides a structured approach to model inference deployment, ML pipeline orchestration, and the creation of production-level machine learning architectures. The project distinguishes itself through a focus on distributed deep learning and edge AI optimization. It covers methodologies for parallelizing model training across multiple GPUs to handle large datasets and applies techniques like quantization and distillation to reduce model size for embedded

exllamav2 هي مكتبة استنتاج عالية الأداء مصممة لتشغيل نماذج اللغات الكبيرة محلياً على وحدات معالجة الرسومات (GPUs) المخصصة للمستهلكين. توفر مشغلاً مسرعاً بواسطة GPU وأدوات تكميم لتمكين تنفيذ النموذج دون الاعتماد على خدمات الحوسبة السحابية. يتميز المشروع بأداة تكميم تضغط النماذج إلى معدلات بت مختلطة بين اثنين وثمانية بت لتقليل متطلبات ذاكرة الفيديو (VRAM). يتميز بمولد نصوص مجمع يتعامل مع الطلبات المجمعة ويزيل تكرار بيانات ذاكرة التخزين المؤقت لزيادة الإنتاجية. تغطي المكتبة سطح قدرة واسعاً بما في ذلك تدفق الرموز غير المتزامن للمخرجات في الوقت الفعلي، وتنفيذ نواة GPU مخصصة لعمليات الجبر الخطي، وتعيين الذاكرة المحلية للوصول منخفض زمن الوصول إلى أوزان النموذج.

exllamav2 هو محرك استنتاج وإطار عمل عالي الأداء لتنفيذ نماذج اللغات الكبيرة محلياً على وحدات معالجة الرسومات (GPUs) من فئة المستهلك. يوفر نظاماً كاملاً لنشر النماذج محلياً، بما في ذلك محرك استنتاج متخصص وأدوات لتكميم النموذج. يتميز المشروع بإطار عمل استنتاج متعدد وحدات معالجة الرسومات يوزع أعباء العمل عبر بطاقات رسومات متعددة لتشغيل النماذج التي تتجاوز سعة ذاكرة جهاز واحد. يتضمن مكمم نموذج GPU قادراً على تحويل النماذج إلى تنسيقات مختلطة الدقة بين 2 و8 بت لموازنة استخدام الذاكرة والدقة. يدعم المحرك توليد نصوص عالي الإنتاجية من خلال الاستنتاج المتوازي القائم على الدفعات وتدفق المخرجات غير المتزامن. يتم دعم هذه القدرات بواسطة نواة CUDA مخصصة وإزالة تكرار ذاكرة التخزين المؤقت لتحسين استخدام الأجهزة وتقليل زمن الوصول أثناء توليد الرموز.