Awesome GitHub RepositoriesMulti-Model Server Architectures

Snapdrop is a browser-based peer-to-peer file sharing tool that transfers files directly between devices on the same local network without uploading to any intermediate server. It operates as a progressive web app, meaning it works across devices without installation, and uses end-to-end encryption to ensure only the sender and receiver can read the content being transferred. The application establishes direct browser-to-browser connections using WebRTC, splitting large files into chunks for real-time streaming with progress tracking. It discovers nearby devices on the same subnet through loc

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

mistral.rs is an inference engine for large language models that runs locally and exposes models behind OpenAI and Anthropic-compatible APIs. It serves as a multi-model serving platform, capable of loading several models in a single server process with per-request routing and on-demand loading and unloading. The engine supports multimodal inference, processing text alongside images, video, audio, and speech inputs, and includes a quantized model deployment runtime that reduces memory use and speeds up inference on consumer hardware. The project distinguishes itself through an agentic tool exe

rust-libp2p is a modular peer-to-peer networking library written in Rust, implementing the libp2p specification. It provides a composable stack of transport, security, and discovery protocols that can be mixed and matched to build decentralized applications, with a central swarm manager coordinating all active connections, protocol negotiation, and peer lifecycle. The library distinguishes itself through a pluggable transport abstraction that supports TCP, QUIC, WebSocket, WebRTC, and WebTransport, enabling cross-platform operation across browsers, mobile devices, and servers. It secures ever

HBase هو مخزن NoSQL موزع واسع الأعمدة ومحرك تخزين بيانات ضخمة مصمم لمجموعات البيانات المتفرقة. يعمل كقاعدة بيانات عمودية قابلة للتوسع مبنية فوق نظام ملفات Hadoop الموزع لتوفير وصول للقراءة والكتابة في الوقت الفعلي لأحجام هائلة من البيانات المهيكلة وغير المهيكلة. يعمل النظام كبوابة قاعدة بيانات عبر اللغات، ويوفر الاتصال من خلال استدعاءات الإجراءات البعيدة الأصلية، وREST، وواجهات Thrift. ويتميز بنموذج تنسيق رئيس-عامل يتيح التوسع الأفقي وتحمل الأخطاء عبر العنقود. يغطي المشروع مجموعة واسعة من الإمكانيات بما في ذلك التحكم الدقيق في الوصول عبر تسميات الرؤية على مستوى الخلية، وضغط البيانات القابل للتوصيل، وتجميع البيانات من جانب الخادم. كما يدعم سير عمل تحليلات البيانات الضخمة من خلال تكامل map-reduce ويسمح بتنفيذ منطق مخصص من جانب الخادم. يتم توفير المراقبة التشغيلية من خلال تتبع مقاييس النظام وتصدير المقاييس القائم على الإضافات.

Iggy هي منصة بث رسائل موزعة ووسيط رسائل متعدد البروتوكولات يعمل كمخزن سجلات موزع ومستمر. يوفر بنية تحتية لنشر واستهلاك الرسائل الثنائية باستخدام سجل إلحاق فقط (Append-only log)، مما يضمن التوافر العالي واتساق البيانات عبر العقد من خلال Viewstamped Replication. تتميز المنصة ببنية تحتية متخصصة لبث نماذج اللغة الكبيرة (LLM)، والتي تستخدم بروتوكول خادم لربط نماذج اللغة الكبيرة ببيانات البث وعناصر تحكم النظام. يتضمن ذلك بروتوكولات موحدة لإدارة السياق وربط البيانات عبر HTTP أو الإدخال والإخراج القياسي. يغطي النظام مجموعة واسعة من القدرات بما في ذلك تنسيق خط أنابيب البيانات مع إضافات المصدر والمصب النمطية، وتنسيق مجموعة المستهلكين للتوسع الأفقي، ودعم النقل متعدد البروتوكولات عبر TCP و QUIC و HTTP و WebSocket. كما يدمج بدائيات أمان مثل تشفير AES-256-GCM للبيانات في حالة السكون وأثناء النقل، ويوفر إمكانية المراقبة عبر مقاييس Prometheus، وتتبع OpenTelemetry، ولوحة تحكم ويب تشغيلية. يمكن نشر الخادم باستخدام صور الحاويات وتنسيقه من خلال Kubernetes.