Awesome GitHub RepositoriesAppend-Only Message Logs

RabbitMQ is a multi-protocol messaging broker that functions as an AMQP message broker, a clustered message queue, and a distributed message stream. It provides a server for translating and bridging communication between diverse messaging standards to connect heterogeneous systems. The system distinguishes itself through distributed broker clustering and federation, using shoveling mechanisms to synchronize data across geographically separate sites. It supports high-throughput, append-only logs for persisting and reading large sequences of messages for real-time processing. The broker covers

Jocko عبارة عن منصة بث أحداث سحابية أصلية وسجل التزامات (Commit log) موزع تم تنفيذه بلغة Go. يعمل كوسيط رسائل موزع يضمن متانة البيانات وتوافرها العالي من خلال تكرار تسلسلات السجلات عبر مجموعة (Cluster). تم تصميم النظام كبث أحداث بدون Zookeeper، مستخدمًا تنسيق إجماع مدمج لإدارة حالة المجموعة وانتخاب القائد دون الحاجة إلى خدمات تنسيق خارجية. ينفذ بروتوكول Kafka، مما يسمح له بالتواصل مع عملاء وأدوات النظام البيئي الحالي. توفر المنصة قدرات لإدارة السجلات الموزعة، بما في ذلك استخدام سجل التزامات للإلحاق فقط (Append-only) لضمان استمرارية البيانات. كما تتضمن آليات تلقائية للاحتفاظ بالبيانات تقوم بمسح السجلات القديمة بناءً على حدود زمنية أو عتبات مساحة القرص. يتم توزيع المشروع كملف تشغيل ثنائي واحد.

Iggy هي منصة بث رسائل موزعة ووسيط رسائل متعدد البروتوكولات يعمل كمخزن سجلات موزع ومستمر. يوفر بنية تحتية لنشر واستهلاك الرسائل الثنائية باستخدام سجل إلحاق فقط (Append-only log)، مما يضمن التوافر العالي واتساق البيانات عبر العقد من خلال Viewstamped Replication. تتميز المنصة ببنية تحتية متخصصة لبث نماذج اللغة الكبيرة (LLM)، والتي تستخدم بروتوكول خادم لربط نماذج اللغة الكبيرة ببيانات البث وعناصر تحكم النظام. يتضمن ذلك بروتوكولات موحدة لإدارة السياق وربط البيانات عبر HTTP أو الإدخال والإخراج القياسي. يغطي النظام مجموعة واسعة من القدرات بما في ذلك تنسيق خط أنابيب البيانات مع إضافات المصدر والمصب النمطية، وتنسيق مجموعة المستهلكين للتوسع الأفقي، ودعم النقل متعدد البروتوكولات عبر TCP و QUIC و HTTP و WebSocket. كما يدمج بدائيات أمان مثل تشفير AES-256-GCM للبيانات في حالة السكون وأثناء النقل، ويوفر إمكانية المراقبة عبر مقاييس Prometheus، وتتبع OpenTelemetry، ولوحة تحكم ويب تشغيلية. يمكن نشر الخادم باستخدام صور الحاويات وتنسيقه من خلال Kubernetes.

Kvrocks is a distributed key-value store and Redis-compatible NoSQL database. It utilizes a RocksDB storage engine to provide disk-based persistence, allowing for high-capacity data storage with reduced memory costs compared to in-memory systems. The system functions as a vector database and full-text search engine, supporting nearest-neighbor searches on vector embeddings and complex document queries via text matching. It employs a proxyless cluster architecture with slot-based routing to distribute data and scale capacity across multiple nodes. The platform covers a wide range of data mana