Awesome GitHub RepositoriesBackpressure Management

This project serves as a comprehensive technical reference for the architecture and design of data-intensive applications. It provides a structured analysis of the fundamental principles required to build reliable, scalable, and maintainable software systems, covering the core trade-offs inherent in modern data infrastructure. The repository explores the mechanics of distributed data management, including strategies for replication, partitioning, and achieving consensus across multiple nodes. It details the design of storage engines, indexing techniques, and transaction management models, whi

Vector is a high-performance observability data pipeline designed to collect, transform, and route logs, metrics, and traces across distributed infrastructure. It functions as a modular engine that decouples data ingestion from processing and transmission, utilizing a component-based architecture to connect diverse sources to multiple destinations. The project distinguishes itself through a focus on reliability and flow control. It implements backpressure-aware data movement to prevent data loss during traffic spikes and utilizes disk-backed event buffering to ensure durability during network

brpc is a high-performance C++ RPC framework and network programming library designed for building distributed systems. It functions as a multi-protocol RPC server capable of hosting and detecting multiple communication protocols, including gRPC, Thrift, HTTP, Redis, and Memcached, on a single TCP port. The project distinguishes itself through high-throughput data transport and memory efficiency, utilizing RDMA-based transport to bypass the kernel TCP stack and zero-copy memory management to eliminate data duplication. It also implements the Raft algorithm for consensus-based state replicatio

F Prime هو إطار عمل قائم على المكونات مصمم لتطوير ونشر البرمجيات المدمجة وبرمجيات الطيران الفضائي. يوفر بنية معيارية تفصل منطق البرمجيات عن واجهات الاتصال، مما يسمح للمطورين بتحديد هياكل النظام من خلال لغة نمذجة خاصة بالمجال. يتيح هذا النهج القائم على النماذج توليد الكود آلياً، مما يضمن الاتساق عبر طوبولوجيا النظام المعقدة مع الحفاظ على عقود واجهة صارمة بين وحدات البرمجيات. يتميز إطار العمل بنظام بناء متكامل ومجموعة عمليات بيانات أرضية. فهو يقوم بأتمتة دورة حياة البرمجيات المدمجة بالكامل، بدءاً من التجميع المتقاطع وإدارة التبعيات وصولاً إلى توليد واجهات القياس عن بُعد والأوامر. من خلال توفير بيئة موحدة لكل من برمجيات الطيران الموجودة على متن المركبة والمراقبة الأرضية، فإنه يسهل التكامل والاختبار والتحكم في الأنظمة المدمجة الموزعة عبر منصات أجهزة متنوعة. بالإضافة إلى بنيته الأساسية، يتضمن المشروع أدوات شاملة لمراقبة النظام، بما في ذلك تصور القياس عن بُعد في الوقت الفعلي، وتسجيل الأحداث، وتتبع التشخيص. وهو يدعم مجموعة واسعة من سيناريوهات النشر، من بيئات الأجهزة الخام (bare-metal) إلى أنظمة التشغيل في الوقت الفعلي، ويوفر آليات لإدارة الذاكرة، ونمذجة السلوك القائم على الحالة، وتنفيذ المهام غير المتزامنة. يتم صيانة المشروع كمستودع C++ مع توثيق شامل ودعم لنظام البناء من أجل التطوير عبر المنصات.

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Reactor Core هي مجموعة أدوات برمجة تفاعلية وأساس غير محظور لتكوين خطوط أنابيب بيانات غير متزامنة على JVM. تعمل كإطار عمل لمعالجة التدفق غير المتزامن ونظام إدارة الضغط العكسي، مما يسمح للمطورين بتحويل وتصفية ودمج تسلسلات الأحداث مع تنظيم تدفق البيانات بين المنتجين والمستهلكين لمنع استنفاد الموارد. تتميز المكتبة بنظام جدولة تزامن متطور وتحكم في التدفق قائم على الطلب. تفصل معالجة الإشارات عن خيوط معينة باستخدام سجل جدولة وتوفر آليات لنشر البيانات الوصفية غير القابلة للتغيير المدركة للسياق عبر الحدود غير المتزامنة. كما تتميز بأدوات متخصصة لالتقاط التتبع في وقت التجميع وجدولة الوقت الافتراضي لتسهيل اختبار المشغلين القائمين على الوقت. يغطي المشروع مجموعة واسعة من القدرات، بما في ذلك معالجة البيانات الوظيفية لتجميع التسلسل والنافذة، ومجموعة متنوعة من استراتيجيات استرداد الأخطاء مثل إعادة المحاولة ذات التراجع الأسي، وأدوات لربط رد الاتصال القديم أو واجهات برمجة التطبيقات المتزامنة في تدفقات تفاعلية. كما يوفر أدوات لمراقبة خط الأنابيب ومجموعة من أدوات الاختبار للتحقق من تسلسلات الإشارة.

يوفر هذا المشروع مواصفات رسمية ومجموعة من واجهات Java القياسية لمعالجة التدفقات غير المتزامنة. يحدد بروتوكولاً موحداً لتمرير تسلسلات العناصر بين الناشرين والمشتركين عبر خيوط معالجة (threads) مختلفة، مع التركيز على مواصفات التدفقات التفاعلية (reactive streams) لـ JVM. يركز المشروع على قابلية التشغيل البيني من خلال توفير واجهة برمجة تطبيقات (API) مشتركة تسمح لمكتبات التدفق غير المتزامن المختلفة بالعمل معاً. يتم تحقيق ذلك من خلال مجموعة قياسية من الواجهات وآليات الربط التي تترجم بين مواصفات التدفق غير المتوافقة. تغطي المواصفات بروتوكول الضغط العكسي (backpressure) غير المحظور لتنظيم تدفق البيانات ومنع تحميل النظام الزائد من خلال مطالبة المشتركين بالإشارة إلى الطلب. كما تحدد دورة حياة التدفقات، بما في ذلك إدارة الاشتراك، ومعالجة العناصر، والإنهاء القائم على الإشارة لتنظيف الموارد. يتضمن المشروع إطار عمل للتحقق من سلوك التدفق للتحقق من منطق المعالجة مقابل قواعد الضغط العكسي والأحداث غير المتزامنة.

Capnweb is a distributed object communication library and Cap'n Proto RPC framework. It enables type-safe remote procedure calls between clients and servers using shared schemas and generated stubs to invoke methods on remote objects as if they were local. The project utilizes an object-capability security model to govern access to remote resources through unforgeable tokens. It provides a bidirectional network layer that multiplexes asynchronous calls and data streams over persistent WebSocket connections and includes a remote resource lifecycle manager that uses reference counting to automa