Awesome GitHub RepositoriesExternal System Integrations

Storm is a distributed stream processing framework designed to execute unbounded computations across a cluster to process real-time data streams. It functions as a data pipeline orchestrator that allows users to define and deploy declarative data flow graphs connecting streaming sources to processing components. The system operates as a multi-tenant distributed compute engine that isolates workloads and limits resource usage across shared clusters using dedicated pools and access control. It is also a secure distributed processing engine that employs encrypted node communication and SSL-secur

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

Easegress is a cloud-native traffic orchestration platform that functions as a multi-protocol API gateway and service mesh proxy. It routes, transforms, and orchestrates HTTP and MQTT traffic through configurable filter chains, providing high availability, security controls, and resilience for backend services. The platform integrates with service discovery systems like Kubernetes, Consul, and Eureka to dynamically route traffic to discovered services with automatic failover and health monitoring. The system distinguishes itself through a pipeline-based filter chain architecture where request

KurrentDB is an event-native database designed for event sourcing and event-driven architectures. It stores events as immutable, ordered records in streams, preserving a complete audit trail and enabling temporal queries. The database uses gRPC for all client-server and inter-node communication, providing efficient binary serialization and bidirectional streaming, and supports atomic multi-stream writes that ensure consistency across multiple streams in a single transaction. The database distinguishes itself with a built-in JavaScript projection engine that transforms, filters, and aggregates

pyinfra is a Python-based infrastructure automation framework that turns Python code into shell commands for managing servers, Docker containers, and local machines. It operates as a declarative, idempotent deployment tool, applying desired system states by comparing target configurations against current states and making only the necessary changes. The framework provides a connector-based transport abstraction that unifies SSH, Docker, and local execution behind a common interface, with a parallel execution engine that manages concurrent operations across hosts. The tool distinguishes itself

Sparrow هي منصة لاستخراج البيانات من المستندات تعتمد على النماذج اللغوية الكبيرة (LLM) ومحرك استنتاج بصري مصمم لتحويل الصور وملفات PDF إلى بيانات مهيكلة وموثقة. تعمل كمنسق لسير عمل الوكلاء (agentic workflow) الذي يربط مهام التصنيف والاستخراج والتحقق في خطوط معالجة متعددة الخطوات. يتميز النظام بطبقة استنتاج مستقلة عن الخلفية (backend-agnostic) تدير النماذج عبر وحدات معالجة الرسوميات المحلية، وApple Silicon، ومزودي الخدمات السحابية. يستخدم النظام التحديد البصري القائم على الإحداثيات لربط النص المستخرج بإحداثيات دقيقة، ويستخدم توجيه النماذج القائم على التلميحات لتوجيه الانتباه وتوحيد تنسيقات البيانات. تغطي المنصة سير عمل ذكاء المستندات، بما في ذلك معالجة الجداول القائمة على الصور للحفاظ على السلامة الهيكلية، والتحقق القائم على المخططات لضمان صحة الحقول المستخرجة. كما توفر لوحة تحكم لتحليل المستندات لمراقبة أداء واجهة برمجة التطبيقات (API) وتحليلات الاستخدام وصحة النظام. تتضمن البنية نظام إضافات (plugin-based) لدمج مكتبات الطرف الثالث المستخدمة في الفهرسة والتنسيق.

OpenTSDB هي قاعدة بيانات موزعة للسلاسل الزمنية ومحرك مقاييس مصمم لتخزين وإدارة أحجام هائلة من مقاييس النظام عالية التباين. تعمل كمخزن بيانات ومنصة تحليلات تتيح استيعاب المقاييس على نطاق واسع ومراقبة أداء البنية التحتية عبر مجموعة موزعة. يتميز النظام بتجريد تخزين موزع يدعم خلفيات متعددة مثل HBase و Cassandra و Google Bigtable. يستخدم شجرة مقاييس هرمية لتنظيم السلاسل الزمنية ويستخدم فهرسة المعرفات الرقمية لتقليل بصمات التخزين وتسريع عمليات البحث للمقاييس الموسومة. يغطي المشروع مجالات قدرات واسعة بما في ذلك تحليل بيانات السلاسل الزمنية مع حسابات النسبة المئوية الموزعة وأخذ العينات الفرعية، بالإضافة إلى إدارة شاملة للبيانات الوصفية. يوفر دمج واجهة برمجة التطبيقات لاستيعاب البيانات والاستعلام، وتخزين مؤقت خارج الكومة (Off-heap) لتحسين الأداء، وأدوات لتدقيق سلامة البيانات وتحليل الشذوذ. يتم إدارة النظام عبر واجهة سطر أوامر لإدارة قاعدة البيانات ومزامنة شجرة المقاييس.

WuKongIM هو خادم مراسلة فورية موزع مصمم للدردشة والإخطارات في الوقت الفعلي. يعمل كعنقود اتصالات لا مركزي يستخدم موجه رسائل pub-sub لتوزيع البيانات على المستخدمين الأفراد وقنوات المجموعات واسعة النطاق. يتضمن النظام بروتوكول بث دردشة ذكاء اصطناعي متخصص لتقديم ردود تدريجية منخفضة التأخير من وكلاء الذكاء الاصطناعي. كما يتميز ببوابة أحداث webhook تقوم بإعادة توجيه تغييرات حالة الاتصال وأحداث الرسائل إلى تطبيقات الأعمال الخارجية عبر ردود الاتصال (callbacks). توفر المنصة بنية تحتية لاتصالات المجموعات عالية السعة، ومزامنة الرسائل عبر الأجهزة، وتتبع المحادثات القائم على الحالة. تتم إدارة الأمن من خلال تشفير طبقة النقل والوصول إلى القنوات القائم على الأذونات، بينما يتم الحفاظ على موثوقية النظام عبر التجاوز التلقائي للفشل، والتعافي من الكوارث، ومراقبة الصحة القائمة على نبضات القلب.

Dkron is a distributed, fault-tolerant system designed for scheduling and executing recurring tasks across a cluster of nodes. It functions as a cron-based orchestrator that manages job lifecycles, including automatic retries, timeouts, and complex dependencies, while ensuring state consistency through a consensus protocol. By coordinating remote task execution across infrastructure, it enables the automation of background operations and the management of distributed workflows. The system distinguishes itself through a modular architecture that supports pluggable storage backends and a plugin

o2oa هي منصة أتمتة مكتب مؤسسية مفتوحة المصدر بلغة Java مصممة لإدارة سير عمل الشركات، والتسلسلات الهرمية التنظيمية، ومهام المكتب التعاونية. تعمل كمنصة تطبيقات أعمال منخفضة الكود وبوابة معلومات مؤسسية، وتوفر بيئة تطوير مرئية لبناء تطبيقات مؤسسية مخصصة. تتميز المنصة بمحرك سير عمل مؤسسي متكامل، يسمح بتصميم وأتمتة عمليات الأعمال باستخدام شروط توجيه قابلة للتخصيص وسكربتات مدفوعة بالأحداث. وتتميز أيضاً كإطار عمل مؤسسي متعدد قواعد البيانات، يدعم قواعد بيانات علائقية مختلفة وعمليات نشر عالية التوفر عبر أنظمة تشغيل مختلفة. يغطي النظام نطاقاً واسعاً من مجالات القدرات، بما في ذلك النمذجة المرئية منخفضة الكود للنماذج والصفحات، وتصميم البوابة المركزية مع لوحات معلومات مدفوعة بالبيانات، وتكامل بيانات المؤسسة مع خدمات RESTful ونماذج اللغة الكبيرة. كما يتضمن إدارة الهيكل التنظيمي، والتحكم في الوصول القائم على الأدوار، والنشر المحمول متعدد المنصات لـ Android و iOS و HarmonyOS. يتم دعم التثبيت عبر بيئات Linux و Windows باستخدام Docker و Nginx.

Iggy هي منصة بث رسائل موزعة ووسيط رسائل متعدد البروتوكولات يعمل كمخزن سجلات موزع ومستمر. يوفر بنية تحتية لنشر واستهلاك الرسائل الثنائية باستخدام سجل إلحاق فقط (Append-only log)، مما يضمن التوافر العالي واتساق البيانات عبر العقد من خلال Viewstamped Replication. تتميز المنصة ببنية تحتية متخصصة لبث نماذج اللغة الكبيرة (LLM)، والتي تستخدم بروتوكول خادم لربط نماذج اللغة الكبيرة ببيانات البث وعناصر تحكم النظام. يتضمن ذلك بروتوكولات موحدة لإدارة السياق وربط البيانات عبر HTTP أو الإدخال والإخراج القياسي. يغطي النظام مجموعة واسعة من القدرات بما في ذلك تنسيق خط أنابيب البيانات مع إضافات المصدر والمصب النمطية، وتنسيق مجموعة المستهلكين للتوسع الأفقي، ودعم النقل متعدد البروتوكولات عبر TCP و QUIC و HTTP و WebSocket. كما يدمج بدائيات أمان مثل تشفير AES-256-GCM للبيانات في حالة السكون وأثناء النقل، ويوفر إمكانية المراقبة عبر مقاييس Prometheus، وتتبع OpenTelemetry، ولوحة تحكم ويب تشغيلية. يمكن نشر الخادم باستخدام صور الحاويات وتنسيقه من خلال Kubernetes.

Zeebe هو محرك سير عمل سحابي أصلي وآلة حالة موزعة مصممة لتنسيق العمليات التجارية باستخدام معايير BPMN وDMN. يعمل كمحرك سير عمل gRPC عالي الأداء ينفذ عمليات تجارية معقدة من خلال بنية تدفق أحداث مجزأة. يعمل النظام أيضاً كمنسق لوكلاء النماذج اللغوية الكبيرة، حيث ينسق تفكير الذكاء الاصطناعي واستخدام الأدوات ضمن العمليات التجارية الحتمية. يتميز المحرك بشبكة وسيطة من نظير إلى نظير ونموذج تكرار بيانات قائم على الإجماع يضمن التوافر العالي وتحمل الأخطاء. يستخدم مجموعة وسطاء مجزأة لتحقيق قابلية التوسع الأفقي ويستخدم ضغطاً عكسياً للطلب التكيفي لتنظيم تدفق الأوامر الوارد ومنع التحميل الزائد للنظام. تغطي المنصة سطحاً واسعاً من الإمكانيات التشغيلية، بما في ذلك مراقبة التنفيذ في الوقت الفعلي مع خرائط حرارة الأداء، واتخاذ القرارات التجارية المؤتمتة عبر جداول القرار، وتنفيذ المهام الموزعة من خلال نموذج عامل مهمة يعتمد على الاقتراع. كما يوفر أدوات لعزل موارد المستأجرين المتعددين، والتحكم في الوصول القائم على الهوية، وتكامل واجهات برمجة تطبيقات الويب الخارجية والدوال بدون خادم. يمكن نشر النظام عبر بيئات مختلفة، بما في ذلك Kubernetes وDocker، ويتم إدارته من خلال مزيج من واجهة سطر الأوامر وواجهة برمجة تطبيقات REST برمجية.