Awesome GitHub RepositoriesWorker Process Management

Sidekiq is a background job processor and queue manager for Ruby that uses Redis to manage asynchronous tasks. It functions as a distributed task scheduler capable of handling periodic, delayed, and recurring jobs across a cluster of worker processes. The project features a job monitoring dashboard and administrative web interface for visualizing system state, tracking worker performance, and managing failed or dead jobs. It provides a distributed rate limiter to control execution frequency across multiple processes. The framework covers a broad range of operational capabilities, including j

Piku is a git-based platform-as-a-service deployment tool for self-hosted application hosting. It enables the deployment of multiple web applications and background workers to private servers by automating builds and updates through git push. The system acts as an application process orchestrator and reverse proxy server manager, routing incoming HTTP traffic to specific application processes. It features a multi-language application runtime that detects programming languages from repository files to handle dependency installation and execution settings. Security is handled via an integrated

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

This project is a PHP application server and process manager designed to reduce request latency by keeping applications resident in memory. It functions as a load balancer that distributes incoming network requests across a pool of worker processes, eliminating the overhead of repetitive bootstrapping. The server routes network requests directly into application framework kernels, bypassing traditional web server layers. It includes a built-in mechanism for delivering static assets directly to clients and supports hot reloading by monitoring source files for changes and automatically restarti

Evio هي مكتبة شبكات عالية الأداء لـ Go توفر إطار عمل مقبس غير محظور (non-blocking). تستخدم حلقة أحداث لمعالجة حركة مرور TCP و UDP ومقابس نطاق Unix من خلال واجهة بروتوكول غير متزامنة منخفضة المستوى. يعمل المشروع كموازن تحميل شبكة متعدد النوى، يوزع الاتصالات عبر نوى CPU متعددة باستخدام استراتيجيات round-robin أو least-connections. يدعم إعادة استخدام المقبس، مما يسمح لمقابس متعددة على مضيف واحد بالارتباط بنفس المنفذ. تغطي المكتبة نطاقاً واسعاً من قدرات إدارة المقبس ومعالجة الحزم، بما في ذلك الاستماع متعدد البروتوكولات على منفذ واحد والخدمة متعددة الواجهات. يتم تحسين الأداء من خلال تخصيص حزم المخزن المؤقت المشترك ودورة حياة اتصال قائمة على رد الاتصال (callback) لتقليل عبء الذاكرة والتأخير. يتضمن النظام أيضاً أدوات لجدولة المهام الدورية لتشغيل أحداث الخلفية المتكررة أو نبضات النظام.

Implementation of a bulletproof node.js API 🛡️

Vibora هو إطار عمل ويب Python غير متزامن وخادم HTTP مدمج مصمم لبناء تطبيقات ويب عالية الأداء. يستخدم حلقة أحداث غير متزامنة (Event loop) وcoroutines لمعالجة طلبات الشبكة وتقديم الاستجابات دون الحاجة إلى أغلفة خادم خارجية. يتميز المشروع بمدقق مخطط (Schema validator) غير متزامن عالي الأداء لسلامة الطلبات، ومحرك قوالب غير محظور (Non-blocking) مع دعم لإعادة التحميل السريع، وخادم اتصالات WebSocket لتبادل البيانات في الوقت الفعلي ثنائي الاتجاه. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك إدارة المسارات المعيارية عبر المخططات (Blueprints)، وحقن التبعية (Dependency injection) لمكونات التطبيق، وتحليل HTTP بدون نسخ. كما يوفر أدوات لإدارة جلسات المستخدم، وعرض HTML غير متزامن، وعميل HTTP غير محظور مع تجميع الاتصالات. تتوفر واجهة سطر أوامر (CLI) لتهيئة المشروع لإنشاء هياكل دليل موحدة وملفات تكوين أولية.

Inngest is a durable execution framework and event-driven automation engine designed to orchestrate background workflows. It enables developers to build resilient, stateful processes by memoizing function steps, ensuring that long-running tasks can automatically resume from the last successful operation after failures, timeouts, or infrastructure restarts. The platform distinguishes itself through its event-driven architecture, which uses a schema-validated bus to trigger functions and coordinate complex, multi-step logic. It employs an onion-model middleware approach for cross-cutting concer

Buildbot هو إطار عمل للتكامل المستمر (CI) ومنسق بناء موزع يعتمد على Python. يعمل كمحرك لأتمتة البناء ينسق استرجاع الكود المصدري، وتنفيذ خطوات البناء، وإعداد التقارير عن النتائج من خلال وحدة تحكم مركزية وشبكة من وكلاء العمل عن بُعد. يتميز النظام ببنية قابلة للتوسيع تعتمد على الإضافات ونموذج توزيع رئيسي-تابع. يسمح بتعديل البناء ديناميكياً في وقت التشغيل ويدعم قاعدة بيانات خلفية قابلة للتوصيل لحفظ حالة النظام وبيانات البناء التاريخية. يغطي المشروع مجموعة واسعة من القدرات، بما في ذلك جدولة البناء الآلية وتنسيق خطوط الأنابيب، والتكامل مع أنظمة التحكم في الإصدار عبر الاستطلاع (Polling) وخطافات الويب (Webhooks)، وتوفير العمال عبر الخوادم الفعلية، وحاويات Docker، وعناقيد Kubernetes. كما يوفر مراقبة شاملة عبر تحليل سجلات البناء وتتبع الأداء، إلى جانب إدارة الأسرار الآمنة والمصادقة متعددة الموفرين. تتوفر السيطرة الإدارية من خلال واجهة ويب مخصصة وأدوات سطر أوامر للتحقق من التكوين وإدارة العمليات.

هذا المشروع عبارة عن مجموعة من أدلة التكوين والبرامج التعليمية الإرشادية لإعداد Nginx كخادم ويب ووكيل عكسي (Reverse proxy). يوفر أمثلة عملية لاستضافة الملفات الثابتة وتوجيه حركة مرور الشبكة إلى خوادم الخلفية. تغطي المواد تنفيذ موازنة التحميل باستخدام استراتيجيات round-robin الموزونة لتوزيع حركة المرور عبر عناقيد الخوادم. كما توفر إرشادات حول تكوين الوكلاء العكسيين لإدارة تدفق الطلبات وتأمين الوصول إلى التطبيق. تتضمن الوثائق تعليمات لتوجيه الطلبات حسب مسار URL لاستضافة تطبيقات متعددة على نطاق واحد وإدارة رؤوس مشاركة الموارد عبر الأصل (CORS). بالإضافة إلى ذلك، تغطي إعداد خوادم الملفات لكشف المجلدات المحلية لتنزيل وعرض الأصول الثابتة.

Tsuru هي منصة مفتوحة المصدر كخدمة (PaaS) لأتمتة بناء ونشر وتوسيع نطاق التطبيقات المعبأة. تعمل كمحرك نشر قائم على الحاويات وطبقة إدارة لـ Kubernetes، حيث تحول الكود المصدري إلى صور حاويات وتنسق دورات حياتها. تم تصميم المنصة لإدارة البنية التحتية متعددة السحابة، مما يسمح بتوزيع التطبيقات عبر مزودي سحابة ومناطق مختلفة لزيادة المرونة. وتتميز بنموذج نشر مرن يدعم الحاويات متعددة العمليات، مما يتيح لمستودع واحد تشغيل مكونات مختلفة، مثل خوادم الويب وعمال الخلفية، في وقت واحد. تشمل مجالات القدرة توفير الخدمات المدارة لربط التطبيقات بقواعد البيانات الخارجية ووسطاء الرسائل، بالإضافة إلى إدارة هوية شاملة باستخدام OAuth وSAML. يوفر النظام أيضًا أدوات للتحكم في وصول الفريق من خلال أذونات هرمية، وحصص الموارد، وتوجيه حركة المرور الآلي. يمكن تثبيت المنصة وتهيئتها على عنقود Kubernetes باستخدام مخططات Helm.

FastStream is an asynchronous Python framework designed for building event-driven microservices. It provides a unified abstraction layer for interacting with various message brokers, enabling developers to manage event production and consumption through a consistent interface while maintaining access to native provider-specific features. The framework centers on a decorator-based routing model that binds application logic directly to broker topics, supported by a built-in dependency injection container that resolves resources at runtime. The framework distinguishes itself through its deep int

Armeria هو إطار عمل للخدمات المصغرة يعتمد على Netty ويستخدم لبناء خدمات غير متزامنة عالية الأداء. يعمل كخادم RPC متعدد البروتوكولات قادر على عرض خدمات gRPC وThrift وREST على منفذ واحد موحد. يتميز المشروع بقدرته على تشغيل بروتوكولات اتصال متنوعة في وقت واحد ووحدة تحكم ويب مدمجة لتصحيح أخطاء RPC، والتي تسمح باكتشاف واستدعاء إجراءات عن بعد عبر JSON. كما يتضمن محول gRPC إلى JSON لتمكين توافق عميل الويب مع خدمات Protobuf. يوفر إطار العمل مجموعة شاملة من إمكانيات الخدمات المصغرة، بما في ذلك عملاء RPC تفاعليين مع قواطع الدائرة (circuit breakers) وإعادة المحاولة، وموازنة التحميل من جانب العميل، وتكامل اكتشاف الخدمة مع DNS وZooKeeper وConsul. كما يغطي قابلية مراقبة النظام الموزع من خلال جمع المقاييس، والتتبع الموزع، ووثائق الخدمة التفاعلية. يدعم Armeria تضمين حاويات servlet القديمة ويتكامل مع إطارات عمل ويب تابعة لجهات خارجية للسماح بالتعايش داخل عملية خادم واحدة.

EasySwoole is a high-performance asynchronous PHP framework designed for building event-driven networks and persistent memory applications. It functions as a toolkit for developing distributed microservices and asynchronous servers capable of handling concurrent HTTP, TCP, UDP, and WebSocket connections. The framework distinguishes itself through a persistent memory process execution mode that eliminates the overhead of repetitive file loading and invocation during request handling. It provides built-in support for distributed systems via remote procedure call implementations and service disc

This project provides an observability data pipeline designed to collect, transform, and route logs, metrics, and traces from diverse sources into standardized formats for analysis. It operates as a plugin-based component architecture using modular receivers, processors, and exporters to move telemetry data through sequential processing chains. The system utilizes an interface-driven component model that allows for interchangeable connectors and community-contributed extensions. It distinguishes itself through a domain-specific language for telemetry filtering, metadata-based resource attribu

Keepalived هو مدير توفر عالي وأداة تجاوز فشل IP افتراضية تضمن توفر الخدمة المستمر. ينسق ترحيل عناوين IP العائمة بين العقد الرئيسية والاحتياطية باستخدام بروتوكول تكرار الموجه الافتراضي لإدارة تكرار الموجه وتجاوز الفشل السلس. يتميز المشروع بالتكامل مع وحدة Linux kernel IPVS ليعمل كموازن تحميل لطبقة النقل. يوزع حركة مرور الشبكة عبر خوادم الخلفية باستخدام خوارزميات جدولة مختلفة وطرق إعادة توجيه مثل NAT، أو التوجيه المباشر، أو النفق. يتضمن النظام قدرات مراقبة صحة الشبكة باستخدام TCP، و HTTP، وبروتوكول اكتشاف إعادة التوجيه ثنائي الاتجاه لتحديد الإخفاقات في أجزاء من الثانية. كما يدعم تنسيق تجاوز الفشل الآلي من خلال تنفيذ نصوص برمجية مخصصة، وتنبيهات SMTP الإدارية، ومزامنة مسارات التوجيه عبر مثيلات متعددة. يوفر البرنامج سطح تكوين يدعم القوالب، وعزل مساحة اسم الشبكة، وتصدير مقاييس النظام عبر SNMP.

Emissary هو بوابة API لـ Kubernetes تدير حركة المرور الخارجية الواردة وتوجهها إلى الخدمات المصغرة الداخلية. يستخدم وكيل Envoy كطائرة بيانات أساسية للتعامل مع توجيه حركة المرور عالي الأداء وترجمة البروتوكول، مع طائرة تحكم تترجم موارد Kubernetes المخصصة والتعليقات التوضيحية إلى تكوينات وكيل. يوفر المشروع دعماً متخصصاً لبنية gRPC التحتية، بما في ذلك توجيه HTTP/2 وجسر بروتوكول gRPC-Web للعملاء القائمين على المتصفح. يتيح أمان الثقة الصفرية من خلال تشفير TLS المتبادل ويفوض التحقق من الهوية لخدمات المصادقة الخارجية. تشمل قدرات إدارة حركة المرور موازنة التحميل المرجحة (round-robin) لعمليات النشر التجريبية والتسليم التدريجي، بالإضافة إلى موازنة التحميل من الطبقة 7 وتقارب الجلسة. يدعم النظام أيضاً شبكات متعددة العناقيد عبر جسر حركة المرور بين العناقيد ويتكامل مع خدمات تحديد المعدل الخارجية لتقييد أحجام الطلبات. تتم معالجة الملاحظة من خلال واجهة تشخيصية، وتكامل التتبع الموزع، وتصدير مقاييس الأداء إلى أدوات خارجية مثل Prometheus و StatsD.

Redbird هو وكيل عكسي (reverse proxy) لـ Node.js يُستخدم لتوجيه حركة مرور الشبكة الخارجية إلى الخوادم الداخلية. يعمل كموازن أحمال من الطبقة السابعة (layer 7) يقوم بتعيين الطلبات الواردة من نطاقات أو مضيفين محددين إلى خوادم المنبع المستهدفة، مما يحمي خدمات الخلفية من التعرض العام المباشر. يتميز المشروع بإدارة توجيه ديناميكية، مما يسمح بتحديث قواعد التوجيه برمجياً في وقت التشغيل. ويقوم بمزامنة هذه المسارات تلقائياً عن طريق استطلاع المصادر الخارجية مثل حاويات Docker ومجموعات etcd لمواءمة تكوينات الوكيل مع دورات حياة الخدمة. تشمل القدرات الإضافية إنهاء SSL وTLS مع تجديد تلقائي للشهادات، وموازنة الأحمال الدورية (round-robin)، وإعادة توجيه حركة مرور WebSocket. كما يدعم إعادة التوجيه من HTTP إلى HTTPS، ومعالجة رؤوس مصادقة NTLM، وبروتوكول PROXY لاسترجاع عناوين العملاء الأصلية.

هذا المشروع عبارة عن دراسة تقنية ودليل تحليل يركز على البنية الداخلية لـ Node.js. يوفر فحصاً متعمقاً لوقت التشغيل، مع التركيز على كيفية إدارة المحرك لمقابض الذاكرة، وتنفيذ العمليات غير المتزامنة، وتنفيذ منطق الوحدات الأساسية. يحلل الدليل بشكل خاص تكامل فئات ودوال C++ الأصلية في JavaScript ويوثق سلوك حلقة أحداث libuv. يتضمن مراجع مفصلة لتحسين الأداء من خلال تحديد حالات فشل مترجم V8 وتوصيف التنفيذ لتحسين كفاءة الموارد. تغطي المادة مجموعة واسعة من الأنظمة الداخلية، بما في ذلك برمجة الشبكات منخفضة المستوى لـ TCP و UDP، وإدارة العمليات للعناقيد والعمليات الفرعية، وآليات الإدخال/الإخراج غير المحظورة. كما يستكشف التنفيذ على مستوى المصدر للمخازن المؤقتة، والتدفقات، وطبقة الربط من الأصل إلى النص البرمجي.

elasticsearch-py هو غلاف API بحث موزع ومسؤول عنقود. يعمل كموصل آمن لتنفيذ استعلامات البحث وأداء مهام الإدارة مقابل محرك بحث. توفر المكتبة واجهة عالية المستوى لإدارة الفهارس، والمستندات، واتصالات العقد. وهي تمكن من نقل البيانات المشفرة والاتصال الموثق مع عنقود بحث. يغطي المشروع البحث عن النص الكامل، وإدارة البيانات، وإدارة العنقود. يتضمن قدرات لإدارة بيانات المستند، وتنفيذ استعلامات بحث معقدة، والحفاظ على اتصال موثوق من خلال اكتشاف العقد وموازنة التحميل.