Awesome GitHub RepositoriesDynamic Load Balancing

oneTBB هي مكتبة وإطار عمل للتوازي بلغة C++ مصممة لإضافة التوازي متعدد النواة إلى التطبيقات. توفر نموذج توازي قائماً على المهام يقوم بتعيين المهام الحسابية المنطقية إلى أنوية الأجهزة المتاحة للقضاء على الحاجة إلى إدارة الخيوط (threads) يدوياً. تعمل المكتبة كأداة توسيع متعددة النواة، وتستخدم قوالب عامة لتوسيع نطاق العمليات المتوازية للبيانات عبر المعالجات للحصول على أداء محمول. توظف إطار عمل قائماً على المهام لضمان توزيع أعباء العمل الحسابية عبر موارد الأجهزة. يغطي المشروع التوازي في الذاكرة المشتركة، وجدولة المهام متعددة النواة، وتوسيع نطاق توازي البيانات. يستخدم مجدول مهام يعتمد على سرقة العمل، وتقسيم النطاق العودي، وموازنة الحمل الديناميكية لإدارة توزيع العمل عبر الأنوية في وقت التشغيل.

gpustack هي منصة إدارة مجموعات GPU ومنسق استدلال LLM. تعمل كنظام مركزي لتجميع وتنسيق وحدات معالجة الرسومات عبر الخوادم المحلية وبيئات السحابة، وتعمل كمدير حوسبة غير متجانس لتكوينات الأجهزة والبرامج المتنوعة. يوفر النظام بوابة نشر نموذج ذكاء اصطناعي آمنة تخدم النماذج كخدمات قابلة للتوسع باستخدام مصادقة قائمة على المفاتيح. يتضمن مجدول موارد GPU يوازن أعباء العمل عبر المسرعات وينسق محركات استدلال متعددة لرسم خرائط نماذج ذكاء اصطناعي محددة لأجهزة متوافقة. تغطي المنصة تنسيق المجموعات الشامل، بما في ذلك استعادة الفشل الآلي، ومراقبة الموارد في الوقت الفعلي، وتوسيع نطاق الاستدلال الموزع. يدمج تحسين الأداء من خلال التكميم وفك التشفير التخميني لزيادة الإنتاجية وتقليل زمن الوصول. يتم الحفاظ على تكوينات النظام وحالة المجموعة عبر استمرارية حالة قاعدة بيانات علائقية خارجية.

Pandarallel is a Python library designed to accelerate data manipulation workflows by distributing computationally intensive tasks across all available CPU cores. It functions as a parallel processing utility that integrates directly into standard data analysis pipelines to reduce the execution time of large-scale operations. The library employs a wrapper pattern that intercepts standard data processing calls, redirecting them from sequential execution to a parallelized architecture. It manages this distribution through a multiprocessing-based task model, which utilizes shared-memory serializ

FastDeploy is a high-performance deployment framework for large language models, vision models, and multimodal models. It provides the infrastructure to launch model services that process combined image, video, and text inputs, exposing these capabilities through a standardized, OpenAI-compatible API for chat and text completions. The project distinguishes itself through advanced inference pipeline engineering and GPU optimization. It employs speculative decoding, tensor parallelism, and a disaggregated execution model that separates prefill and decode phases across different hardware resourc