Awesome GitHub RepositoriesParallel Execution Profilers

Dask هو إطار عمل للحوسبة المتوازية وجدول مهام موزع مصمم لتوسيع نطاق سير عمل علوم البيانات في Python من أجهزة فردية إلى مجموعات (clusters) كبيرة. يعمل كمدير موارد للمجموعة يقوم بتنسيق المنطق الحسابي من خلال تمثيل المهام وتبعياتها كرسوم بيانية موجهة غير دورية. تسمح هذه البنية للنظام بأتمتة توزيع أعباء العمل عبر الأجهزة المتاحة مع إدارة متطلبات التنفيذ المعقدة. يتميز المشروع بمحرك تقييم كسول يؤجل عمليات البيانات حتى يتم طلبها صراحة، مما يتيح تحسين الرسم البياني العالمي وتخصيص الموارد بكفاءة. يتضمن خاصية تسريب البيانات الواعية بالذاكرة لمنع تعطل النظام عند معالجة مجموعات البيانات التي تتجاوز الذاكرة المتاحة، ويستخدم دمج الرسم البياني للمهام لدمج تسلسلات العمليات في خطوات تنفيذ واحدة، مما يقلل من عبء الجدولة والاتصال بين العقد. توفر المنصة سطح قدرات شاملاً لتحليلات البيانات واسعة النطاق، بما في ذلك دعم التعلم الآلي الموزع، وتكامل الحوسبة عالية الأداء، ومعالجة البيانات المتوازية. توفر أدوات واسعة النطاق لإدارة دورة حياة المجموعة، وتوصيف الأداء، والمراقبة في الوقت الفعلي لتنفيذ المهام. يمكن للمستخدمين نشر هذه البيئات عبر بنية تحتية متنوعة، بما في ذلك الأجهزة المحلية، ومزودي السحابة، والأنظمة الحاوية، ومجموعات الحوسبة عالية الأداء.

Cpp-taskflow is a C++ task-parallelism framework and task graph scheduler designed to manage and execute complex dependency graphs of parallel tasks across CPU and GPU hardware. It provides a parallel algorithm library for high-performance implementations of reductions, sorts, pipelines, and iterations. The framework distinguishes itself through its ability to offload heavy computational workloads from a task graph to graphics processors for acceleration. It also includes a task profiling tool and a performance analysis interface for visualizing task execution flow and dependency structures t

Taskflow is a C++ task-parallel framework designed to build high-performance parallel workflows and complex dependency graphs. It provides a programming model that organizes computational work into directed acyclic graphs, enabling developers to manage concurrency, resource scheduling, and task dependencies across multi-core CPUs and GPU accelerators. The framework distinguishes itself through its ability to orchestrate heterogeneous systems, allowing for the integration of hardware-accelerated kernels and memory operations into unified execution pipelines. It supports dynamic runtime subflow

Ergo is a distributed actor framework for Go that implements the Erlang distribution protocol, enabling the construction of resilient, concurrent applications that can communicate transparently with Erlang/OTP nodes. At its core, it provides an actor model with isolated lightweight processes, priority-ordered mailboxes, and a meta-process architecture that separates blocking I/O from sequential message handling to prevent actor freezing. The framework includes a Raft-inspired cluster consensus system for leader election and automatic failover, along with OTP-style supervision trees that organi

هذا المشروع عبارة عن دليل برمجة أداء شامل ومرجع للغة Go، مع التركيز على كفاءة وقت التشغيل وتحسين الذاكرة. يوفر مجموعة من الأنماط والتقنيات المصممة لزيادة سرعة التنفيذ عن طريق تقليل حمل جمع القمامة (garbage collection) وتحسين استخدام الذاكرة. يتميز المورد بتنفيذات مرجعية مفصلة لتحسين الذاكرة، مثل تحليل الهروب (escape analysis)، وتجميع الكائنات (object pooling)، ومحاذاة ذاكرة الهياكل. ويقدم استراتيجيات محددة لتقليل حجم الملف الثنائي وتحسين كفاءة ذاكرة التخزين المؤقت للمعالج (CPU cache) من خلال تحسين تخطيط ذاكرة الهياكل واستخدام عناصر نائبة خالية من التخصيص. يغطي المشروع نطاقاً واسعاً من قدرات هندسة الواجهة الخلفية، بما في ذلك إدارة التزامن مع مجموعات العمال (worker pools) وبدائيات المزامنة، وRPC عالي الأداء وتوجيه HTTP، واستراتيجيات التخزين المؤقت الموزعة. كما يتضمن توجيهات حول الملاحظة من خلال تحليل أداء المعالج والذاكرة، بالإضافة إلى أنماط ضمان الجودة لاختبار الوحدات الوظيفية وتوليد الكائنات الوهمية (mock objects). يتم تنظيم المحتوى كسلسلة من البرامج التعليمية، والأمثلة المعمارية، وأدلة قياس الأداء لمساعدة المطورين على تحليل وإصلاح اختناقات الأداء.

IREE is an MLIR-based compiler toolchain and runtime designed to translate machine learning models from various frameworks into optimized binaries for execution across diverse hardware targets. It provides a unified pipeline to ingest models from PyTorch, TensorFlow, JAX, and ONNX, lowering them into a common intermediate representation for deployment on CPUs, GPUs, and bare-metal embedded systems. The project distinguishes itself through a bytecode virtual machine and a hardware abstraction layer that decouple high-level model logic from specific hardware instruction sets. It supports sophis