Awesome GitHub RepositoriesOperator Kernel Implementations

Flashlight هي مكتبة تعلم آلي مستقلة بلغة C++ ومكتبة موترات تستخدم لبناء وتدريب الشبكات العصبية. تعمل كإطار عمل شامل للشبكات العصبية ومحرك للتمايز التلقائي، مما يوفر الأدوات لبناء رسوم بيانية للحساب وحساب التدرجات عبر الانتشار العكسي. يعمل المشروع كإطار عمل للتدريب الموزع، حيث يستخدم عمليات (All-reduce) لمزامنة التدرجات والمعلمات عبر عقد حساب وأجهزة متعددة. يتميز بالتكامل العميق لمعالجة الموترات عالية الأداء، وقابلية التشغيل البيني لذاكرة الجهاز الأصلية، ونظام لمزامنة الأوزان عبر العمال الموزعين لتسريع تدريب النماذج واسعة النطاق. يغطي إطار العمل مجموعة واسعة من قدرات التعلم العميق، بما في ذلك تكوين الطبقات المعيارية لتصميم بنيات معقدة مثل الكتل المتبقية (Residual blocks) والخلايا المتكررة. يوفر أدوات واسعة النطاق لإدارة البيانات للاستيعاب والجلب المسبق، إلى جانب أنظمة التسلسل لحفظ حالات النموذج. بالإضافة إلى ذلك، يتضمن مجموعة من أدوات المراقبة وقابلية المراقبة لتتبع مقاييس التدريب وقياس أخطاء التسلسل. تم تنفيذ المكتبة بلغة C++.

NCCL هي مكتبة اتصالات عالية الأداء وإطار عمل حوسبة GPU موزع مصمم لتنفيذ تبادلات البيانات الجماعية ومن نقطة إلى نقطة عبر وحدات GPU متعددة في أنظمة أحادية أو متعددة العقد. تعمل كطبقة نقل GPU RDMA ومنسق ذاكرة، مما يسهل مزامنة البيانات وتدرجات النماذج ذات النطاق الترددي العالي للتدريب والاستدلال الموزع على GPU. تتميز المكتبة بقدرتها على تنفيذ بدائيات الاتصال مباشرة من نواة GPU، مما يزيل وحدة المعالجة المركزية المضيفة من المسار الحرج. وتستخدم اختيار المسار الواعي بالطوبولوجيا لتحسين حركة البيانات وتوظف نقل الشبكة القائم على RDMA، بما في ذلك InfiniBand و NVLink، لتمكين الوصول إلى الذاكرة بدون نسخ (Zero-copy) بين الأجهزة عبر عقد مادية مختلفة. يغطي المشروع مجموعة واسعة من أنماط الاتصال الجماعي، بما في ذلك الاختزالات، والبث، والتجميع، وتبادلات الكل إلى الكل، إلى جانب الوصول إلى الذاكرة عن بُعد من نقطة إلى نقطة. ويوفر إدارة شاملة للمتصلين لتهيئة وتقسيم وتغيير حجم مجموعات GPU، بالإضافة إلى إدارة ذاكرة متخصصة لتسجيل المخازن المؤقتة وتنسيق ذاكرة الجهاز المشتركة. يتضمن النظام مجموعة من أدوات المراقبة والقابلية للملاحظة لتتبع الصحة، وتسجيل التشخيص، ومراقبة الأحداث في الوقت الفعلي، بالإضافة إلى واجهات تكامل لإطارات عمل تعلم الآلة، و CUDA graphs، و MPI، و Python.

Tengine هي مجموعة من الأدوات ومحرك تنفيذ خفيف الوزن مصمم لتشغيل نماذج التعلم العميق على أجهزة مدمجة مقيدة. يوفر بنية تحتية لتحويل نماذج الشبكات العصبية، وتكميم الأوزان، وتحسين نواة المشغل، وقياس أداء الاستنتاج عبر وحدات CPU وGPU وNPU. يتميز المشروع بمحسن نواة مشغل آلي لتوليد نوى عالية الكفاءة وأداة تكميم نموذج تقلل الدقة إلى تنسيقات عدد صحيح لتقليل استخدام الذاكرة. يتضمن أداة قياس أداء الأجهزة المخصصة لتقييم سرعة التنفيذ وكفاءة بنيات الشبكات العصبية على الأجهزة المدمجة. يغطي النظام تحويل تنسيق النموذج إلى تمثيل داخلي محايد للأجهزة، وإرسال المشغل النمطي، والتنفيذ متعدد الخلفيات. تسمح هذه القدرات بتحويل تعريفات الشبكات العصبية الخارجية إلى تنسيق وقت تشغيل متوافق للنشر المدمج.

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

هذا المشروع عبارة عن ترجمة صينية للأدلة التقنية ومراجع واجهة برمجة التطبيقات لإطار عمل التعلم العميق PyTorch. يعمل كقاعدة معرفية مترجمة ومادة مرجعية لجعل وثائق التعلم العميق في متناول غير الناطقين بالإنجليزية. تغطي الوثائق مجموعة شاملة من قدرات PyTorch، بما في ذلك تطوير نماذج الشبكات العصبية، والتمايز التلقائي، وتنفيذ النواة (kernels) في الواجهة الخلفية. يوفر إرشادات مفصلة حول استراتيجيات التدريب الموزع، ونشر النماذج عبر تنسيقات مثل ONNX و C++، وتقنيات تحسين النماذج وتكميمها (quantization) المختلفة. يستخدم المشروع خط أنابيب ترجمة مدفوعاً بالمجتمع ونموذج مساهمة موزعاً للحفاظ على محتوى متزامن مع الإصدارات. يتم تنظيم المواد التقنية باستخدام markdown وعرضها في موقع ويب قابل للتصفح عبر توليد المواقع الثابتة.

NuttX is a POSIX-compliant real-time operating system designed for microcontrollers ranging from 8-bit to 64-bit architectures. It provides a deterministic execution environment with a real-time task scheduler and a POSIX embedded kernel to ensure portable code execution across diverse hardware targets. The project distinguishes itself through a comprehensive hardware abstraction layer that provides standardized drivers for I2C, SPI, CAN, and USB across various semiconductor chipsets. It also features an embedded networking stack supporting TCP, UDP, IPv4, and IPv6, alongside industrial proto