Awesome GitHub RepositoriesGPU Kernel Programming

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

GPU-Puzzles is an interactive learning environment and tutorial designed for mastering CUDA GPU kernel development. It serves as an educational tool and lab where users solve coding puzzles to understand how to map high-level logic to low-level GPU hardware instructions. The platform focuses on teaching parallel computing concepts and GPU architecture. Users practice developing parallel algorithms and managing GPU memory through a series of hands-on challenges. The environment utilizes a bridge between Python and CUDA to execute kernels and provide real-time feedback by validating outputs ag

This repository is a collection of reference implementations and programming examples for the CUDA Toolkit. It serves as a GPGPU implementation guide and a parallel computing reference, providing code for using graphics hardware to perform general-purpose calculations and high-performance parallel processing. The project provides specific samples for GPU kernel development and resource management. These include demonstrations of multi-GPU communication, peer-to-peer memory access, and system hardware inspection to coordinate distributed GPU resources. The codebase covers a wide range of capa

هذا المشروع عبارة عن مجموعة من تطبيقات مرجعية ومعايير قياس توضح استخدام واجهة برمجة تطبيقات Vulkan للرسومات والحوسبة. يوفر مجموعة من الأمثلة عبر المنصات وأنماط برمجة وحدات معالجة الرسومات (GPU) المصممة للرسم عالي الأداء والمهام المسرعة بالأجهزة. يحتوي المستودع على مجموعة من معايير قياس الأداء المستخدمة لقياس سلوك واجهة البرمجة عبر بيئات أجهزة مختلفة. ويتميز بهيكلية معيارية تنظم أمثلة الرسم في وحدات معزولة، إلى جانب أدوات سطر الأوامر لتنفيذ سلاسل العينات بشكل دفعي. يغطي المشروع عدة مجالات تقنية، بما في ذلك إدارة ذاكرة GPU المباشرة، وتحليل الأداء في الوقت الفعلي لتحديد اختناقات الرسم، وخطوط أنابيب الحوسبة بدون شاشة (headless) التي تلتقط مخازن الإطارات دون الحاجة إلى شاشة فعلية.

rust-cuda هو إطار عمل لبرمجة GPU ومترجم أجهزة يسمح بتطوير وتنفيذ النواة (kernels) عالية الأداء على أجهزة NVIDIA باستخدام Rust. يوفر غلافاً للمشغل (driver wrapper) لإدارة تخصيص ذاكرة الجهاز وتشغيل النواة، ويعمل بفعالية كنظام لكتابة منطق حساب GPU دون الاعتماد على C++. يتضمن المشروع مكتبة حسابية مع بدائيات محسنة للأجهزة لتسريع الشبكات العصبية وتتبع الأشعة المسرع بالأجهزة. ويستخدم سلسلة أدوات تجميع تترجم الكود المصدري إلى تمثيل وسيط منخفض المستوى للتنفيذ على معالجات الرسومات. يغطي إطار العمل إدارة موارد الجهاز، وتطوير النواة، ومحاكاة العمليات الحسابية ذات الدقة العالية. كما يدعم توليد الأرقام العشوائية على جانب الجهاز وتحسينات الحساب الخاصة بالهدف. تتوفر صور حاويات مهيأة مسبقاً لتبسيط توفير سلسلة أدوات المترجم وبيئة التطوير عبر بنيات أجهزة مختلفة.

هذا المشروع عبارة عن مورد تعليمي ومنهج شامل يركز على تصميم وتنفيذ حزمة برمجيات وأجهزة تعلم الآلة الكاملة. يعمل كمرجع تقني لهندسة أنظمة تعلم الآلة، بدءاً من واجهات البرمجة منخفضة المستوى إلى بنية التحتية للنشر على نطاق واسع. يوفر المشروع إرشادات تعليمية حول العديد من المجالات المتخصصة، بما في ذلك تطوير مترجمات الذكاء الاصطناعي من خلال تمثيلات وسيطة وتحسينات الرسوم البيانية. ويغطي أنماط الهندسة المعمارية المطلوبة للتدريب الموزع عبر عناقيد GPU وبرمجة مسرعات الأجهزة لتحسين أحمال العمل على الرقائق المتخصصة. يفصل المورد أيضاً تنفيذ إطارات عمل خدمة النماذج لبيئات الإنتاج وتصميم خطوط أنابيب التعلم التعزيزي. ويمتد نطاقه إلى المكونات الأساسية لأنظمة تعلم الآلة، مثل التمايز التلقائي، وتجريدات الموترات، وتنسيق موارد GPU.

HIP هي لغة نواة GPU لـ C++ ووقت تشغيل عبر المنصات مصمم لكتابة تطبيقات حوسبة عالية الأداء وقابلة للنقل. توفر واجهة برمجة تسمح لقاعدة كود مصدر واحدة بالتنفيذ على كل من بنيات GPU لـ AMD و NVIDIA. يعمل المشروع كطبقة توافق تمكن من تحويل وترحيل كود مصدر CUDA الحالي للتشغيل على أجهزة AMD. يتم تحقيق ذلك من خلال تعيين بناء الجملة الذي يعكس CUDA وعملية ترجمة من مصدر إلى مصدر أثناء التجميع. تغطي مجموعة الأدوات السطح الأوسع لتطوير GPGPU عبر المنصات، بما في ذلك تحسين الحوسبة غير المتجانسة وإنشاء نوى قابلة للنقل. وتستخدم تجريد وقت التشغيل لتعيين استدعاءات API الموحدة لمكتبات تعريف البائع الخاصة لإدارة الذاكرة والنواة.

warp-ctc is a high-performance library for calculating connectionist temporal classification loss to train sequence-to-sequence deep learning models. It provides a numerical stability layer using log-space computation to prevent underflow and precision errors during probability calculations for long sequences. The library utilizes hardware-accelerated kernels to compute loss in parallel across CPU and GPU architectures. It focuses on increasing training throughput by optimizing the dynamic programming steps of the CTC algorithm. These capabilities support the training of models for speech re

gpu.cpp هي مكتبة C++ خفيفة الوزن لتنفيذ حوسبة GPU للأغراض العامة منخفضة المستوى عبر بائعي الأجهزة وأنظمة التشغيل المختلفة. تعمل كغلاف GPU محمول، ومنسق نواة (Kernel)، ونظام إدارة موتر (Tensor) باستخدام مواصفات WebGPU لتجريد تهيئة الجهاز، ونقل المخازن المؤقتة، وإرسال تظليل الحوسبة (Compute shader). توفر المكتبة إطار عمل لتعريف نوى الحوسبة من كود التظليل وإدارة إرسالها ومزامنتها بشكل غير متزامن. وتتيح تنفيذ تظليل الحوسبة عبر الأنظمة الأساسية وتنسيق مهام GPU من خلال مواصفات معالج رسومات قياسية. يتعامل النظام مع دورة الحياة الكاملة لذاكرة GPU، بما في ذلك تخصيص الموترات متعددة الأبعاد، وحركة البيانات ثنائية الاتجاه بين المضيف والجهاز عبر مخازن مؤقتة مرحلية، وتتبع الموارد لمنع تسرب الذاكرة. كما تدعم تقطيع الموتر لإنشاء طرق عرض غير مالكة لقطاعات الذاكرة وتتضمن أدوات لتسجيل رسائل النظام وتصفية الخطورة.

Zen-C is a multi-target systems language and source-to-source compiler that translates high-level logic into human-readable GNU C or C11 code. It functions as a JIT-enabled programming language with an in-process compiler for real-time interactive code evaluation and testing. The project serves as a CUDA GPU kernel generator, mapping specialized syntax to CUDA C++ using device attributes to target graphics hardware. It acts as an interoperability layer capable of emitting compatible code for C++, Objective-C, and Lisp to bridge native system frameworks and libraries. The language includes an

cuda-python provides low-level Python bindings for the CUDA Driver and Runtime APIs. It serves as a programmatic wrapper for controlling device memory, managing hardware toolchains, and orchestrating execution graphs on NVIDIA GPUs, allowing for the compilation and launching of parallel kernels directly from Python. The project enables the development of SIMT kernels and the execution of mathematical algorithms on device memory. It integrates pre-compiled bytecode as custom operators and interfaces with accelerated device libraries to access low-level hardware functions without leaving the la