2 مستودعات
Awesome GitHub RepositoriesAccelerator Memory Registration
Configuration and registration of memory buffers on hardware accelerators via compilation and runtime options.
Distinct from Hardware Acceleration: Focuses on the memory setup and registration phase for accelerators rather than the execution of offloaded compute tasks.
Explore 2 awesome GitHub repositories matching operating systems & systems programming · Accelerator Memory Registration. Refine with filters or upvote what's useful.
Awesome Accelerator Memory Registration GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- kvcache-ai/mooncake
kvcache-ai/Mooncake
5,594عرض على GitHubMooncake هو منصة لخدمة نماذج اللغة الكبيرة (LLM) المفككة ومخزن مفتاح-قيمة موزع مصمم لبنية تحتية عالية الأداء للاستنتاج. يعمل كمنسق لذاكرة GPU ونظام إدارة لذاكرة التخزين المؤقت (KV cache) الذي يجمع وينقل ذاكرة التخزين المؤقت للمفاتيح والقيم عبر العناقيد (Clusters) لتسريع الاستنتاج. يتميز النظام بفصل مراحل الاستنتاج (Prefill وDecode) إلى عناقيد أجهزة متميزة لتحسين استخدام الموارد. يستخدم ذاكرة تخزين مؤقت موزعة عالية الأداء تعتمد على RDMA مع عمليات نقل بدون نسخ (Zero-copy) لنقل البيانات بين عقد الحوسبة، متجاوزًا وحدة المعالجة المركزية (CPU) لتقليل التأخير والحمل الزائد. تغطي المنصة مجالات قدرات واسعة بما في ذلك تجميع الذاكرة الموزعة، وتوجيه ذاكرة المسرع عبر CXL، وتفريغ التخزين متعدد المستويات إلى أقراص SSD. يدير النظام حالة العنقود من خلال خدمات تنسيق البيانات الوصفية، ويطبق حوكمة الموارد عبر حماية الكائنات القائمة على الإيجار وطرد ذاكرة التخزين المؤقت القائم على العلامات المائية. البرنامج مهيأ للنشر في حاويات (Containerized) مع دعم لشبكات المضيف وتعيين أجهزة العتاد.
Configures hardware accelerator memory support and registration through specific compilation options.
C++ - nvidia/nccl
NVIDIA/nccl
4,816عرض على GitHubNCCL هي مكتبة اتصالات عالية الأداء وإطار عمل حوسبة GPU موزع مصمم لتنفيذ تبادلات البيانات الجماعية ومن نقطة إلى نقطة عبر وحدات GPU متعددة في أنظمة أحادية أو متعددة العقد. تعمل كطبقة نقل GPU RDMA ومنسق ذاكرة، مما يسهل مزامنة البيانات وتدرجات النماذج ذات النطاق الترددي العالي للتدريب والاستدلال الموزع على GPU. تتميز المكتبة بقدرتها على تنفيذ بدائيات الاتصال مباشرة من نواة GPU، مما يزيل وحدة المعالجة المركزية المضيفة من المسار الحرج. وتستخدم اختيار المسار الواعي بالطوبولوجيا لتحسين حركة البيانات وتوظف نقل الشبكة القائم على RDMA، بما في ذلك InfiniBand و NVLink، لتمكين الوصول إلى الذاكرة بدون نسخ (Zero-copy) بين الأجهزة عبر عقد مادية مختلفة. يغطي المشروع مجموعة واسعة من أنماط الاتصال الجماعي، بما في ذلك الاختزالات، والبث، والتجميع، وتبادلات الكل إلى الكل، إلى جانب الوصول إلى الذاكرة عن بُعد من نقطة إلى نقطة. ويوفر إدارة شاملة للمتصلين لتهيئة وتقسيم وتغيير حجم مجموعات GPU، بالإضافة إلى إدارة ذاكرة متخصصة لتسجيل المخازن المؤقتة وتنسيق ذاكرة الجهاز المشتركة. يتضمن النظام مجموعة من أدوات المراقبة والقابلية للملاحظة لتتبع الصحة، وتسجيل التشخيص، ومراقبة الأحداث في الوقت الفعلي، بالإضافة إلى واجهات تكامل لإطارات عمل تعلم الآلة، و CUDA graphs، و MPI، و Python.
NCCL creates a registered memory window to enable one-sided remote memory access and peer-to-peer mapping.
C++
