1 مستودع
Awesome GitHub RepositoriesMixed-Precision Quantizers
Tools that convert model weights into mixed-precision formats to reduce memory footprint.
Distinct from Mixed-Precision Quantization: Focuses on the tool/utility for converting models, whereas the parent is the general technique.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Mixed-Precision Quantizers. Refine with filters or upvote what's useful.
Awesome Mixed-Precision Quantizers GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- turboderp-org/exllamav2
turboderp-org/exllamav2
4,552عرض على GitHubexllamav2 هو محرك استنتاج وإطار عمل عالي الأداء لتنفيذ نماذج اللغات الكبيرة محلياً على وحدات معالجة الرسومات (GPUs) من فئة المستهلك. يوفر نظاماً كاملاً لنشر النماذج محلياً، بما في ذلك محرك استنتاج متخصص وأدوات لتكميم النموذج. يتميز المشروع بإطار عمل استنتاج متعدد وحدات معالجة الرسومات يوزع أعباء العمل عبر بطاقات رسومات متعددة لتشغيل النماذج التي تتجاوز سعة ذاكرة جهاز واحد. يتضمن مكمم نموذج GPU قادراً على تحويل النماذج إلى تنسيقات مختلطة الدقة بين 2 و8 بت لموازنة استخدام الذاكرة والدقة. يدعم المحرك توليد نصوص عالي الإنتاجية من خلال الاستنتاج المتوازي القائم على الدفعات وتدفق المخرجات غير المتزامن. يتم دعم هذه القدرات بواسطة نواة CUDA مخصصة وإزالة تكرار ذاكرة التخزين المؤقت لتحسين استخدام الأجهزة وتقليل زمن الوصول أثناء توليد الرموز.
Provides a GPU model quantizer for converting models into flexible mixed-precision formats between 2 and 8 bits.
Python
