3 مستودعات
Awesome GitHub RepositoriesGPTQ Quantization Libraries
Libraries implementing the GPTQ algorithm for post-training weight quantization.
Distinct from 4-Bit Quantization Tools: Specifically implements the GPTQ algorithm, whereas the parent is a general tool for 4-bit quantization
Explore 3 awesome GitHub repositories matching devops & infrastructure · GPTQ Quantization Libraries. Refine with filters or upvote what's useful.
Awesome GPTQ Quantization Libraries GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- lightning-ai/lit-llama
Lightning-AI/lit-llama
6,081عرض على GitHubLit-llama هو إطار عمل تنفيذ يعتمد على PyTorch لنموذج اللغة LLaMA، ويوفر نظاماً للتدريب المسبق، والضبط الدقيق، والاستدلال عالي الأداء. يتضمن خط أنابيب تدريب مسبق لإنشاء نماذج لغوية أساسية من الصفر وأدوات لتشغيل الأوزان المدربة مسبقاً لتوليد نص طبيعي والتنبؤ بالتسلسلات. يوفر المشروع مجموعات أدوات متخصصة للضبط الدقيق الفعال للمعلمات باستخدام التكيف منخفض الرتبة (LoRA) والمحولات خفيفة الوزن. كما يتضمن مكتبة تكميم (quantization) تقلل من بصمات ذاكرة النموذج من خلال دقة 4 بت و8 بت لتمكين التنفيذ على الأجهزة ذات الموارد المحدودة. يدمج إطار العمل تصميم محول مبسط ويوظف انتباه الفلاش (flash attention) لتحسين الذاكرة والسرعة. كما يدير مجموعات بيانات واسعة النطاق من خلال تنسيقات بيانات البث لتجنب تحميل مجموعات النصوص الكاملة في ذاكرة النظام.
Ships a quantization library that reduces memory footprints via GPTQ-based 4-bit and 8-bit precision.
Python - panqiwei/autogptq
PanQiWei/AutoGPTQ
5,073عرض على GitHubAutoGPTQ هو إطار عمل لضغط النماذج مصمم لتقليل بصمة الذاكرة وزيادة سرعة الاستنتاج لنماذج اللغات الكبيرة. يستخدم خوارزمية GPTQ لضغط أوزان النموذج، مما يسمح لهذه النماذج بالعمل على أجهزة ذات ذاكرة فيديو (VRAM) محدودة. توفر مجموعة الأدوات خط أنابيب لتكميم البنية (Architecture quantization) يدعم دمج فئات النماذج المخصصة لبنيات الشبكات العصبية المختلفة. يتضمن محرك استنتاج بدقة مختلطة مع نواة محسنة لتسريع ضرب المصفوفات أثناء النشر. يغطي إطار العمل سير عمل ضغط الأوزان بالكامل، من المعايرة والتكميم إلى تقييم الدقة اللاحق. تقيس هذه الأدوات فقدان الأداء من خلال مقارنة مخرجات النماذج المكممة مقابل الأوزان الأصلية في مهام القياس المعياري.
Implements the GPTQ algorithm for post-training weight quantization to reduce model size.
Python - autogptq/autogptq
AutoGPTQ/AutoGPTQ
5,070عرض على GitHubAutoGPTQ هو مجموعة أدوات لضغط النماذج وإطار عمل للتكميم بعد التدريب مصمم لتقليل بصمة الذاكرة لنماذج اللغات الكبيرة. يستخدم خوارزمية GPTQ لضغط أوزان الشبكة العصبية، مما يقلل من متطلبات الأجهزة ويقلل من استخدام ذاكرة الفيديو (VRAM). يعمل المشروع كمسرع للاستنتاج من خلال توفير نواة محسنة تزيد من سرعة توليد الرموز (Tokens). يتميز بقابلية توسيع بنية النموذج، مما يسمح بإضافة قدرات التكميم إلى هياكل النماذج الجديدة من خلال أنماط قابلة للتكوين. يغطي إطار العمل خط أنابيب تكميم شامل، بما في ذلك ضغط الأوزان على مستوى الطبقة، وتقدير النطاق القائم على المعايرة، وتعيين الذاكرة الخاص بالدقة. كما يتضمن أنظمة لتقييم أداء النموذج لقياس تأثير التكميم على الدقة عبر مهام اللغة والتلخيص.
Implements the GPTQ algorithm for high-efficiency post-training weight quantization of large language models.
Python
