Awesome GitHub RepositoriesQuantized Fine-Tuning Frameworks

This project is a quantized fine-tuning framework for large language models. It implements a low-rank adaptation library and a four-bit quantizer to reduce the GPU memory requirements needed to train large models. The framework utilizes four-bit quantization and low-rank adapters to enable model training on consumer-grade hardware. It further reduces the memory footprint through double quantization and a paged optimizer that offloads states to system RAM. The system supports distributed training across multiple GPUs to handle larger parameter scales and includes utilities for custom dataset

h2o-llmstudio هو إطار عمل لتدريب نماذج اللغة يوفر واجهة رسومية بدون كود لضبط النماذج اللغوية الكبيرة على مجموعات بيانات مخصصة. يعمل كأداة متخصصة لإدارة دورة حياة التدريب، من تكوين المعلمات الفائقة إلى مراقبة مقاييس الأداء. يتميز المشروع من خلال منسق تدريب متعدد وحدات معالجة الرسومات (multi-GPU) يوزع أعباء العمل عبر معالجة البيانات المتوازية وأداة تكيف منخفضة الرتبة (LoRA) للضبط الدقيق الموفر للذاكرة. كما يتضمن لوحة معلومات لتقييم النموذج تتميز بواجهة دردشة تفاعلية للتحقق من أداء المحادثة وجودة الاستجابة. تغطي المنصة سطح إمكانيات واسعاً بما في ذلك إعداد مجموعة البيانات مع تعيين المخطط، وتكميم النموذج لتقليل بصمات الذاكرة، وإدارة التجارب لمقارنة عمليات التدريب. كما توفر أدوات لتصدير النموذج المحلي والنشر في مراكز النماذج المجتمعية. يتضمن النظام واجهة سطر أوامر لتشغيل التجارب وإدارة ملفات المخرجات ضمن سير العمل الآلي.

This framework provides a toolkit for fine-tuning large language models by combining distributed data parallelism with parameter sharding and quantization techniques. It is designed to scale the training of massive neural networks across multiple graphics processors, enabling the execution of models that exceed the memory capacity of individual hardware units. The library distinguishes itself by integrating low-rank adaptation with memory-efficient weight loading and quantization-aware parameter sharding. By initializing model weights directly on the graphics processor and applying granular l