3 रिपॉजिटरी
Awesome GitHub RepositoriesQuantized Fine-Tuning Frameworks
Comprehensive systems that integrate weight quantization and adapter training for efficient model adaptation.
Distinct from Model Quantization Frameworks: Combines quantization and training into a single framework, rather than just a quantization tool.
Explore 3 awesome GitHub repositories matching artificial intelligence & ml · Quantized Fine-Tuning Frameworks. Refine with filters or upvote what's useful.
Awesome Quantized Fine-Tuning Frameworks GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- artidoro/qlora
artidoro/qlora
10,929GitHub पर देखेंThis project is a quantized fine-tuning framework for large language models. It implements a low-rank adaptation library and a four-bit quantizer to reduce the GPU memory requirements needed to train large models. The framework utilizes four-bit quantization and low-rank adapters to enable model training on consumer-grade hardware. It further reduces the memory footprint through double quantization and a paged optimizer that offloads states to system RAM. The system supports distributed training across multiple GPUs to handle larger parameter scales and includes utilities for custom dataset
Provides a comprehensive framework combining four-bit quantization and low-rank adapters for memory-efficient LLM training.
Jupyter Notebook - h2oai/h2o-llmstudio
h2oai/h2o-llmstudio
4,977GitHub पर देखेंh2o-llmstudio एक भाषा मॉडल प्रशिक्षण फ्रेमवर्क है जो कस्टम डेटासेट पर बड़े भाषा मॉडल को फाइन-ट्यून करने के लिए एक नो-कोड ग्राफिकल इंटरफ़ेस प्रदान करता है। यह हाइपरपैरामीटर कॉन्फ़िगर करने से लेकर प्रदर्शन मेट्रिक्स की निगरानी करने तक, प्रशिक्षण जीवनचक्र को प्रबंधित करने के लिए एक विशेष टूल के रूप में कार्य करता है। यह प्रोजेक्ट एक मल्टी-GPU प्रशिक्षण ऑर्केस्ट्रेटर के माध्यम से खुद को अलग करता है जो डेटा समानांतर प्रोसेसिंग के माध्यम से वर्कलोड वितरित करता है और मेमोरी-कुशल फाइन-ट्यूनिंग के लिए एक लो-रैंक एडेप्टेशन टूल है। इसमें संवादात्मक प्रदर्शन और प्रतिक्रिया गुणवत्ता को सत्यापित करने के लिए एक इंटरैक्टिव चैट इंटरफ़ेस की विशेषता वाला एक मॉडल मूल्यांकन डैशबोर्ड भी शामिल है। यह प्लेटफॉर्म स्कीमा मैपिंग के साथ डेटासेट तैयारी, मेमोरी फुटप्रिंट को कम करने के लिए मॉडल क्वांटाइज़ेशन, और प्रशिक्षण रन की तुलना करने के लिए प्रयोग प्रबंधन सहित व्यापक क्षमता सतह को कवर करता है। यह स्थानीय मॉडल एक्सपोर्ट और कम्युनिटी मॉडल हब में प्रकाशन के लिए उपयोगिताएँ भी प्रदान करता है। इस सिस्टम में स्वचालित वर्कफ़्लो के भीतर प्रयोगों को ट्रिगर करने और आउटपुट फाइलों को प्रबंधित करने के लिए एक कमांड लाइन इंटरफ़ेस शामिल है।
Ships a comprehensive framework that integrates weight quantization and adapter training for efficient model adaptation.
Pythonaichatbotchatgpt - answerdotai/fsdp_qlora
AnswerDotAI/fsdp_qlora
1,548GitHub पर देखेंThis framework provides a toolkit for fine-tuning large language models by combining distributed data parallelism with parameter sharding and quantization techniques. It is designed to scale the training of massive neural networks across multiple graphics processors, enabling the execution of models that exceed the memory capacity of individual hardware units. The library distinguishes itself by integrating low-rank adaptation with memory-efficient weight loading and quantization-aware parameter sharding. By initializing model weights directly on the graphics processor and applying granular l
Provides a toolkit for fine-tuning large language models using memory-efficient quantization and sharded data parallelism.
Jupyter Notebook
