1 रिपॉजिटरी
Awesome GitHub RepositoriesModel Efficiency Techniques
Educational content on using quantization and mixture-of-experts to reduce computational footprints.
Distinct from Mixture of Experts Optimizations: Focuses on the educational study of efficiency techniques rather than specific adapter optimizations
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Model Efficiency Techniques. Refine with filters or upvote what's useful.
Awesome Model Efficiency Techniques GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- afshinea/stanford-cme-295-transformers-large-language-models
afshinea/stanford-cme-295-transformers-large-language-models
4,509GitHub पर देखेंयह प्रोजेक्ट Transformers और लार्ज लैंग्वेज मॉडल के आर्किटेक्चर और प्रशिक्षण विधियों को सीखने के लिए एक व्यापक तकनीकी पाठ्यक्रम अध्ययन गाइड और संदर्भ है। यह समझने के लिए एक तकनीकी अवलोकन के रूप में कार्य करता है कि न्यूरल नेटवर्क डेटा को कैसे संसाधित करते हैं और विशिष्ट प्रदर्शन लक्ष्यों के साथ मॉडल व्यवहार को कैसे संरेखित करते हैं। यह रिपॉजिटरी मॉडल विकास के कई प्रमुख क्षेत्रों पर विशेष गाइड प्रदान करती है। इसमें ट्रांसफार्मर आर्किटेक्चर के लिए विस्तृत संदर्भ, रिट्रीवल-ऑगमेंटेड जनरेशन और एजेंटिक वर्कफ़्लो के लिए कार्यान्वयन फ्रेमवर्क, और मॉडल ऑप्टिमाइज़ेशन और फाइन-ट्यूनिंग के लिए तकनीकी गाइड शामिल हैं। सामग्री क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है, जिसमें सुपरवाइज्ड फाइन-ट्यूनिंग, लो-रैंक एडेप्टेशन और प्राथमिकता-आधारित संरेखण शामिल है। यह सेल्फ-अटेंशन और फ्लैश अटेंशन मैकेनिज्म के अध्ययन के साथ-साथ क्वांटाइजेशन, डिस्टिलेशन और मिक्सचर-ऑफ-एक्सपर्ट्स आर्किटेक्चर के माध्यम से मॉडल दक्षता को भी संबोधित करती है।
Teaches the use of mixture-of-experts and quantization to lower computational requirements for deployment.
