1 रिपॉजिटरी
Awesome GitHub RepositoriesGPT Decoder Construction
Specific patterns for constructing autoregressive GPT-style decoders with customizable depth and attention heads.
Distinct from Model Construction: Focuses specifically on the construction logic of GPT-style decoders, rather than general model construction.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · GPT Decoder Construction. Refine with filters or upvote what's useful.
Awesome GPT Decoder Construction GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- lucidrains/x-transformers
lucidrains/x-transformers
5,912GitHub पर देखेंx-transformers एक PyTorch लाइब्रेरी और रिसर्च टूलकिट है जिसे ट्रांसफॉर्मर आर्किटेक्चर बनाने के लिए बनाया गया है। यह प्रयोगात्मक ट्रांसफॉर्मर रिसर्च को लागू करने के लिए एक मॉड्यूलर फ्रेमवर्क प्रदान करता है, जिसमें उन्नत अटेंशन मैकेनिज्म, लॉन्ग-सीक्वेंस मॉडलिंग टूल्स और विज़न ट्रांसफॉर्मर्स के लिए एक फ्रेमवर्क शामिल है। यह प्रोजेक्ट मेमोरी-एफिशिएंट और हाई-परफॉरमेंस कंपोनेंट्स पर केंद्रित है, जैसे कि टाइल्ड कर्नेल के साथ Flash Attention और मल्टी-क्वेरी अटेंशन। यह कॉन्टेक्स्ट विंडोज़ का विस्तार करने के लिए विशेष तरीके भी लागू करता है, जिसमें सीक्वेंस रिकरेंस और रोटरी पोजीशनल एम्बेडिंग्स शामिल हैं। यह लाइब्रेरी ट्रेनिंग को स्थिर करने के लिए विभिन्न नॉर्मलाइजेशन स्कीम्स, गेटेड फीडफॉरवर्ड नेटवर्क्स और Macaron नेटवर्क्स जैसे कस्टम लेयर टोपोलॉजी सहित आर्किटेक्चरल क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है।
Implements patterns for constructing autoregressive GPT-style decoders with customizable depth and attention heads.
Python
