1 रिपॉजिटरी
Awesome GitHub RepositoriesAttention Sparsification
Techniques that reduce compute by zeroing out low-importance attention scores, typically via top-k selection.
Distinct from Model Sparsification: Specifically targets sparsity within the attention matrix rather than general model parameter pruning.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Attention Sparsification. Refine with filters or upvote what's useful.
Awesome Attention Sparsification GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- lucidrains/x-transformers
lucidrains/x-transformers
5,912GitHub पर देखेंx-transformers एक PyTorch लाइब्रेरी और रिसर्च टूलकिट है जिसे ट्रांसफॉर्मर आर्किटेक्चर बनाने के लिए बनाया गया है। यह प्रयोगात्मक ट्रांसफॉर्मर रिसर्च को लागू करने के लिए एक मॉड्यूलर फ्रेमवर्क प्रदान करता है, जिसमें उन्नत अटेंशन मैकेनिज्म, लॉन्ग-सीक्वेंस मॉडलिंग टूल्स और विज़न ट्रांसफॉर्मर्स के लिए एक फ्रेमवर्क शामिल है। यह प्रोजेक्ट मेमोरी-एफिशिएंट और हाई-परफॉरमेंस कंपोनेंट्स पर केंद्रित है, जैसे कि टाइल्ड कर्नेल के साथ Flash Attention और मल्टी-क्वेरी अटेंशन। यह कॉन्टेक्स्ट विंडोज़ का विस्तार करने के लिए विशेष तरीके भी लागू करता है, जिसमें सीक्वेंस रिकरेंस और रोटरी पोजीशनल एम्बेडिंग्स शामिल हैं। यह लाइब्रेरी ट्रेनिंग को स्थिर करने के लिए विभिन्न नॉर्मलाइजेशन स्कीम्स, गेटेड फीडफॉरवर्ड नेटवर्क्स और Macaron नेटवर्क्स जैसे कस्टम लेयर टोपोलॉजी सहित आर्किटेक्चरल क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है।
Implements top-k selection to zero out low-importance attention scores, reducing computational overhead.
Python
