1 مستودع
Awesome GitHub RepositoriesAttention Sparsification
Techniques that reduce compute by zeroing out low-importance attention scores, typically via top-k selection.
Distinct from Model Sparsification: Specifically targets sparsity within the attention matrix rather than general model parameter pruning.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Attention Sparsification. Refine with filters or upvote what's useful.
Awesome Attention Sparsification GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- lucidrains/x-transformers
lucidrains/x-transformers
5,912عرض على GitHubx-transformers هي مكتبة PyTorch ومجموعة أدوات بحثية لبناء معماريات المحولات (transformers). توفر إطار عمل معيارياً لتنفيذ أبحاث المحولات التجريبية، بما في ذلك مجموعة من آليات الانتباه المتقدمة، وأدوات نمذجة التسلسلات الطويلة، وإطار عمل لمحولات الرؤية. يتميز المشروع بتركيزه على المكونات عالية الأداء والموفرة للذاكرة، مثل Flash Attention مع النوى المبلطة وانتباه الاستعلام المتعدد. كما ينفذ طرقاً متخصصة لتوسيع نوافذ السياق، بما في ذلك تكرار التسلسل وتضمينات الموضع الدورانية. تغطي المكتبة مجموعة واسعة من القدرات المعمارية، بما في ذلك مخططات تطبيع متنوعة لتحقيق استقرار التدريب، وشبكات التغذية الأمامية المبوّبة، وطوبولوجيا الطبقات المخصصة مثل شبكات Macaron. تدعم كلاً من إنشاءات المشفر وفك التشفير، وتوفر أدوات لتوليد التسلسل التلقائي ومهام الرؤية واللغة مثل وصف الصور.
Implements top-k selection to zero out low-importance attention scores, reducing computational overhead.
Python
