Awesome GitHub RepositoriesGPT Decoder Construction

x-transformers هي مكتبة PyTorch ومجموعة أدوات بحثية لبناء معماريات المحولات (transformers). توفر إطار عمل معيارياً لتنفيذ أبحاث المحولات التجريبية، بما في ذلك مجموعة من آليات الانتباه المتقدمة، وأدوات نمذجة التسلسلات الطويلة، وإطار عمل لمحولات الرؤية. يتميز المشروع بتركيزه على المكونات عالية الأداء والموفرة للذاكرة، مثل Flash Attention مع النوى المبلطة وانتباه الاستعلام المتعدد. كما ينفذ طرقاً متخصصة لتوسيع نوافذ السياق، بما في ذلك تكرار التسلسل وتضمينات الموضع الدورانية. تغطي المكتبة مجموعة واسعة من القدرات المعمارية، بما في ذلك مخططات تطبيع متنوعة لتحقيق استقرار التدريب، وشبكات التغذية الأمامية المبوّبة، وطوبولوجيا الطبقات المخصصة مثل شبكات Macaron. تدعم كلاً من إنشاءات المشفر وفك التشفير، وتوفر أدوات لتوليد التسلسل التلقائي ومهام الرؤية واللغة مثل وصف الصور.