1 مستودع
Awesome GitHub RepositoriesHierarchical Position Embeddings
Embedding structures that allow transformers to process text beyond standard length limits by nesting position information.
Distinct from Long-Context Sequence Processors: Specifically covers the architectural embedding method for long text, whereas Long-Context Sequence Processors is a broader system category.
Explore 1 awesome GitHub repository matching data & databases · Hierarchical Position Embeddings. Refine with filters or upvote what's useful.
Awesome Hierarchical Position Embeddings GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- bojone/bert4keras
bojone/bert4keras
5,419عرض على GitHubbert4keras هو تطبيق خفيف الوزن لبنية محول BERT لإطار عمل التعلم العميق Keras. يعمل كمجموعة أدوات لمعالجة اللغات الطبيعية ومكتبة نماذج محول تُستخدم لتصنيف النص، وتسمية التسلسل، واستخراج التضمين الدلالي. يتضمن إطار العمل نظام نموذج تسلسل إلى تسلسل للإجابة على الأسئلة وتوليد النص، بالإضافة إلى خادم استنتاج النموذج لنشر المحولات المدربة كواجهات برمجة تطبيقات ويب للتنبؤات في الوقت الفعلي. تغطي القدرات مجموعة واسعة من مهام فهم اللغة الطبيعية، بما في ذلك فهم القراءة، واستخراج العلاقات، ومعالجة النصوص الطويلة. توفر المكتبة أدوات للتدريب المسبق للغة والضبط الدقيق، إلى جانب تقنيات التحسين مثل تقليل المعلمات، والتدريب العدائي للمتانة، وتكوين معدل التعلم لكل طبقة. يتضمن المشروع محمل تحويل الأوزان لتحويل الأوزان المدربة مسبقاً من تنسيقات خارجية إلى هياكل Keras متوافقة.
Implements hierarchical position embeddings to handle input sequences that exceed standard transformer length limits.
Python
