1 रिपॉजिटरी
Awesome GitHub RepositoriesHierarchical Position Embeddings
Embedding structures that allow transformers to process text beyond standard length limits by nesting position information.
Distinct from Long-Context Sequence Processors: Specifically covers the architectural embedding method for long text, whereas Long-Context Sequence Processors is a broader system category.
Explore 1 awesome GitHub repository matching data & databases · Hierarchical Position Embeddings. Refine with filters or upvote what's useful.
Awesome Hierarchical Position Embeddings GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- bojone/bert4keras
bojone/bert4keras
5,419GitHub पर देखेंbert4keras Keras डीप लर्निंग फ्रेमवर्क के लिए BERT ट्रांसफॉर्मर आर्किटेक्चर का एक हल्का पुनर्कियान्वयन है। यह टेक्स्ट क्लासिफिकेशन, सीक्वेंस लेबलिंग, और सिमेंटिक एम्बेडिंग एक्सट्रैक्शन के लिए उपयोग किया जाने वाला एक नेचुरल लैंग्वेज प्रोसेसिंग टूलकिट और ट्रांसफॉर्मर मॉडल लाइब्रेरी के रूप में कार्य करता है। इस फ्रेमवर्क में प्रश्न उत्तर और टेक्स्ट जनरेशन के लिए एक सीक्वेंस-टू-सीक्वेंस मॉडल सिस्टम शामिल है, साथ ही रियल-टाइम भविष्यवाणियों के लिए प्रशिक्षित ट्रांसफॉर्मर्स को वेब APIs के रूप में तैनात करने के लिए एक मॉडल इन्फरेंस सर्वर भी शामिल है। क्षमताएं नेचुरल लैंग्वेज अंडरस्टैंडिंग कार्यों की एक विस्तृत श्रृंखला को कवर करती हैं, जिसमें रीडिंग कॉम्प्रिहेंशन, रिलेशन एक्सट्रैक्शन और लॉन्ग टेक्स्ट प्रोसेसिंग शामिल है। यह लाइब्रेरी पैरामीटर रिडक्शन, मजबूती के लिए एडवर्सरियल ट्रेनिंग, और लेयर-वाइज लर्निंग रेट कॉन्फ़िगरेशन जैसी ऑप्टिमाइज़ेशन तकनीकों के साथ-साथ भाषा मॉडल प्री-ट्रेनिंग और फाइन-ट्यूनिंग के लिए टूल्स प्रदान करती है। इस प्रोजेक्ट में बाहरी फॉर्मेट्स से प्रशिक्षित वेट्स को संगत Keras स्ट्रक्चर्स में बदलने के लिए एक वेट-कन्वर्जन लोडर शामिल है।
Implements hierarchical position embeddings to handle input sequences that exceed standard transformer length limits.
Python
