Awesome GitHub RepositoriesSequence Labeling

Chinese-BERT-wwm is a pre-trained transformer model and encoder designed for Chinese natural language processing. It converts Chinese text into dense vector representations to be used across various natural language processing applications. The model utilizes a whole word masking strategy during pre-training, masking entire words rather than individual characters. This approach is designed to improve the capture of semantic meaning and language structure within Chinese datasets. The project covers a range of downstream tasks including text classification, sequence labeling, and reading compr

Vowpal Wabbit is an open-source machine learning system designed for online learning, where models update incrementally from streaming data without requiring full retraining. It provides a reduction-based learning framework that composes complex tasks from simpler algorithms, and includes a feature hashing trick that maps unbounded feature names into a fixed-size vector space to keep memory usage constant regardless of dataset size. The system supports distributed training across a cluster using an allreduce protocol for synchronized updates, and offers an active learning query strategy that s

This project is a collection of educational resources and technical guides focused on the development and implementation of large language models. It provides a comprehensive curriculum covering transformer architectures, training methods, and deployment strategies. The materials provide detailed instructions for building autonomous agents using reasoning loops and tool integration, as well as guides for fine-tuning models through supervised learning and preference optimization. It also includes tutorials for constructing retrieval augmented generation pipelines and implementing transformer m

Lihang एक सांख्यिकीय शिक्षण एल्गोरिदम लाइब्रेरी और फ्रेमवर्क है जो सुपरवाइज्ड और अनसुपरवाइज्ड मशीन लर्निंग मॉडल्स के कार्यान्वयन प्रदान करता है। यह एक संदर्भ रिपॉजिटरी के रूप में कार्य करता है जो डेटा वर्गीकरण और पैटर्न पहचान के लिए सांख्यिकीय शिक्षण सिद्धांतों को निष्पादन योग्य कोड में अनुवादित करता है। प्रोजेक्ट में संभाव्य मॉडल कार्यान्वयन के लिए विशेष उपकरण हैं, जो इष्टतम मॉडल पैरामीटर्स निर्धारित करने के लिए लाइकलीहुड एस्टिमेशन और बेयसियन मेथड्स का उपयोग करते हैं। इसमें क्रमित डेटा अनुक्रमों में पैटर्न की पहचान करने के लिए एक अनुक्रमिक डेटा लेबलिंग टूल शामिल है और यह रैखिक और गैर-रैखिक बाइनरी वर्गीकरण दोनों का समर्थन करता है। फ्रेमवर्क मशीन लर्निंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है, जिसमें क्लस्टरिंग और टॉपिक एनालिसिस के लिए अनसुपरवाइज्ड डेटा एनालिसिस, साथ ही शैक्षणिक ग्रंथ सूची और संदर्भ सामग्रियों की स्वचालित पुनर्प्राप्ति के लिए एक पाइपलाइन शामिल है। प्रोजेक्ट इटरेटिव डेटा एनालिसिस और मॉडल सत्यापन के लिए इंटरैक्टिव नोटबुक को एकीकृत करता है।

bert4keras Keras डीप लर्निंग फ्रेमवर्क के लिए BERT ट्रांसफॉर्मर आर्किटेक्चर का एक हल्का पुनर्कियान्वयन है। यह टेक्स्ट क्लासिफिकेशन, सीक्वेंस लेबलिंग, और सिमेंटिक एम्बेडिंग एक्सट्रैक्शन के लिए उपयोग किया जाने वाला एक नेचुरल लैंग्वेज प्रोसेसिंग टूलकिट और ट्रांसफॉर्मर मॉडल लाइब्रेरी के रूप में कार्य करता है। इस फ्रेमवर्क में प्रश्न उत्तर और टेक्स्ट जनरेशन के लिए एक सीक्वेंस-टू-सीक्वेंस मॉडल सिस्टम शामिल है, साथ ही रियल-टाइम भविष्यवाणियों के लिए प्रशिक्षित ट्रांसफॉर्मर्स को वेब APIs के रूप में तैनात करने के लिए एक मॉडल इन्फरेंस सर्वर भी शामिल है। क्षमताएं नेचुरल लैंग्वेज अंडरस्टैंडिंग कार्यों की एक विस्तृत श्रृंखला को कवर करती हैं, जिसमें रीडिंग कॉम्प्रिहेंशन, रिलेशन एक्सट्रैक्शन और लॉन्ग टेक्स्ट प्रोसेसिंग शामिल है। यह लाइब्रेरी पैरामीटर रिडक्शन, मजबूती के लिए एडवर्सरियल ट्रेनिंग, और लेयर-वाइज लर्निंग रेट कॉन्फ़िगरेशन जैसी ऑप्टिमाइज़ेशन तकनीकों के साथ-साथ भाषा मॉडल प्री-ट्रेनिंग और फाइन-ट्यूनिंग के लिए टूल्स प्रदान करती है। इस प्रोजेक्ट में बाहरी फॉर्मेट्स से प्रशिक्षित वेट्स को संगत Keras स्ट्रक्चर्स में बदलने के लिए एक वेट-कन्वर्जन लोडर शामिल है।

Grobid एक मशीन लर्निंग सिस्टम है जिसे शैक्षणिक और वैज्ञानिक PDF प्रकाशनों को संरचित XML में बदलने के लिए डिज़ाइन किया गया है। यह एक PDF से XML पार्सर और स्कॉलरली मेटाडेटा एक्सट्रैक्टर के रूप में कार्य करता है, जो शोध पत्रों से शीर्षकों, लेखकों, संबद्धताओं और ग्रंथ सूची संबंधी संदर्भों की पहचान और सामान्यीकरण करता है। सिस्टम कच्चे PDF को कार्यात्मक क्षेत्रों में विभाजित करने के लिए एक डीप लर्निंग डॉक्यूमेंट सेगमेंट का उपयोग करता है और मेटाडेटा संवर्धन और DOI रिज़ॉल्यूशन के लिए बाहरी रजिस्ट्रियों के खिलाफ उद्धरणों का मिलान करने के लिए एक ग्रंथ सूची संदर्भ रिज़ॉल्वर को नियोजित करता है। यह एक पूर्ण मशीन लर्निंग मॉडल ट्रेनिंग पाइपलाइन का समर्थन करता है, जो एनोटेटेड ट्रेनिंग कॉर्पोरा के निर्माण, मॉडल रिट्रेनिंग और मॉडल बाइनरीज़ के निर्यात की अनुमति देता है। यह प्रोजेक्ट डॉक्यूमेंट हेडर पार्सिंग, पूर्ण-टेक्स्ट बॉडी स्ट्रक्चरिंग और फंडिंग जानकारी तथा पेटेंट उद्धरणों जैसे डोमेन-विशिष्ट संस्थाओं की पहचान सहित निष्कर्षण क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह बाउंडिंग बॉक्स निष्कर्षण और मूल PDF लेआउट के साथ सिमेंटिक लेबल्स को सिंक्रोनाइज़ करने के लिए कोऑर्डिनेट मैपिंग के लिए स्थानिक विश्लेषण उपकरण भी प्रदान करता है। एप्लिकेशन को कंटेनराइज़्ड इमेजेस के माध्यम से डिप्लॉय किया जा सकता है और इसमें बड़े डॉक्यूमेंट कलेक्शन्स की मल्टी-थ्रेडेड बैच प्रोसेसिंग के लिए कमांड-लाइन यूटिलिटीज शामिल हैं।

snips-nlu एक पायथन लाइब्रेरी और नेचुरल लैंग्वेज अंडरस्टैंडिंग इंजन है जिसे असंरचित टेक्स्ट को स्ट्रक्चर्ड डेटा में बदलने के लिए डिज़ाइन किया गया है। यह उपयोगकर्ता के इरादों (intents) की पहचान करता है और मशीन-पठनीय कमांड प्रोसेसिंग को सक्षम करने के लिए नेचुरल लैंग्वेज वाक्यों से संबंधित संस्थाओं (entities) को निकालता है। इंजन एक बहुभाषी पार्सर के रूप में कार्य करता है जो कई भाषाओं में टेक्स्ट को प्रोसेस करने में सक्षम है। यह डेटा सुसंगतता सुनिश्चित करने के लिए पहचानी गई संस्थाओं को कैनोनिकल मानों या मानकीकृत ISO फ़ॉर्मेट, जैसे टाइमस्टैम्प, में मैप करता है। प्रोजेक्ट उपयोगकर्ता के लक्ष्यों और विशिष्ट डेटा स्लॉट की पहचान करने के लिए सीक्वेंस लेबलिंग और टोकनाइज़ेशन का उपयोग करके इंटेंट क्लासिफिकेशन और नेम्ड एंटिटी रिकग्निशन को कवर करती है।

Entity-Relation-Extraction एक मशीन लर्निंग फ्रेमवर्क है जिसे असंरचित टेक्स्ट के भीतर एंटिटीज और उनके तार्किक कनेक्शन की पहचान करने के लिए डिज़ाइन किया गया है। यह एक पाइपलाइन के रूप में कार्य करता है जो डीप लर्निंग मॉडल्स और ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करके रॉ दस्तावेजों को संरचित नॉलेज ग्राफ में बदल देता है। यह प्रोजेक्ट एक स्कीमा-संचालित दृष्टिकोण के माध्यम से खुद को अलग करता है, जो आउटपुट स्थिरता सुनिश्चित करने के लिए निकाले गए डेटा को पूर्व-निर्धारित रिलेशनल टेम्प्लेट पर मैप करता है। यह एक बहु-चरणीय प्रक्रिया का उपयोग करता है जो एंटिटी सीमाओं को रेखांकित करने और उनके बीच संबंधों को वर्गीकृत करने के लिए सीक्वेंस-लेबलिंग टोकन क्लासिफिकेशन को कॉन्टेक्स्टुअल एन्कोडिंग के साथ जोड़ती है। टूलकिट प्री-ट्रेंड लैंग्वेज मॉडल्स को फाइन-ट्यून करने और कंप्यूटेशनल ग्राफ के माध्यम से डेटा को व्यवस्थित करने के लिए घटक प्रदान करती है। इसमें निष्कर्षण प्रक्रिया की सटीकता को सत्यापित करने के लिए ग्राउंड ट्रुथ डेटासेट के खिलाफ मॉडल परफॉरमेंस का मूल्यांकन करने के लिए उपयोगिताएँ शामिल हैं।