Awesome GitHub RepositoriesSequence Model Training

Metaseq एक ट्रांसफॉर्मर सीक्वेंस मॉडलिंग टूलकिट है जिसे ओपन प्री-ट्रेंड वेट्स का उपयोग करके सीक्वेंस-टू-सीक्वेंस मॉडल को प्रशिक्षित करने, फाइन-ट्यून करने और डिप्लॉय करने के लिए डिज़ाइन किया गया है। यह बड़े भाषा मॉडल प्रशिक्षण के लिए एक व्यापक फ्रेमवर्क प्रदान करता है, जिसमें सीक्वेंस डेटासेट प्रोसेसिंग के लिए समर्पित टूल्स और API अनुरोधों के माध्यम से टेक्स्ट उत्पन्न करने के लिए एक स्टैंडअलोन इन्फरेंस सर्वर शामिल है। इस प्रोजेक्ट में पैरामीटर परिशुद्धता को आठ बिट्स तक कम करने के लिए मॉडल क्वांटिज़ेशन के लिए विशेष उपयोगिताएँ शामिल हैं, जो मेमोरी उपयोग को कम करती हैं और इन्फरेंस गति को बढ़ाती हैं। इसमें मॉडल वेट्स को उच्च-प्रदर्शन इन्फरेंस इंजन के लिए अनुकूलित संरचनाओं में बदलने के लिए एक चेकपॉइंट रूपांतरण पाइपलाइन भी शामिल है। फ्रेमवर्क टेंसर पैरेललिज़्म और शार्ड डेटा पैरेललिज़्म के उपयोग के माध्यम से GPU क्लस्टर में बड़े पैमाने पर प्रशिक्षण का समर्थन करता है। अतिरिक्त क्षमताओं में NLP डेटासेट तैयारी, ट्रांसफर लर्निंग के लिए प्री-ट्रेंड वेट लोडिंग, और प्रगति विज़ुअलाइज़ेशन के लिए प्रशिक्षण मेट्रिक्स ट्रैकिंग शामिल है।

Smile is a comprehensive JVM machine learning library and statistical computing toolkit. It provides a suite of algorithms for classification, regression, and clustering, implemented natively for Java, Scala, and Kotlin. The project also functions as a deep learning framework, a natural language processing library, and an inference engine for large language models. The library distinguishes itself through GPU acceleration via LibTorch bindings and support for the ONNX model interchange format. It includes specialized capabilities for large language model inference, featuring Byte-Pair Encodin

tsai एक डीप लर्निंग लाइब्रेरी है जो टाइम सीरीज क्लासिफिकेशन, रिग्रेशन और फोरकास्टिंग के लिए बनाई गई है। PyTorch और fastai पर आधारित, यह सीक्वेंशियल डेटा को लेबल करने, यूनिवेरिएट या मल्टीवेरिएट सीक्वेंस में भविष्य के मानों का अनुमान लगाने और सेल्फ-सुपरवाइज्ड लर्निंग के जरिए अनलेबल डेटा पर रिप्रेजेंटेशन ट्रेन करने के लिए एक फ्रेमवर्क प्रदान करती है। यह लाइब्रेरी अपनी विशेष टेम्पोरल इंजीनियरिंग और स्केलिंग क्षमताओं के लिए जानी जाती है। इसमें मौसमी पैटर्न को कैप्चर करने के लिए साइक्लिकल टेम्पोरल एन्कोडिंग और उपलब्ध मेमोरी से बड़े डेटासेट को प्रोसेस करने के लिए ऑनलाइन विंडो स्लाइसिंग जैसे टूल्स शामिल हैं। यह मल्टीमॉडल इनपुट पाइपलाइनों को भी सपोर्ट करती है जो स्टेटिक कैटेगोरिकल फीचर्स को डायनामिक कंटीन्यूअस सीक्वेंस के साथ जोड़ती हैं। यह टूलकिट प्रीप्रोसेसिंग और इवैल्यूएशन की जरूरतों को पूरा करती है, जिसमें स्लाइडिंग विंडो सेगमेंटेशन, मिसिंग डेटा इम्प्यूटेशन और टैबुलर डेटाफ्रेम को स्ट्रक्चर्ड टेंसर्स में बदलना शामिल है। मॉडल के प्रदर्शन का आकलन वॉक-फॉरवर्ड वैलिडेशन और फीचर इम्पॉर्टेंस एनालिसिस के जरिए किया जाता है ताकि टेम्पोरल कंसिस्टेंसी सुनिश्चित हो सके।

यह प्रोजेक्ट पारंपरिक चीनी युगल (couplets) बनाने के लिए डिज़ाइन किया गया एक डीप लर्निंग कविता जनरेटर है। यह इनपुट टेक्स्ट अनुक्रमों को मिलान आउटपुट अनुक्रमों में मैप करने के लिए एक अनुक्रम-से-अनुक्रम (sequence-to-sequence) न्यूरल नेटवर्क आर्किटेक्चर का उपयोग करता है, जो एक टेक्स्ट जनरेशन मॉडल और एक इन्फ़रेंस वेब सेवा के रूप में कार्य करता है। इस सिस्टम में एक न्यूरल टेक्स्ट रैंकिंग तंत्र है जो संरचनात्मक अलाइनमेंट सुनिश्चित करने के लिए लंबाई स्थिरता और वर्ण पैटर्न्स के आधार पर उम्मीदवार आउटपुट का मूल्यांकन करता है। इसमें एक कंटेंट फ़िल्टरिंग प्रक्रिया भी शामिल है जो संवेदनशील या अनुपयुक्त सामग्री को हटाने के लिए निषिद्ध शब्द सूचियों के विरुद्ध उत्पन्न टेक्स्ट को स्कैन करती है। व्यापक क्षमता सतह में डेटा तैयारी के लिए एक टेक्स्ट टोकनाइज़ेशन पाइपलाइन और JSON के माध्यम से मॉडल भविष्यवाणियों की सेवा के लिए एक RESTful इंटरफ़ेस शामिल है। यह प्रोजेक्ट मशीन लर्निंग लाइफ़साइकिल को भी कवर करता है, जिसमें मॉडल वेट ऑप्टिमाइज़ेशन, ट्रेनिंग और वैलिडेशन डेटासेट के विरुद्ध परफ़ॉर्मेंस इवैल्यूएशन शामिल है।

bert4keras Keras डीप लर्निंग फ्रेमवर्क के लिए BERT ट्रांसफॉर्मर आर्किटेक्चर का एक हल्का पुनर्कियान्वयन है। यह टेक्स्ट क्लासिफिकेशन, सीक्वेंस लेबलिंग, और सिमेंटिक एम्बेडिंग एक्सट्रैक्शन के लिए उपयोग किया जाने वाला एक नेचुरल लैंग्वेज प्रोसेसिंग टूलकिट और ट्रांसफॉर्मर मॉडल लाइब्रेरी के रूप में कार्य करता है। इस फ्रेमवर्क में प्रश्न उत्तर और टेक्स्ट जनरेशन के लिए एक सीक्वेंस-टू-सीक्वेंस मॉडल सिस्टम शामिल है, साथ ही रियल-टाइम भविष्यवाणियों के लिए प्रशिक्षित ट्रांसफॉर्मर्स को वेब APIs के रूप में तैनात करने के लिए एक मॉडल इन्फरेंस सर्वर भी शामिल है। क्षमताएं नेचुरल लैंग्वेज अंडरस्टैंडिंग कार्यों की एक विस्तृत श्रृंखला को कवर करती हैं, जिसमें रीडिंग कॉम्प्रिहेंशन, रिलेशन एक्सट्रैक्शन और लॉन्ग टेक्स्ट प्रोसेसिंग शामिल है। यह लाइब्रेरी पैरामीटर रिडक्शन, मजबूती के लिए एडवर्सरियल ट्रेनिंग, और लेयर-वाइज लर्निंग रेट कॉन्फ़िगरेशन जैसी ऑप्टिमाइज़ेशन तकनीकों के साथ-साथ भाषा मॉडल प्री-ट्रेनिंग और फाइन-ट्यूनिंग के लिए टूल्स प्रदान करती है। इस प्रोजेक्ट में बाहरी फॉर्मेट्स से प्रशिक्षित वेट्स को संगत Keras स्ट्रक्चर्स में बदलने के लिए एक वेट-कन्वर्जन लोडर शामिल है।

GluonTS, प्रोबेबिलिस्टिक टाइम सीरीज़ फोरकास्टिंग के लिए एक फ्रेमवर्क है, जिसे भविष्य के मूल्यों की भविष्यवाणी कॉन्फिडेंस इंटरवल्स के साथ प्रायिकता वितरण (probability distributions) के रूप में करने के लिए डिज़ाइन किया गया है। यह पारंपरिक मॉडल प्रशिक्षण और ज़ीरो-शॉट फोरकास्टिंग दोनों को सपोर्ट करता है, जहाँ प्रीट्रेन्ड मॉडल्स अतिरिक्त प्रशिक्षण के बिना नई सीरीज़ के लिए भविष्यवाणियां उत्पन्न करते हैं। प्रोजेक्ट विभिन्न प्रकार के फोरकास्टिंग दृष्टिकोणों को एक यूनिफाइड वर्कफ़्लो में इंटीग्रेट करके अलग है। इसमें रिकरेंट न्यूरल नेटवर्क्स और कैज़ुअल कन्वेल्शन्स जैसे डीप लर्निंग आर्किटेक्चर, साथ ही बाहरी सांख्यिकीय मॉडल्स, Prophet लाइब्रेरी और R पैकेजेस का इंटीग्रेशन शामिल है। टूलकिट टाइम सीरीज़ डेटा इंजीनियरिंग के लिए एक व्यापक सतह प्रदान करती है, जिसमें डेटासेट स्केलिंग, स्प्लिटिंग और रॉ टेम्पोरल डेटा को टेंसर्स में बदलना शामिल है। यह फोरकास्ट सटीकता और अनिश्चितता अंतराल को मापने के लिए मूल्यांकन टूल्स का एक सूट भी शामिल करती है।

GluonTS एक प्रोबेबिलिस्टिक टाइम सीरीज़ लाइब्रेरी और डीप लर्निंग फोरकास्टिंग फ्रेमवर्क है। यह न्यूरल नेटवर्क आर्किटेक्चर बनाने, प्रशिक्षित करने और मूल्यांकन करने के लिए एक टूलकिट प्रदान करता है, जो अनिश्चितता को मापने के लिए भविष्य के मूल्यों को प्रायिकता वितरण (probability distributions) के रूप में अनुमानित करते हैं। यह प्रोजेक्ट ज़ीरो-शॉट फोरकास्टिंग का समर्थन करके और डीप प्रोबेबिलिस्टिक न्यूरल नेटवर्क तथा Prophet और R forecast जैसी बाहरी सांख्यिकीय लाइब्रेरी के लिए रैपर सहित विविध मॉडलिंग दृष्टिकोणों को एकीकृत करके खुद को अलग करता है। यह सूचना रिसाव को रोकने और लेटेंट रिप्रेजेंटेशन को वैध प्रायिकता वितरण में मैप करने के लिए कैज़ुअल कन्वोल्यूशन और इनवर्टिबल रेसिड्यूअल नेटवर्क जैसे विशेष आर्किटेक्चरल प्रिमिटिव्स को लागू करता है। यह फ्रेमवर्क टाइम सीरीज़ स्केलिंग, बाइजेक्टिव ट्रांसफॉर्मेशन और पदानुक्रमित मॉडलिंग सहित एक व्यापक डेटा इंजीनियरिंग सतह को कवर करता है। यह उच्च-प्रदर्शन डेटासेट स्ट्रीमिंग और रैंडम-एक्सेस प्रबंधन के लिए Apache Arrow और Parquet का उपयोग करता है। मॉडल मूल्यांकन के लिए, इसमें क्वांटाइल लॉस और कंटीन्यूअस रैंक प्रोबेबिलिटी स्कोर जैसे मेट्रिक्स का उपयोग करके पूर्वानुमान सटीकता और प्रोबेबिलिस्टिक कवरेज को मापने के लिए एक मूल्यांकन सूट शामिल है। यह लाइब्रेरी Amazon SageMaker के साथ एकीकरण के माध्यम से मॉडल परिनियोजन (deployment) का समर्थन करती है।

यह PyTorch आर्किटेक्चर का उपयोग करके अनुक्रमिक डेटा (sequential data) में भविष्य के मूल्यों की भविष्यवाणी करने के लिए एक डीप लर्निंग फ्रेमवर्क है। यह लॉन्ग-हॉरिजन और प्रोबेबिलिस्टिक टाइम सीरीज़ प्रेडिक्शन के लिए एक टूलकिट प्रदान करता है, जिसमें सुपरवाइज्ड डीप लर्निंग ट्रेनिंग के लिए टैबुलर डेटाफ्रेम्स को अनुक्रमों में बदलने के लिए एक डेटा पाइपलाइन शामिल है। यह लाइब्रेरी CPUs और GPUs पर मॉडल निष्पादन को स्केल करने के लिए एक ट्रेनिंग रैपर का उपयोग करती है। यह भविष्यवाणी अनिश्चितता को मापने के लिए सिंगल पॉइंट अनुमानों के बजाय भविष्य के परिणामों के लिए संभाव्यता वितरण (probability distributions) के निर्माण का समर्थन करती है। यह फ्रेमवर्क फोरकास्टिंग मॉडल लागू करने, हाइपरपैरामीटर्स को ऑप्टिमाइज़ करने और मल्टी-हॉरिजन मेट्रिक्स के माध्यम से सटीकता का मूल्यांकन करने के लिए क्षमताएं शामिल करता है। यह सरल बेसलाइन मॉडल्स के विरुद्ध जटिल आर्किटेक्चर को बेंचमार्क करने के तरीके भी प्रदान करता है।

This project is a comprehensive instructional resource and course for building neural networks using PyTorch. It covers the fundamental building blocks of deep learning, including tensor manipulation, automatic differentiation, and the construction of modular neural network components. The repository serves as a technical guide for several specialized domains. It provides implementation details for computer vision tasks such as image classification, object detection, and semantic segmentation, as well as natural language processing workflows involving transformers, recurrent networks, and gen

This project is a scientific computing framework for the .NET ecosystem, providing a comprehensive suite of libraries for numerical analysis, statistics, and mathematical optimization. It serves as a foundational toolkit for developing applications in machine learning, digital signal processing, and computer vision. The framework provides specialized toolkits for training and deploying predictive models, including neural networks, support vector machines, and decision trees. It further distinguishes itself with deep integrations for real-time visual analysis, such as object tracking and facia

Merlion एक टाइम सीरीज़ मशीन लर्निंग फ्रेमवर्क है जिसे एनोमली डिटेक्शन और फोरकास्टिंग के लिए डिज़ाइन किया गया है। यह टेम्पोरल डेटा स्ट्रीम पर विभिन्न सांख्यिकीय और मशीन लर्निंग मॉडल को लागू करने के लिए एक एकीकृत इंटरफ़ेस प्रदान करता है। इस प्रोजेक्ट में एक बेंचमार्किंग डैशबोर्ड शामिल है जो ऐतिहासिक ग्राउंड ट्रुथ डेटासेट के मुकाबले मॉडलों के विज़ुअल परीक्षण और मूल्यांकन की अनुमति देता है। यह वेब इंटरफ़ेस बिना मैन्युअल कोडिंग के कस्टम डेटासेट पर विभिन्न मॉडलों के प्रयोग को सक्षम बनाता है। यह फ्रेमवर्क आउटलेयर्स की पहचान करने, भविष्य के टाइम सीरीज़ मानों की भविष्यवाणी करने और प्रोडक्शन ट्रेनिंग साइकिल के सिमुलेशन-बेस्ड बैकटेस्टिंग के माध्यम से मॉडल की सटीकता को मापने की क्षमताओं को कवर करता है।

यह प्रोजेक्ट एक ट्रांसफ़ॉर्मर मॉडल का TensorFlow इम्प्लीमेंटेशन है, जो अनुक्रम पैटर्न (sequence patterns) को पहचानने और जनरेट करने के लिए डिज़ाइन किया गया एक टेक्स्ट-टू-टेक्स्ट डीप लर्निंग फ्रेमवर्क प्रदान करता है। यह एक अटेंशन-बेस्ड अनुक्रम मॉडल और एक भाषा से दूसरी भाषा में टेक्स्ट को बदलने के लिए एक न्यूरल मशीन ट्रांसलेशन फ्रेमवर्क के रूप में कार्य करता है। यह सिस्टम ट्रांसफ़ॉर्मर नेटवर्क आर्किटेक्चर को लागू करता है, जो अनुक्रमिक डेटा को प्रोसेस करने के लिए मल्टी-हेड अटेंशन और पोजीशनल एन्कोडिंग का उपयोग करता है। यह ट्रांसफ़ॉर्मर मॉडल ट्रेनिंग और मशीन ट्रांसलेशन इन्फरेंस के लिए आवश्यक टूल्स प्रदान करता है, जिससे टेक्स्ट का अनुवाद करने और आउटपुट गुणवत्ता का मूल्यांकन करने के लिए प्रशिक्षित मॉडलों के निष्पादन की अनुमति मिलती है। यह प्रोजेक्ट वोकैबुलरी जनरेशन और सीक्वेंस-टू-सीक्वेंस मॉडलिंग के लिए टेक्स्ट प्रीप्रोसेसिंग सहित पूर्ण नेचुरल लैंग्वेज प्रोसेसिंग पाइपलाइन को कवर करता है। इसमें एन्कोडर-डिकोडर आर्किटेक्चर, लेयर-बेस्ड नॉर्मलाइजेशन और टोकन सिलेक्शन के लिए सॉफ़्टमैक्स-बेस्ड प्रायिकता वितरण जैसे संरचनात्मक कंपोनेंट्स शामिल हैं।

यह प्रोजेक्ट TensorFlow का उपयोग करके न्यूरल नेटवर्क विकास के लिए शैक्षिक संसाधनों और संदर्भ कार्यान्वयन का एक संग्रह है। यह डीप लर्निंग आर्किटेक्चर बनाने के लिए एक व्यापक शिक्षण पाठ्यक्रम, मशीन लर्निंग पाठ्यक्रम और व्यावहारिक कार्यान्वयन गाइड के रूप में कार्य करता है। कोडबेस मॉडल प्रकारों की एक विस्तृत श्रृंखला को कवर करने वाली निर्देशात्मक सामग्री और उदाहरण प्रदान करता है, जिसमें इमेज क्लासिफिकेशन के लिए कन्वेन्शनल न्यूरल नेटवर्क, अनुक्रमिक डेटा के लिए रिकरेंट नेटवर्क और लॉन्ग शॉर्ट-टर्म मेमोरी सेल्स, और जेनरेटिव मॉडलिंग के लिए ऑटोएनकोडर शामिल हैं। इसमें डीप रीइन्फोर्समेंट लर्निंग एजेंटों के लिए कार्यान्वयन और नए कार्यों के लिए प्री-ट्रेंड मॉडल को अनुकूलित करने के लिए ट्रांसफर लर्निंग तकनीकें भी शामिल हैं। यह प्रोजेक्ट डेटा प्रीप्रोसेसिंग, कंप्यूटेशनल ग्राफ परिभाषा और वेट ऑप्टिमाइज़ेशन सहित पूर्ण विकास लाइफसाइकिल को कवर करता है। यह मॉडल मूल्यांकन और प्रशिक्षण अनुकूलन के लिए उपयोगिताएं प्रदान करता है, जैसे कि ड्रॉपआउट और रेगुलराइजेशन, साथ ही नेटवर्क आर्किटेक्चर को विज़ुअलाइज़ करने और प्रशिक्षण मेट्रिक्स की निगरानी करने के लिए टूल प्रदान करता है।

Neural Prophet एक PyTorch-आधारित टाइम सीरीज़ फ़ोरकास्टिंग लाइब्रेरी है जिसे व्याख्या योग्य मशीन लर्निंग के लिए डिज़ाइन किया गया है। यह एक अपघटन फ्रेमवर्क के रूप में कार्य करता है जो भविष्य के मानों की भविष्यवाणी करने के लिए संकेतों को ऑटोरिग्रैसिव प्रभाव, पीसवाइज़ लीनियर ट्रेंड्स, और फ़ूरियर-आधारित सीज़नैलिटी जैसे घटक भागों में तोड़ता है। यह प्रोजेक्ट पारंपरिक एल्गोरिदम के साथ न्यूरल नेटवर्क को जोड़कर ऐसे पूर्वानुमान उत्पन्न करने के लिए खुद को अलग करता है जो अंतर्निहित ट्रेंड ड्राइवरों की व्याख्या करते हैं। इसमें एक ग्लोबल टाइम सीरीज़ मॉडलिंग दृष्टिकोण है, जो एक एकल मॉडल को स्थानीय विशिष्टताओं को बनाए रखते हुए सीखे गए पैटर्न को साझा करने के लिए कई एक साथ सीरीज़ में प्रशिक्षित करने की अनुमति देता है। इसके अतिरिक्त, यह क्वांटाइल रिग्रेशन और कन्फ़ॉर्मल प्रेडिक्शन का उपयोग करके विश्वसनीय पूर्वानुमान अंतराल उत्पन्न करने के लिए एक अनिश्चितता परिमाणीकरण टूल के रूप में कार्य करता है। लाइब्रेरी डेटा प्रबंधन के लिए क्षमताओं का एक व्यापक सूट प्रदान करती है, जिसमें हॉलिडे रिट्रीवल, गैप फिलिंग, और सामान्यीकरण शामिल है। यह ऑटोमेटेड हाइपरपैरामीटर अनुकूलन, ट्रेंड चेंजपॉइंट डिटेक्शन, और भविष्य और लैग्ड रिग्रेशर्स दोनों के एकीकरण के साथ पूर्ण मॉडलिंग लाइफसाइकिल को कवर करती है। विश्लेषण का समर्थन पूर्वानुमान अपघटन और इनपुट एट्रिब्यूशन के माध्यम से किया जाता है ताकि यह देखा जा सके कि विशिष्ट कारक अंतिम भविष्यवाणियों को कैसे प्रभावित करते हैं।

This project is a Chinese language translation of the technical guides and API references for the PyTorch deep learning framework. It serves as a localized knowledge base and reference material to make deep learning documentation accessible to non-English speakers. The documentation covers a comprehensive range of PyTorch capabilities, including neural network model development, automatic differentiation, and the implementation of backend kernels. It provides detailed guidance on distributed training strategies, model deployment through formats like ONNX and C++, and various model optimizatio

warp-ctc, सीक्वेंस-टू-सीक्वेंस डीप लर्निंग मॉडल्स को ट्रेन करने के लिए कनेक्शनिस्ट टेम्पोरल क्लासिफिकेशन (CTC) लॉस की गणना करने के लिए एक उच्च-प्रदर्शन लाइब्रेरी है। यह लंबी सीक्वेंस के लिए संभावना गणना के दौरान अंडरफ्लो और प्रिसिजन एरर को रोकने के लिए लॉग-स्पेस कंप्यूटेशन का उपयोग करके एक न्यूमेरिकल स्टेबिलिटी लेयर प्रदान करती है। यह लाइब्रेरी CPU और GPU आर्किटेक्चर में समानांतर रूप से लॉस की गणना करने के लिए हार्डवेयर-एक्सेलेरेटेड कर्नेल का उपयोग करती है। यह CTC एल्गोरिदम के डायनामिक प्रोग्रामिंग स्टेप्स को ऑप्टिमाइज़ करके ट्रेनिंग थ्रूपुट बढ़ाने पर केंद्रित है। ये क्षमताएं स्पीच रिकग्निशन, हैंडराइटिंग ऑप्टिकल कैरेक्टर रिकग्निशन, और सामान्य सीक्वेंस-टू-सीक्वेंस मैपिंग के लिए मॉडल्स की ट्रेनिंग का समर्थन करती हैं। इस प्रोजेक्ट में TensorFlow के भीतर लॉस की गणना और एलाइनमेंट-फ्री ट्रेनिंग के लिए एकीकरण शामिल है।

DeepVariant is a deep learning genotyping tool and DNA sequence analysis pipeline used to identify single nucleotide polymorphisms and indels from next-generation sequencing data. It functions as a convolutional neural network genetic variant caller that treats genomic read alignments as multi-channel image tensors to determine genotypes. The system supports specialized analysis workflows including long-read variant calling for circular consensus sequencing and trio-based variant calling to identify inherited or de novo mutations. It enables model optimization for new species or genome contex

This framework provides a toolkit for fine-tuning large language models by combining distributed data parallelism with parameter sharding and quantization techniques. It is designed to scale the training of massive neural networks across multiple graphics processors, enabling the execution of models that exceed the memory capacity of individual hardware units. The library distinguishes itself by integrating low-rank adaptation with memory-efficient weight loading and quantization-aware parameter sharding. By initializing model weights directly on the graphics processor and applying granular l