Awesome GitHub RepositoriesSequence Labeling Architectures

Flair is a natural language processing framework for training and applying models for sequence labeling and text classification. It provides a system for generating word embeddings and identifying semantic entities within text. The framework includes a dedicated system for zero and few-shot learning, enabling text classification and entity extraction using minimal training examples by leveraging pre-trained knowledge. Its capabilities cover named entity recognition, sentiment analysis, and the training of specialized models using custom datasets. It also includes tooling for the visual highl

Grobid एक मशीन लर्निंग सिस्टम है जिसे शैक्षणिक और वैज्ञानिक PDF प्रकाशनों को संरचित XML में बदलने के लिए डिज़ाइन किया गया है। यह एक PDF से XML पार्सर और स्कॉलरली मेटाडेटा एक्सट्रैक्टर के रूप में कार्य करता है, जो शोध पत्रों से शीर्षकों, लेखकों, संबद्धताओं और ग्रंथ सूची संबंधी संदर्भों की पहचान और सामान्यीकरण करता है। सिस्टम कच्चे PDF को कार्यात्मक क्षेत्रों में विभाजित करने के लिए एक डीप लर्निंग डॉक्यूमेंट सेगमेंट का उपयोग करता है और मेटाडेटा संवर्धन और DOI रिज़ॉल्यूशन के लिए बाहरी रजिस्ट्रियों के खिलाफ उद्धरणों का मिलान करने के लिए एक ग्रंथ सूची संदर्भ रिज़ॉल्वर को नियोजित करता है। यह एक पूर्ण मशीन लर्निंग मॉडल ट्रेनिंग पाइपलाइन का समर्थन करता है, जो एनोटेटेड ट्रेनिंग कॉर्पोरा के निर्माण, मॉडल रिट्रेनिंग और मॉडल बाइनरीज़ के निर्यात की अनुमति देता है। यह प्रोजेक्ट डॉक्यूमेंट हेडर पार्सिंग, पूर्ण-टेक्स्ट बॉडी स्ट्रक्चरिंग और फंडिंग जानकारी तथा पेटेंट उद्धरणों जैसे डोमेन-विशिष्ट संस्थाओं की पहचान सहित निष्कर्षण क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह बाउंडिंग बॉक्स निष्कर्षण और मूल PDF लेआउट के साथ सिमेंटिक लेबल्स को सिंक्रोनाइज़ करने के लिए कोऑर्डिनेट मैपिंग के लिए स्थानिक विश्लेषण उपकरण भी प्रदान करता है। एप्लिकेशन को कंटेनराइज़्ड इमेजेस के माध्यम से डिप्लॉय किया जा सकता है और इसमें बड़े डॉक्यूमेंट कलेक्शन्स की मल्टी-थ्रेडेड बैच प्रोसेसिंग के लिए कमांड-लाइन यूटिलिटीज शामिल हैं।

यह प्रोजेक्ट एक नेचुरल लैंग्वेज प्रोसेसिंग सिस्टम है जिसे नेम्ड एंटिटी रिकग्निशन और टेक्स्ट क्लासिफिकेशन के लिए डिज़ाइन किया गया है। यह कच्चे टेक्स्ट से विशिष्ट नामों और प्रमुख जानकारी की पहचान करने के लिए मशीन लर्निंग दृष्टिकोण का उपयोग करता है। यह सिस्टम एक मल्टी-लेयर आर्किटेक्चर लागू करता है जो एम्बेडिंग के लिए प्री-ट्रेन्ड ट्रांसफॉर्मर, सीक्वेंस मॉडलिंग के लिए बाईडायरेक्शनल लॉन्ग शॉर्ट-टर्म मेमोरी और लेबल ट्रांज़िशन के लिए कंडीशनल रैंडम फील्ड को जोड़ता है। यह प्रोजेक्ट विशिष्ट डेटासेट पर इन मॉडल्स को फाइन-ट्यून करके ट्रांसफर लर्निंग का समर्थन करता है। इसमें कस्टम डेटासेट पर मॉडल्स को प्रशिक्षित करने और प्रशिक्षित मॉडल को नेटवर्क सर्विस के रूप में डिप्लॉय करने की क्षमताएं शामिल हैं।

This project is a collection of scripts and workflows for training, fine-tuning, and deploying large language models using the Hugging Face Transformers toolkit. It functions as a distributed training framework, a library for natural language processing task implementations, and a system for building retrieval-augmented generation chatbots. The repository includes specialized tools for model optimization, such as a Bayesian hyperparameter optimizer for automatically tuning model settings. It provides implementations for scaling model training across multiple graphics processors using data par

This repository is a collection of educational Jupyter notebooks designed to demonstrate practical machine learning and natural language processing techniques. It serves as a tutorial library for implementing statistical models and neural architectures to solve common linguistic analysis tasks through interactive, modular code execution. The project provides guided workflows for a wide range of applied tasks, including sentiment evaluation, named entity extraction, and document classification. It distinguishes itself by offering concrete implementations for complex operations such as probabil