Awesome GitHub RepositoriesEvaluation Metrics

Fairseq is a PyTorch toolkit for sequence-to-sequence modeling, specializing in neural machine translation, automatic speech recognition, and large-scale language model training. It provides a framework for processing and aligning diverse data sources, including text, audio, and video, to support tasks such as speech-to-text conversion and multimodal sequence learning. The project is distinguished by its distributed training capabilities, which utilize parameter sharding, mixed-precision training, and CPU offloading to handle models that exceed single-device memory. It also includes specializ

This PyTorch-based deep learning library provides a framework for analyzing and forecasting temporal data. It implements specialized architectures for time series forecasting, anomaly detection, data imputation, and classification. The project distinguishes itself through the inclusion of zero-shot inference capabilities, allowing large-scale temporal models to be evaluated on unseen datasets without requiring task-specific fine-tuning. The framework covers a broad range of analytical capabilities, including the recovery of missing values in incomplete datasets, the identification of irregul

This project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque

MMSegmentation is an open-source semantic segmentation toolbox built on PyTorch that provides a modular, configurable framework for building, training, evaluating, and deploying segmentation models. At its core, it offers a config-driven pipeline that assembles training, evaluation, and inference workflows by parsing hierarchical configuration files, with a modular component registry that enables plug-and-play composition of neural network modules, optimizers, datasets, and metrics. The framework supports the full model lifecycle through a unified runner interface that controls training, testi

This project provides a collection of reference implementations, architectural patterns, and SDK samples for building autonomous agents using large language models. It serves as a multi-language framework for implementing and deploying specialized AI agents across diverse programming environments. The system centers on an orchestration framework that combines deterministic code with adaptive reasoning through structured graph workflows. It utilizes schema-driven integration to connect agents with third-party applications and diverse AI models. The development lifecycle is supported by toolki

DeepPavlov is a deep learning conversational AI framework designed for building end-to-end dialog systems and chatbots. It functions as an NLP model training library and a pipeline system that connects multiple natural language processing models into a single operational chain. The framework provides a REST API model server to expose trained deep learning models as web endpoints. This allows conversational agents to be deployed as web services that handle incoming HTTP requests and return predictions. The system covers the full lifecycle of conversational AI development, including NLP pipeli

OpenCompass is an open-source framework for standardized benchmarking of large language models. It provides a configurable evaluation pipeline that supports both objective and subjective assessment, using a dual-engine architecture to handle closed-form answer comparison and open-ended response rating. The framework is designed as a modular platform where datasets, models, and metrics are composed through declarative YAML configuration files. The framework distinguishes itself through its extensible model integration layer, which supports custom models, HuggingFace models, and third-party API

MMF is a modular framework for building, training, and evaluating vision-and-language models. It provides a configuration-driven experiment system where model, dataset, and training parameters are defined through composable YAML files, alongside a curated model zoo of pretrained checkpoints for state-of-the-art multimodal architectures. The framework includes a multimodal dataset loader that downloads, processes, and batches vision-and-language data, and a vision-language model trainer supporting distributed training, mixed precision, and checkpoint-based resumption. The framework distinguish

GluonTS एक प्रोबेबिलिस्टिक टाइम सीरीज़ लाइब्रेरी और डीप लर्निंग फोरकास्टिंग फ्रेमवर्क है। यह न्यूरल नेटवर्क आर्किटेक्चर बनाने, प्रशिक्षित करने और मूल्यांकन करने के लिए एक टूलकिट प्रदान करता है, जो अनिश्चितता को मापने के लिए भविष्य के मूल्यों को प्रायिकता वितरण (probability distributions) के रूप में अनुमानित करते हैं। यह प्रोजेक्ट ज़ीरो-शॉट फोरकास्टिंग का समर्थन करके और डीप प्रोबेबिलिस्टिक न्यूरल नेटवर्क तथा Prophet और R forecast जैसी बाहरी सांख्यिकीय लाइब्रेरी के लिए रैपर सहित विविध मॉडलिंग दृष्टिकोणों को एकीकृत करके खुद को अलग करता है। यह सूचना रिसाव को रोकने और लेटेंट रिप्रेजेंटेशन को वैध प्रायिकता वितरण में मैप करने के लिए कैज़ुअल कन्वोल्यूशन और इनवर्टिबल रेसिड्यूअल नेटवर्क जैसे विशेष आर्किटेक्चरल प्रिमिटिव्स को लागू करता है। यह फ्रेमवर्क टाइम सीरीज़ स्केलिंग, बाइजेक्टिव ट्रांसफॉर्मेशन और पदानुक्रमित मॉडलिंग सहित एक व्यापक डेटा इंजीनियरिंग सतह को कवर करता है। यह उच्च-प्रदर्शन डेटासेट स्ट्रीमिंग और रैंडम-एक्सेस प्रबंधन के लिए Apache Arrow और Parquet का उपयोग करता है। मॉडल मूल्यांकन के लिए, इसमें क्वांटाइल लॉस और कंटीन्यूअस रैंक प्रोबेबिलिटी स्कोर जैसे मेट्रिक्स का उपयोग करके पूर्वानुमान सटीकता और प्रोबेबिलिस्टिक कवरेज को मापने के लिए एक मूल्यांकन सूट शामिल है। यह लाइब्रेरी Amazon SageMaker के साथ एकीकरण के माध्यम से मॉडल परिनियोजन (deployment) का समर्थन करती है।

GluonTS, प्रोबेबिलिस्टिक टाइम सीरीज़ फोरकास्टिंग के लिए एक फ्रेमवर्क है, जिसे भविष्य के मूल्यों की भविष्यवाणी कॉन्फिडेंस इंटरवल्स के साथ प्रायिकता वितरण (probability distributions) के रूप में करने के लिए डिज़ाइन किया गया है। यह पारंपरिक मॉडल प्रशिक्षण और ज़ीरो-शॉट फोरकास्टिंग दोनों को सपोर्ट करता है, जहाँ प्रीट्रेन्ड मॉडल्स अतिरिक्त प्रशिक्षण के बिना नई सीरीज़ के लिए भविष्यवाणियां उत्पन्न करते हैं। प्रोजेक्ट विभिन्न प्रकार के फोरकास्टिंग दृष्टिकोणों को एक यूनिफाइड वर्कफ़्लो में इंटीग्रेट करके अलग है। इसमें रिकरेंट न्यूरल नेटवर्क्स और कैज़ुअल कन्वेल्शन्स जैसे डीप लर्निंग आर्किटेक्चर, साथ ही बाहरी सांख्यिकीय मॉडल्स, Prophet लाइब्रेरी और R पैकेजेस का इंटीग्रेशन शामिल है। टूलकिट टाइम सीरीज़ डेटा इंजीनियरिंग के लिए एक व्यापक सतह प्रदान करती है, जिसमें डेटासेट स्केलिंग, स्प्लिटिंग और रॉ टेम्पोरल डेटा को टेंसर्स में बदलना शामिल है। यह फोरकास्ट सटीकता और अनिश्चितता अंतराल को मापने के लिए मूल्यांकन टूल्स का एक सूट भी शामिल करती है।

mmocr एक PyTorch-आधारित ऑप्टिकल कैरेक्टर रिकग्निशन फ्रेमवर्क है जिसे टेक्स्ट डिटेक्शन, रिकग्निशन और की-इन्फॉर्मेशन एक्सट्रैक्शन मॉडल्स को ट्रेन और डिप्लॉय करने के लिए डिज़ाइन किया गया है। यह सीन टेक्स्ट डिटेक्शन और रिकग्निशन के लिए एक व्यापक टूलबॉक्स के रूप में कार्य करता है, जो टेक्स्ट क्षेत्रों का पता लगाने और विज़ुअल टेक्स्ट को मशीन-एन्कोडेड स्ट्रिंग्स में बदलने के लिए विशेष लाइब्रेरीज़ प्रदान करता है। यह प्रोजेक्ट की-इन्फॉर्मेशन एक्सट्रैक्शन और उन्नत टेक्स्ट स्पॉटिंग क्षमताओं के लिए एक रिसर्च फ्रेमवर्क के माध्यम से अलग है। इनमें ट्रांसफॉर्मर्स का उपयोग करके पॉइंट-आधारित स्पॉटिंग और मनमाने ढंग से आकार के टेक्स्ट की पहचान और ट्रांसक्रिप्शन के लिए पैरामीटराइज़्ड बेज़ियर कर्व्स का उपयोग शामिल है। यह फ्रेमवर्क कंप्यूटर विज़न क्षमताओं की एक विस्तृत सतह को कवर करता है, जिसमें विविध OCR डेटासेट्स को बढ़ाने और मानकीकृत करने के लिए डेटा पाइपलाइन मैनेजमेंट, डिस्ट्रीब्यूटेड स्केलिंग के साथ मॉडल ट्रेनिंग, और स्टैंडर्ड OCR मेट्रिक्स का उपयोग करके परफॉरमेंस मूल्यांकन शामिल है। यह ग्राउंड ट्रुथ एनोटेशन के खिलाफ भविष्यवाणियों का ऑडिट करने के लिए ज्यामितीय बहुभुज हेरफेर और परिणाम विज़ुअलाइज़ेशन के लिए यूटिलिटीज भी प्रदान करता है। यह सिस्टम Python में लागू किया गया है और Docker वातावरण पैकेजिंग के माध्यम से इंस्टॉलेशन का समर्थन करता है।

This project is a comprehensive educational resource and tutorial handbook for building, training, and deploying machine learning models using TensorFlow 2. It serves as a structured learning guide covering core deep learning concepts, including neural network architectures, automatic differentiation, and tensor operations. The handbook provides technical guidance on optimizing execution efficiency through GPU memory management, distributed training, and model quantization. It also includes detailed manuals for constructing high-performance data pipelines and exporting models for production s

This project is a machine learning toolkit designed for the development, training, and deployment of automatic speech recognition engines. It provides a comprehensive framework for converting spoken audio into written text, specifically supporting models trained on Mandarin and English datasets. The library utilizes an end-to-end neural architecture that processes raw audio input directly into character sequences, bypassing the need for intermediate linguistic alignment. It incorporates signal processing techniques to transform sound waves into numerical spectrograms and feature vectors, whic