Awesome GitHub RepositoriesPyTorch Model Components

This is a PyTorch attention mechanism library and a collection of deep learning model components. It provides reference implementations of research-based attention mechanisms and neural network layers used to verify and understand deep learning papers. The project facilitates deep learning research implementation and attention mechanism prototyping to capture global and local dependencies within complex datasets. It includes tools for neural network architecture design, specifically for building custom model components. The library covers the development of multi-layer perceptrons, convoluti

Kornia is a differentiable computer vision library and cross-framework tensor vision toolset. It implements vision operations as differentiable tensors to enable integration into deep learning pipelines and supports the transpilation of operations across PyTorch, TensorFlow, JAX, and NumPy. The project provides specialized toolsets for geometric vision and stereo depth, including algorithms for 3D scene reconstruction, camera calibration, and pose estimation. It further distinguishes itself as a differentiable image augmentation framework, applying random geometric and color transformations w

This project is a Transformer machine translation model and attention-based neural network implemented using the PyTorch deep learning framework. It functions as a text-to-text translation tool designed to convert source sequences into target language text. The implementation focuses on neural machine translation, covering the development of sequence-to-sequence architectures. It includes the full pipeline for translation, from text sequence preprocessing and vocabulary creation to model training and text generation inference. The system incorporates standard transformer components such as a

This project is a pretrained model library for PyTorch, providing a collection of convolutional neural network architectures and weights. It serves as a computer vision model zoo for image classification and feature extraction, offering a framework for transfer learning where pretrained networks are adapted for custom image recognition tasks. The library focuses on transforming images into high-level numerical representations and calculating class probability scores. It includes utilities for downloading and initializing standard architectures such as ResNet, Inception, and Xception. Capabil

This project is a PyTorch vision transformer framework designed for self-supervised learning. It implements a model that trains visual representations using a momentum teacher and self-distillation without the need for labeled data. The library functions as an image feature extractor and visual attention visualizer, allowing for the generation of high-dimensional vectors and the rendering of self-attention maps as heatmaps or videos to analyze model focus. It provides comprehensive tools for downstream vision evaluation, including linear probe classification, k-nearest neighbor categorizatio

SlowFast is a PyTorch video understanding framework and spatiotemporal neural network library. It serves as a toolset for video action recognition, enabling the training and evaluation of models designed to classify complex activities and objects within video sequences. The framework is distinguished by its use of dual-pathway spatiotemporal sampling to capture both slow and fast motions. It supports self-supervised video learning for pre-training models on unlabeled data and employs multigrid spatiotemporal training to optimize learning across multiple spatial and temporal resolutions. The

DUSt3R is a geometric vision transformer model that predicts dense 3D pointmaps directly from one or more uncalibrated images, without requiring prior camera intrinsics, extrinsics, or known camera positions. Its core identity is an end-to-end approach to 3D reconstruction that bypasses traditional depth estimation and camera calibration pipelines, instead outputting metric-scale 3D coordinates from RGB inputs. The model processes image pairs through a shared dual-image encoder architecture, using cross-attention feature fusion in the decoder to merge features from two images into a unified p

Metaseq एक ट्रांसफॉर्मर सीक्वेंस मॉडलिंग टूलकिट है जिसे ओपन प्री-ट्रेंड वेट्स का उपयोग करके सीक्वेंस-टू-सीक्वेंस मॉडल को प्रशिक्षित करने, फाइन-ट्यून करने और डिप्लॉय करने के लिए डिज़ाइन किया गया है। यह बड़े भाषा मॉडल प्रशिक्षण के लिए एक व्यापक फ्रेमवर्क प्रदान करता है, जिसमें सीक्वेंस डेटासेट प्रोसेसिंग के लिए समर्पित टूल्स और API अनुरोधों के माध्यम से टेक्स्ट उत्पन्न करने के लिए एक स्टैंडअलोन इन्फरेंस सर्वर शामिल है। इस प्रोजेक्ट में पैरामीटर परिशुद्धता को आठ बिट्स तक कम करने के लिए मॉडल क्वांटिज़ेशन के लिए विशेष उपयोगिताएँ शामिल हैं, जो मेमोरी उपयोग को कम करती हैं और इन्फरेंस गति को बढ़ाती हैं। इसमें मॉडल वेट्स को उच्च-प्रदर्शन इन्फरेंस इंजन के लिए अनुकूलित संरचनाओं में बदलने के लिए एक चेकपॉइंट रूपांतरण पाइपलाइन भी शामिल है। फ्रेमवर्क टेंसर पैरेललिज़्म और शार्ड डेटा पैरेललिज़्म के उपयोग के माध्यम से GPU क्लस्टर में बड़े पैमाने पर प्रशिक्षण का समर्थन करता है। अतिरिक्त क्षमताओं में NLP डेटासेट तैयारी, ट्रांसफर लर्निंग के लिए प्री-ट्रेंड वेट लोडिंग, और प्रगति विज़ुअलाइज़ेशन के लिए प्रशिक्षण मेट्रिक्स ट्रैकिंग शामिल है।

The official PyTorch implementation of Google's Gemma models

यह प्रोजेक्ट PyTorch मॉडल कार्यान्वयन और कोड उदाहरणों से युक्त एक डीप लर्निंग शैक्षिक संसाधन है। यह टेंसर-आधारित गणना का उपयोग करके न्यूरल नेटवर्क बनाने, प्रशिक्षित करने और अनुकूलित करने के लिए कार्यात्मक Python स्क्रिप्ट और नोटबुक प्रदान करता है। रिपॉजिटरी में कस्टम नेटवर्क लेयर्स और लॉस फ़ंक्शंस को डिज़ाइन करने के कार्यान्वयन शामिल हैं, साथ ही ट्रांसफर लर्निंग वर्कफ़्लो के उदाहरण भी हैं जो विकास में तेज़ी लाने के लिए पूर्व-प्रशिक्षित मॉडल वेट लोड करते हैं। कोडबेस डीप लर्निंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है, जिसमें न्यूरल नेटवर्क प्रशिक्षण, कस्टम मॉडल घटक डिज़ाइन और डेटासेट में जटिल पैटर्न को पहचानने के लिए मल्टी-लेयर आर्किटेक्चर का कार्यान्वयन शामिल है।

mmaction2 एक PyTorch वीडियो अंडरस्टैंडिंग टूलबॉक्स है जिसे डीप लर्निंग मॉडल्स को प्रशिक्षित और मूल्यांकन करने के लिए डिज़ाइन किया गया है। यह एक्शन रिकग्निशन, टेम्पोरल लोकलाइजेशन और स्पैटियो-टेम्पोरल एक्शन डिटेक्शन के लिए एक फ्रेमवर्क के रूप में कार्य करता है, जो पिक्सेल-आधारित वीडियो विश्लेषण और कंकाल-आधारित एक्शन रिकग्निशन दोनों के लिए विशेष टूल्स प्रदान करता है। यह प्रोजेक्ट रजिस्ट्री-आधारित घटक खोज और पदानुक्रमित, कॉन्फ़िगरेशन-संचालित मॉडल असेंबली की विशेषता वाले मॉड्यूलर आर्किटेक्चर के माध्यम से खुद को अलग करता है। यह मल्टी-मोडल फीचर फ्यूजन का समर्थन करता है, RGB फ्रेम्स, ऑप्टिकल फ्लो और ऑडियो को एकीकृत करता है, और टेक्स्ट-टू-वीडियो क्लिप रिट्रीवल और ज़ीरो-शॉट वीडियो भविष्यवाणी के लिए क्षमताएं शामिल करता है। व्यापक रूप से, यह फ्रेमवर्क वीडियो डेटासेट इंजीनियरिंग को कवर करता है, जिसमें एनोटेशन मानकीकरण और फ्रेम सैंपलिंग, साथ ही व्यापक मॉडल प्रशिक्षण और मूल्यांकन शामिल है। यह डिस्ट्रीब्यूटेड प्रशिक्षण, नॉलेज डिस्टिलेशन और मॉडल रिपैरामीट्राइजेशन के माध्यम से इन्फरेंस ऑप्टिमाइज़ेशन के लिए यूटिलिटीज प्रदान करता है। कोडबेस विभिन्न कंप्यूट नोड्स में डिप्लॉयमेंट के लिए ONNX मॉडल एक्सपोर्ट और एनवायरनमेंट कंटेनरीकरण का समर्थन करता है।

This project is a comprehensive instructional resource and course for building neural networks using PyTorch. It covers the fundamental building blocks of deep learning, including tensor manipulation, automatic differentiation, and the construction of modular neural network components. The repository serves as a technical guide for several specialized domains. It provides implementation details for computer vision tasks such as image classification, object detection, and semantic segmentation, as well as natural language processing workflows involving transformers, recurrent networks, and gen

pytorch-summary, PyTorch न्यूरल नेटवर्क के लिए उपयोगिताओं का एक संग्रह है जिसे मॉडल सारांश उत्पन्न करने, मेमोरी आवश्यकताओं की गणना करने और लेयर-दर-लेयर टेंसर आकृतियों को विज़ुअलाइज़ करने के लिए डिज़ाइन किया गया है। यह एक रिपोर्टिंग उपकरण के रूप में कार्य करता है जो मॉडल डिबगिंग और निरीक्षण में सहायता के लिए नेटवर्क लेयर्स और आउटपुट आकृतियों का विस्तृत विवरण प्रदान करता है। यह प्रोजेक्ट इनपुट आयामों और पैरामीटर गणनाओं के आधार पर फॉरवर्ड और बैकवर्ड पास के कुल मेमोरी उपयोग का अनुमान लगाने के लिए विशेष क्षमताएं प्रदान करता है। यह आर्किटेक्चरल डिज़ाइन को सत्यापित करने और लेयर्स के बीच आयाम बेमेल की पहचान करने के लिए मॉडल संरचनाओं का मानव-पठनीय विज़ुअलाइज़ेशन उत्पन्न करता है। यह उपकरण रिकर्सिव मॉड्यूल ट्रैवर्सल, हुक-आधारित टेंसर ट्रैकिंग, और इनपुट-संचालित आकार अनुमान के माध्यम से संरचनात्मक विश्लेषण को लागू करता है। ये क्षमताएं पैरामीटर गणनाओं के एकत्रीकरण और क्रमिक ऑपरेशनों के बीच डेटा प्रवाह की मैपिंग की अनुमति देती हैं।

This project is a collection of deep learning research implementations and a reproduction kit designed to translate theoretical AI papers into working code. It provides a library of neural network architectures and reference implementations for reproducing seminal research concepts through interactive notebooks. The repository distinguishes itself through the implementation of AI theory and scaling laws, covering complexity dynamics, information theory, and the simulation of universal AI agents. It also includes a benchmarking suite for synthetic reasoning, allowing for the evaluation of mode

Graph Nets is a graph neural network library and educational toolkit implemented in PyTorch, providing implementations of popular graph representation learning algorithms and research papers. The project covers core graph machine learning tasks including semi-supervised node classification, inductive and unsupervised node embedding generation, and neighborhood feature aggregation. The library supports diverse algorithmic approaches for processing network structures, ranging from shared-parameter graph convolutions and attention-weighted neighborhood aggregation to spectral Chebyshev filtering