9 रिपॉजिटरी
Developer-defined logic for reading specific raw data samples from storage into tensors.
Distinct from Data Loading Optimizations: Focuses on the logic of reading training samples from disk, not database fetch optimizations.
Explore 9 awesome GitHub repositories matching data & databases · Custom Dataset Loading. Refine with filters or upvote what's useful.
This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene
Provides custom class implementations to define how individual data samples are read from storage.
mmcv is a foundation library for computer vision based on PyTorch. It provides a comprehensive system for constructing convolutional neural networks, a toolkit for image and video preprocessing, and a collection of high-performance deep learning vision operators. The project is distinguished by its hardware-accelerated kernels for complex operations such as deformable convolutions and region pooling. It features a configuration-driven framework that allows for the dynamic instantiation of network layers and the registration of custom modules without modifying code. The library covers a broad
Implements logic for loading raw image files and corresponding annotations from disk into tensors for training.
Snorkel is a weak supervision system that enables users to programmatically generate training labels for machine learning models without manual annotation. At its core, it provides a framework for writing labeling functions as Python callables that each vote on data points, and then trains a probabilistic graphical model over these multiple weak supervision sources to estimate latent true labels without any ground truth data. The system automatically learns accuracy and correlation parameters between labeling functions by analyzing observed agreement patterns on unlabeled data, converting lab
Provides a framework for writing Python callables that vote on data points to programmatically label datasets.
GDAL एक MIT-लाइसेंस प्राप्त ओपन सोर्स ट्रांसलेटर लाइब्रेरी है जो सैकड़ों फ़ाइल प्रारूपों में भू-स्थानिक रैस्टर और वेक्टर डेटा को पढ़ने और लिखने के लिए एक एकीकृत अमूर्त डेटा मॉडल प्रदान करती है। यह एक मूलभूत भू-स्थानिक डेटा अनुवाद लाइब्रेरी के रूप में कार्य करती है, जो एक एकल, सुसंगत इंटरफेस के माध्यम से विविध भू-स्थानिक डेटा प्रारूपों तक पहुंच को सक्षम बनाती है। लाइब्रेरी अपनी मुख्य कार्यक्षमता को कमांड-लाइन यूटिलिटीज के माध्यम से उजागर करती है जो उपयोगकर्ताओं को प्रारूपों के बीच भू-स्थानिक डेटा का अनुवाद, रूपांतरण और प्रसंस्करण करने की अनुमति देती है। एक कोऑर्डिनेट ट्रांसफॉर्मेशन इंजन स्थानिक संदर्भ प्रणालियों के बीच रूपांतरणों को संभालता है, जबकि एक प्रारूप ड्राइवर प्लगइन सिस्टम रनटाइम पर प्रारूप-विशिष्ट पढ़ने और लिखने के लॉजिक को लोड करता है। वर्चुअल फ़ाइल सिस्टम लेयर स्थानीय फ़ाइलों, HTTP, क्लाउड स्टोरेज और संपीड़ित अभिलेखागार में समान I/O एक्सेस प्रदान करती है, और एक रैस्टर ब्लॉक कैश I/O ऑपरेशंस को कम करने के लिए इन-मेमोरी टाइल कैशिंग का प्रबंधन करता है। GDAL रैस्टर और वेक्टर भू-स्थानिक डेटा दोनों को पढ़ने और लिखने का समर्थन करता है, वेक्टर फीचर इटरेशन के साथ जो पूरे डेटासेट को मेमोरी में लोड किए बिना व्यक्तिगत रूप से सुविधाओं को स्ट्रीम करता है। यह प्रोजेक्ट अपने व्यापक प्रारूप समर्थन के माध्यम से विभिन्न भू-स्थानिक सॉफ्टवेयर पारिस्थितिकी प्रणालियों के बीच डेटा विनिमय का समर्थन करके क्रॉस-प्रारूप भू-स्थानिक इंटरऑपरेबिलिटी को सक्षम बनाता है।
Writes raster geospatial data to hundreds of file formats from a common in-memory model.
Anomalib is a PyTorch-based library for visual anomaly detection, offering a modular framework, a comprehensive model zoo, and a benchmarking suite designed for industrial defect detection. It provides a wide range of algorithms—including generative, discriminative, teacher-student, and vision-language approaches—that support unsupervised, few-shot, and zero-shot settings. The library enables deployment through model export to ONNX and OpenVINO for edge devices, and includes a no-code web application for training and inference. It also features a command-line interface for orchestrating multi
Anomalib loads image datasets from custom folders and standard formats, structuring them for model training and evaluation.
TorchGeo is a PyTorch library designed for deep learning on geospatial data, providing a framework for building and training neural networks for tasks such as semantic segmentation, object detection, and change detection. It serves as a comprehensive pipeline for remote sensing, featuring specialized dataset loaders and multispectral image preprocessing tools. The library is distinguished by a dedicated remote sensing model zoo and extensive support for transfer learning, allowing users to integrate pre-trained weights optimized for specific satellite sensors. It also includes support for sel
Implements specialized loading for raster files incorporating custom coordinate reference systems and band selection.
PyTorchZeroToAll डीप लर्निंग और PyTorch फ़्रेमवर्क पर केंद्रित एक शैक्षिक संसाधन और ट्यूटोरियल का संग्रह है। यह न्यूरल नेटवर्क आर्किटेक्चर को लागू करने के लिए एक स्ट्रक्चर्ड लर्निंग पाथ प्रदान करता है, जो बुनियादी भाषा सिंटैक्स और मूलभूत सिद्धांतों से लेकर जटिल मॉडल डिज़ाइन तक फैला है। प्रोजेक्ट लीनियर, लॉजिस्टिक, कन्वेन्शनल और रिकरेंट नेटवर्क सहित विभिन्न नेटवर्क प्रकार बनाने के लिए एक कार्यान्वयन गाइड के रूप में कार्य करती है। यह विशेष रूप से अटेंशन मैकेनिज्म और कैरेक्टर-लेवल नेटवर्क के उपयोग के माध्यम से सीक्वेंस मॉडलिंग के लिए वर्कफ़्लो को कवर करती है। संसाधन मशीन लर्निंग डेटा तैयारी को भी कवर करता है, जिसमें कस्टम डेटासेट लोडर, टेक्स्ट प्रोसेसिंग टूल, और ट्रेनिंग पाइपलाइन के लिए रॉ सोर्स फ़ाइलों का टेंसर में अनुवाद शामिल है।
Demonstrates how to implement custom dataset loading classes to translate raw files into PyTorch tensors.
mmpretrain is a modular PyTorch computer vision framework designed for developing, training, and benchmarking deep learning architectures. It serves as a comprehensive toolkit for vision tasks, providing a specialized platform for multimodal machine learning and self-supervised learning. The project features a computer vision model zoo containing architectural definitions and pre-trained weights for backbones such as ViT, ConvNeXt, and Swin Transformer. It distinguishes itself through a dedicated self-supervised learning toolkit that implements algorithms like MAE and DINO to train models wit
Implements logic for reading local images and labels from JSON, YAML, or Pickle formats into tensors.
This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen
Ships utilities for extracting labels from image filenames using custom functions or regex.