awesome-repositories.com
ब्लॉग
awesome-repositories.com

AI-संचालित खोज के साथ बेहतरीन ओपन-सोर्स रिपॉजिटरी खोजें।

एक्सप्लोर करेंक्यूरेटेड खोजेंओपन-सोर्स विकल्पसेल्फ-होस्टेड सॉफ्टवेयरब्लॉगसाइटमैप
प्रोजेक्टहमारे बारे मेंहम रैंकिंग कैसे करते हैंप्रेसMCP सर्वर
कानूनीगोपनीयताशर्तें
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

15 रिपॉजिटरी

Awesome GitHub RepositoriesDataset Formats

Standardized structures and schemas for organizing training data used in model development.

Explore 15 awesome GitHub repositories matching data & databases · Dataset Formats. Refine with filters or upvote what's useful.

Awesome Dataset Formats GitHub Repositories

AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
  • fchollet/kerasfchollet का अवतार

    fchollet/keras

    64,095GitHub पर देखें↗

    Keras is a high-level deep learning API used to design, build, and train neural networks for tasks such as computer vision, natural language processing, and time series forecasting. It provides a framework for defining model architectures and optimizing weights through a structured interface. The project is defined by a backend-agnostic design that allows the same model code to run across different compute engines. This multi-backend execution enables users to swap underlying engines to optimize for specific hardware or performance requirements. The system supports distributed model training

    Supports various standardized dataset formats for organizing training data used in model development.

    Python
    GitHub पर देखें↗64,095
  • rvc-boss/gpt-sovitsRVC-Boss का अवतार

    RVC-Boss/GPT-SoVITS

    58,724GitHub पर देखें↗

    GPT-SoVITS is a text-to-speech synthesis engine and voice cloning toolkit designed for generating natural-sounding human speech. It functions as a neural audio processing pipeline that maps input text to high-fidelity audio waveforms, utilizing conditional variational autoencoders and flow-based decoders to ensure expressive output. The platform distinguishes itself through its ability to perform few-shot voice cloning and cross-lingual speech generation, allowing users to maintain a specific speaker's vocal identity and emotional delivery across multiple languages. By employing cross-modal l

    Defines standardized data structures for organizing and preparing audio training sets.

    Pythontext-to-speechttsvits
    GitHub पर देखें↗58,724
  • roboflow/supervisionroboflow का अवतार

    roboflow/supervision

    44,437GitHub पर देखें↗

    Supervision is a computer vision toolset for normalizing model outputs, managing datasets, and visualizing annotations. It provides a framework to convert predictions from various classification and detection models into a standardized data format to ensure interoperability across different computer vision pipelines. The library features a post-processor for filtering, counting, and tracking detected objects across image frames and video streams. It includes capabilities for large image tiling to improve the detection of small objects and tools for assigning persistent identities to objects t

    Transforms computer vision datasets between different common formats to ensure compatibility between training and evaluation frameworks.

    Pythonclassificationcococomputer-vision
    GitHub पर देखें↗44,437
  • facebookresearch/detectron2facebookresearch का अवतार

    facebookresearch/detectron2

    34,548GitHub पर देखें↗

    Detectron2 is a PyTorch computer vision framework and visual recognition platform designed for training and deploying models for object detection, image segmentation, and visual recognition. It provides a research-oriented environment for training complex vision models with multi-GPU acceleration. The project includes a specialized object detection library for identifying and locating multiple objects via bounding boxes, as well as an image segmentation toolkit for creating pixel-level masks through instance, semantic, and panoptic segmentation. Additionally, it features a human pose estimati

    Provides tools to convert raw dataset annotations into formats required for instance, panoptic, or semantic segmentation.

    Python
    GitHub पर देखें↗34,548
  • facebookresearch/fairseqfacebookresearch का अवतार

    facebookresearch/fairseq

    32,228GitHub पर देखें↗

    Fairseq is a PyTorch toolkit for sequence-to-sequence modeling, specializing in neural machine translation, automatic speech recognition, and large-scale language model training. It provides a framework for processing and aligning diverse data sources, including text, audio, and video, to support tasks such as speech-to-text conversion and multimodal sequence learning. The project is distinguished by its distributed training capabilities, which utilize parameter sharding, mixed-precision training, and CPU offloading to handle models that exceed single-device memory. It also includes specializ

    Processes raw text and alignment files into a binary format for efficient loading during training.

    Python
    GitHub पर देखें↗32,228
  • xming521/weclonexming521 का अवतार

    xming521/WeClone

    18,028GitHub पर देखें↗

    WeClone is an end-to-end framework designed for the creation, training, and deployment of personalized conversational AI digital twins. By fine-tuning large language models on individual chat history, the platform enables the replication of unique communication styles, speech patterns, and conversational habits. The system manages the entire lifecycle of these digital avatars, from initial data preparation to final integration into messaging platforms for real-time interaction. The platform distinguishes itself through a comprehensive suite of data processing utilities that prepare raw messag

    Structures raw chat logs into coherent training sequences by grouping consecutive exchanges based on temporal proximity.

    Pythonchat-historydigital-avatarllm
    GitHub पर देखें↗18,028
  • prestodb/prestoprestodb का अवतार

    prestodb/presto

    16,711GitHub पर देखें↗

    Presto is a distributed SQL query engine designed for high-performance analytical processing across heterogeneous data sources. It functions as a data federation platform and massively parallel processing engine, allowing users to execute interactive queries against diverse storage systems without requiring data migration. By mapping remote metadata and structures to a unified relational namespace, it enables seamless cross-platform analysis through a standard SQL interface. The engine distinguishes itself through a pluggable connector architecture and a shared-nothing distributed processing

    Reads and writes data stored in columnar formats by mapping dataset fragments to parallel processing splits.

    Javabig-datadatahadoop
    GitHub पर देखें↗16,711
  • wkentaro/labelmewkentaro का अवतार

    wkentaro/labelme

    15,984GitHub पर देखें↗

    Labelme कंप्यूटर विज़न डेटासेट बनाने के लिए उपयोग किया जाने वाला एक Python-आधारित इमेज एनोटेशन टूल है। यह सिमेंटिक सेगमेंटेशन के लिए एक विज़ुअल एडिटर के रूप में कार्य करता है, जो उपयोगकर्ताओं को बहुभुज, आयत, बिंदु और वृत्तों का उपयोग करके ऑब्जेक्ट सीमाओं को परिभाषित करने की अनुमति देता है। एप्लिकेशन एक मल्टीस्पेक्ट्रल इमेज एनोटेटर के रूप में भी कार्य करता है, जो उपग्रह और वैज्ञानिक इमेजरी में उपयोग की जाने वाली उच्च-बिट गहराई वाली TIFF फ़ाइलों का समर्थन करता है। यह टूल मास्क और बहुभुज के निर्माण को स्वचालित करने के लिए AI-सहायता प्राप्त लेबलिंग क्षमताओं को शामिल करता है। ये विशेषताएं टेक्स्ट प्रॉम्प्ट या इंटरैक्टिव पॉइंट चयन द्वारा संचालित आकार निर्माण की अनुमति देती हैं, जो उपयोगकर्ता द्वारा रखे गए सकारात्मक और नकारात्मक बिंदुओं के आधार पर सीमाओं का प्रस्ताव करती हैं। सॉफ्टवेयर डेटा प्रबंधन और एनोटेशन कार्यों की एक विस्तृत श्रृंखला को कवर करता है, जिसमें घने पिक्सेल मास्क, रोटेटेड बाउंडिंग बॉक्स और वीडियो फ्रेम अनुक्रमण का निर्माण शामिल है। इसमें आंतरिक JSON स्थिति दृढ़ता को COCO और Pascal VOC जैसे मानक डेटासेट प्रारूपों में अनुवाद करने के लिए एक पाइपलाइन शामिल है। अतिरिक्त क्षमताओं में इमेज-लेवल वर्गीकरण फ्लैग, ज्यामिति परिशोधन उपकरण और बैच इमेज आयात शामिल हैं।

    Provides a pipeline for translating internal JSON annotation data into standard COCO and Pascal VOC formats.

    Python
    GitHub पर देखें↗15,984
  • paddlepaddle/paddledetectionPaddlePaddle का अवतार

    PaddlePaddle/PaddleDetection

    14,243GitHub पर देखें↗

    PaddleDetection is an object detection framework designed for the end-to-end development, training, and deployment of computer vision models. It provides a comprehensive library of modular neural network architectures and pipelines that support object detection, instance segmentation, and multi-object tracking tasks. The project distinguishes itself through a configuration-driven approach that decouples model components like backbones and heads, allowing for the flexible assembly of custom vision workflows. It incorporates advanced techniques such as anchor-free detection logic, joint detecti

    Implements parsing logic to load and register proprietary data formats for training.

    Pythonblazefacedeepsortdetr
    GitHub पर देखें↗14,243
  • open-mmlab/mmsegmentationopen-mmlab का अवतार

    open-mmlab/mmsegmentation

    9,860GitHub पर देखें↗

    MMSegmentation is an open-source semantic segmentation toolbox built on PyTorch that provides a modular, configurable framework for building, training, evaluating, and deploying segmentation models. At its core, it offers a config-driven pipeline that assembles training, evaluation, and inference workflows by parsing hierarchical configuration files, with a modular component registry that enables plug-and-play composition of neural network modules, optimizers, datasets, and metrics. The framework supports the full model lifecycle through a unified runner interface that controls training, testi

    Transforms raw dataset annotations into the expected label format for training and evaluation.

    Pythondeeplabv3image-segmentationmedical-image-segmentation
    GitHub पर देखें↗9,860
  • cvhub520/x-anylabelingCVHub520 का अवतार

    CVHub520/X-AnyLabeling

    8,193GitHub पर देखें↗

    X-AnyLabeling is an AI-assisted annotation platform and computer vision labeling tool. It provides an interface for annotating images and videos using polygons and rectangles to create training sets for machine learning models. The project distinguishes itself through the integration of external AI models via a plugin-based inference backend, allowing for automated generation of candidate labels and the execution of specialized tasks like pose estimation and object detection. It also functions as an optical character recognition tool for extracting text and layout information from document im

    Provides utilities for translating computer vision annotations between various industry-standard formats to ensure cross-platform compatibility.

    Pythonartificial-intelligenceclipcomputer-vision
    GitHub पर देखें↗8,193
  • roboflow/rf-detrroboflow का अवतार

    roboflow/rf-detr

    5,643GitHub पर देखें↗

    RF-DETR is a Python library for training and deploying object detection, instance segmentation, and keypoint detection models built on a vision transformer architecture. It provides a unified command-line interface and Python API for the full workflow, from fine-tuning pretrained checkpoints on custom datasets to running inference on images, video files, and live camera streams. The project supports training on datasets in COCO or YOLO format, with automatic format detection and configurable augmentation pipelines. Models can be exported to ONNX, TFLite, or TensorRT for deployment across edge

    Transforms datasets between COCO and YOLO formats using the supervision library for interoperability.

    Pythoncomputer-visiondetrinstance-segmentation
    GitHub पर देखें↗5,643
  • microsoft/muzicmicrosoft का अवतार

    microsoft/muzic

    4,928GitHub पर देखें↗

    Muzic AI-संचालित संगीत विश्लेषण, रचना और संश्लेषण के लिए एक डीप लर्निंग प्लेटफ़ॉर्म और फ्रेमवर्क है। यह एक संगीत जनरेशन फ्रेमवर्क और विश्लेषण टूल के रूप में कार्य करता है, जो प्रतीकात्मक और ऑडियो संगीत के निर्माण और व्याख्या को व्यवस्थित करने के लिए बड़े भाषा मॉडल्स और स्वायत्त एजेंटों का उपयोग करता है। यह प्रोजेक्ट अपनी क्रॉस-मॉडल क्षमताओं द्वारा प्रतिष्ठित है, जो ज़ीरो-शॉट वर्गीकरण और सूचना पुनर्प्राप्ति के लिए प्राकृतिक भाषा और प्रतीकात्मक संगीत को एक साझा संयुक्त एम्बेडिंग स्पेस में मैप करता है। यह विभिन्न प्रकार के विशेष आर्किटेक्चर को नियोजित करता है, जिसमें ऑडियो संश्लेषण के लिए डिफ्यूज़न फ्रेमवर्क, लंबी-अनुक्रम संरचनात्मक स्थिरता के लिए डुअल-ग्रेन अटेंशन मैकेनिज्म और एक हाइब्रिड सिस्टम शामिल है जो न्यूरल नेटवर्क के साथ संगीत सिद्धांत नियमों को जोड़ता है। यह प्लेटफ़ॉर्म टेक्स्ट और लिरिक्स से MIDI अनुक्रमों के निर्माण, न्यूरल सिंगिंग वॉयस सिंथेसिस और स्वचालित लिरिक्स ट्रांसक्रिप्शन सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह संगीत संरचना मॉडलिंग, विशेषता-आधारित प्रतीकात्मक जनरेशन और स्वायत्त एजेंटों के माध्यम से बाहरी संगीत टूल्स के ऑर्केस्ट्रेशन के लिए टूल्स भी प्रदान करता है। सहायक यूटिलिटीज में बड़े पैमाने पर MIDI बाइनराइजेशन, डेटासेट एन्कोडिंग और मेलोडी नोट निष्कर्षण और स्पीच-टू-फोनम एलाइनमेंट के लिए ऑडियो सिग्नल प्रोसेसिंग के लिए डेटा इंजीनियरिंग पाइपलाइन शामिल हैं।

    Transforms raw MIDI data into specialized binarized formats to optimize large-scale model training and inference.

    Pythonai-musicdeep-learningmusic
    GitHub पर देखें↗4,928
  • open-mmlab/mmocropen-mmlab का अवतार

    open-mmlab/mmocr

    4,739GitHub पर देखें↗

    mmocr एक PyTorch-आधारित ऑप्टिकल कैरेक्टर रिकग्निशन फ्रेमवर्क है जिसे टेक्स्ट डिटेक्शन, रिकग्निशन और की-इन्फॉर्मेशन एक्सट्रैक्शन मॉडल्स को ट्रेन और डिप्लॉय करने के लिए डिज़ाइन किया गया है। यह सीन टेक्स्ट डिटेक्शन और रिकग्निशन के लिए एक व्यापक टूलबॉक्स के रूप में कार्य करता है, जो टेक्स्ट क्षेत्रों का पता लगाने और विज़ुअल टेक्स्ट को मशीन-एन्कोडेड स्ट्रिंग्स में बदलने के लिए विशेष लाइब्रेरीज़ प्रदान करता है। यह प्रोजेक्ट की-इन्फॉर्मेशन एक्सट्रैक्शन और उन्नत टेक्स्ट स्पॉटिंग क्षमताओं के लिए एक रिसर्च फ्रेमवर्क के माध्यम से अलग है। इनमें ट्रांसफॉर्मर्स का उपयोग करके पॉइंट-आधारित स्पॉटिंग और मनमाने ढंग से आकार के टेक्स्ट की पहचान और ट्रांसक्रिप्शन के लिए पैरामीटराइज़्ड बेज़ियर कर्व्स का उपयोग शामिल है। यह फ्रेमवर्क कंप्यूटर विज़न क्षमताओं की एक विस्तृत सतह को कवर करता है, जिसमें विविध OCR डेटासेट्स को बढ़ाने और मानकीकृत करने के लिए डेटा पाइपलाइन मैनेजमेंट, डिस्ट्रीब्यूटेड स्केलिंग के साथ मॉडल ट्रेनिंग, और स्टैंडर्ड OCR मेट्रिक्स का उपयोग करके परफॉरमेंस मूल्यांकन शामिल है। यह ग्राउंड ट्रुथ एनोटेशन के खिलाफ भविष्यवाणियों का ऑडिट करने के लिए ज्यामितीय बहुभुज हेरफेर और परिणाम विज़ुअलाइज़ेशन के लिए यूटिलिटीज भी प्रदान करता है। यह सिस्टम Python में लागू किया गया है और Docker वातावरण पैकेजिंग के माध्यम से इंस्टॉलेशन का समर्थन करता है।

    Translates diverse dataset formats into a standardized internal representation for training and evaluation compatibility.

    Pythonabcnetabinetcrnn
    GitHub पर देखें↗4,739
  • fizyr/keras-retinanetfizyr का अवतार

    fizyr/keras-retinanet

    4,388GitHub पर देखें↗

    This project is a deep learning implementation of the RetinaNet architecture for detecting and classifying objects within images. Built as a Keras object detection framework and a TensorFlow computer vision tool, it provides a complete neural network implementation based on the RetinaNet paper. The framework includes specialized components such as a Feature Pyramid Network and a focal loss function to handle object detection. It features a configurable backbone architecture and anchor-based bounding boxes to predict object locations across varying scales and aspect ratios. The toolset covers

    Transforms raw XML and CSV dataset annotations into standardized label formats required for training.

    Python
    GitHub पर देखें↗4,388
  1. Home
  2. Data & Databases
  3. Data Processing Pipelines
  4. Data Processing
  5. Dataset Formats

सब-टैग एक्सप्लोर करें

  • Annotation ConvertersTools for transforming external annotation formats into standardized structures for training and evaluation. **Distinct from Dataset Formats:** Distinct from Dataset Formats: focuses on the conversion logic for annotations specifically, rather than the schema definition.
  • Annotation Format ConvertersTransforms raw dataset annotations into standardized label formats required for training and evaluation. **Distinct from Dataset Formats:** Distinct from Dataset Formats: focuses on converting annotation formats, not on defining dataset schemas.
  • BinarizedBinary representations of datasets optimized for high-speed loading during model training. **Distinct from Dataset Formats:** Specifically covers the conversion of text to binary for training efficiency, not temporal sequence formatting.
  • Columnar Dataset QueryingQuerying capabilities for columnar dataset formats by mapping fragments to parallel processing splits. **Distinct from Dataset Formats:** Distinct from Dataset Formats: focuses on the query execution mechanism for columnar datasets rather than the format definition.
  • Temporal Sequence FormattingUtilities for structuring raw message logs into coherent training sequences based on temporal proximity. **Distinct from Dataset Formats:** Distinct from general dataset formats: focuses specifically on temporal alignment of chat exchanges for training.
  • Vision Dataset ConvertersTools for transforming computer vision datasets between common formats to ensure model compatibility. **Distinct from Dataset Formats:** Specifically targets image/video dataset formats rather than general ML dataset schemas.