15 repository-uri
Standardized structures and schemas for organizing training data used in model development.
Explore 15 awesome GitHub repositories matching data & databases · Dataset Formats. Refine with filters or upvote what's useful.
Keras is a high-level deep learning API used to design, build, and train neural networks for tasks such as computer vision, natural language processing, and time series forecasting. It provides a framework for defining model architectures and optimizing weights through a structured interface. The project is defined by a backend-agnostic design that allows the same model code to run across different compute engines. This multi-backend execution enables users to swap underlying engines to optimize for specific hardware or performance requirements. The system supports distributed model training
Supports various standardized dataset formats for organizing training data used in model development.
GPT-SoVITS is a text-to-speech synthesis engine and voice cloning toolkit designed for generating natural-sounding human speech. It functions as a neural audio processing pipeline that maps input text to high-fidelity audio waveforms, utilizing conditional variational autoencoders and flow-based decoders to ensure expressive output. The platform distinguishes itself through its ability to perform few-shot voice cloning and cross-lingual speech generation, allowing users to maintain a specific speaker's vocal identity and emotional delivery across multiple languages. By employing cross-modal l
Defines standardized data structures for organizing and preparing audio training sets.
Supervision is a computer vision toolset for normalizing model outputs, managing datasets, and visualizing annotations. It provides a framework to convert predictions from various classification and detection models into a standardized data format to ensure interoperability across different computer vision pipelines. The library features a post-processor for filtering, counting, and tracking detected objects across image frames and video streams. It includes capabilities for large image tiling to improve the detection of small objects and tools for assigning persistent identities to objects t
Transforms computer vision datasets between different common formats to ensure compatibility between training and evaluation frameworks.
Detectron2 is a PyTorch computer vision framework and visual recognition platform designed for training and deploying models for object detection, image segmentation, and visual recognition. It provides a research-oriented environment for training complex vision models with multi-GPU acceleration. The project includes a specialized object detection library for identifying and locating multiple objects via bounding boxes, as well as an image segmentation toolkit for creating pixel-level masks through instance, semantic, and panoptic segmentation. Additionally, it features a human pose estimati
Provides tools to convert raw dataset annotations into formats required for instance, panoptic, or semantic segmentation.
Fairseq is a PyTorch toolkit for sequence-to-sequence modeling, specializing in neural machine translation, automatic speech recognition, and large-scale language model training. It provides a framework for processing and aligning diverse data sources, including text, audio, and video, to support tasks such as speech-to-text conversion and multimodal sequence learning. The project is distinguished by its distributed training capabilities, which utilize parameter sharding, mixed-precision training, and CPU offloading to handle models that exceed single-device memory. It also includes specializ
Processes raw text and alignment files into a binary format for efficient loading during training.
WeClone is an end-to-end framework designed for the creation, training, and deployment of personalized conversational AI digital twins. By fine-tuning large language models on individual chat history, the platform enables the replication of unique communication styles, speech patterns, and conversational habits. The system manages the entire lifecycle of these digital avatars, from initial data preparation to final integration into messaging platforms for real-time interaction. The platform distinguishes itself through a comprehensive suite of data processing utilities that prepare raw messag
Structures raw chat logs into coherent training sequences by grouping consecutive exchanges based on temporal proximity.
Presto is a distributed SQL query engine designed for high-performance analytical processing across heterogeneous data sources. It functions as a data federation platform and massively parallel processing engine, allowing users to execute interactive queries against diverse storage systems without requiring data migration. By mapping remote metadata and structures to a unified relational namespace, it enables seamless cross-platform analysis through a standard SQL interface. The engine distinguishes itself through a pluggable connector architecture and a shared-nothing distributed processing
Reads and writes data stored in columnar formats by mapping dataset fragments to parallel processing splits.
Labelme este un instrument de adnotare a imaginilor bazat pe Python, utilizat pentru a crea seturi de date de viziune computerizată. Acesta servește drept editor vizual pentru segmentarea semantică, permițând utilizatorilor să definească limitele obiectelor folosind poligoane, dreptunghiuri, puncte și cercuri. Aplicația funcționează și ca un adnotator de imagini multispectrale, suportând fișiere TIFF cu adâncime de biți ridicată utilizate în imagistica prin satelit și științifică. Instrumentul încorporează capabilități de etichetare asistată de AI pentru a automatiza crearea de măști și poligoane. Aceste funcții permit generarea de forme bazată pe prompturi text sau selecții interactive de puncte, care propun limite pe baza punctelor pozitive și negative plasate de utilizator. Software-ul acoperă o gamă largă de sarcini de gestionare și adnotare a datelor, inclusiv crearea de măști dense de pixeli, casete de delimitare rotite și secvențierea cadrelor video. Include un pipeline pentru traducerea persistenței stării JSON interne în formate standard de seturi de date precum COCO și Pascal VOC. Capabilitățile suplimentare includ indicatori de clasificare la nivel de imagine, instrumente de rafinare a geometriei și importul de imagini în lot.
Provides a pipeline for translating internal JSON annotation data into standard COCO and Pascal VOC formats.
PaddleDetection is an object detection framework designed for the end-to-end development, training, and deployment of computer vision models. It provides a comprehensive library of modular neural network architectures and pipelines that support object detection, instance segmentation, and multi-object tracking tasks. The project distinguishes itself through a configuration-driven approach that decouples model components like backbones and heads, allowing for the flexible assembly of custom vision workflows. It incorporates advanced techniques such as anchor-free detection logic, joint detecti
Implements parsing logic to load and register proprietary data formats for training.
MMSegmentation is an open-source semantic segmentation toolbox built on PyTorch that provides a modular, configurable framework for building, training, evaluating, and deploying segmentation models. At its core, it offers a config-driven pipeline that assembles training, evaluation, and inference workflows by parsing hierarchical configuration files, with a modular component registry that enables plug-and-play composition of neural network modules, optimizers, datasets, and metrics. The framework supports the full model lifecycle through a unified runner interface that controls training, testi
Transforms raw dataset annotations into the expected label format for training and evaluation.
X-AnyLabeling is an AI-assisted annotation platform and computer vision labeling tool. It provides an interface for annotating images and videos using polygons and rectangles to create training sets for machine learning models. The project distinguishes itself through the integration of external AI models via a plugin-based inference backend, allowing for automated generation of candidate labels and the execution of specialized tasks like pose estimation and object detection. It also functions as an optical character recognition tool for extracting text and layout information from document im
Provides utilities for translating computer vision annotations between various industry-standard formats to ensure cross-platform compatibility.
RF-DETR is a Python library for training and deploying object detection, instance segmentation, and keypoint detection models built on a vision transformer architecture. It provides a unified command-line interface and Python API for the full workflow, from fine-tuning pretrained checkpoints on custom datasets to running inference on images, video files, and live camera streams. The project supports training on datasets in COCO or YOLO format, with automatic format detection and configurable augmentation pipelines. Models can be exported to ONNX, TFLite, or TensorRT for deployment across edge
Transforms datasets between COCO and YOLO formats using the supervision library for interoperability.
Muzic este o platformă și un framework de deep learning pentru analiza, compoziția și sinteza muzicală bazată pe AI. Acesta funcționează ca un framework de generare muzicală și instrument de analiză, utilizând modele de limbaj mari și agenți autonomi pentru a orchestra crearea și interpretarea muzicii simbolice și audio. Proiectul se distinge prin capabilitățile sale cross-modal, mapând limbajul natural și muzica simbolică într-un spațiu de embedding comun pentru clasificare zero-shot și regăsirea informațiilor. Utilizează o varietate de arhitecturi specializate, inclusiv framework-uri de difuzie pentru sinteza audio, mecanisme de atenție dual-grain pentru consistența structurală a secvențelor lungi și un sistem hibrid care combină regulile teoriei muzicale cu rețelele neuronale. Platforma acoperă o gamă largă de capabilități, inclusiv generarea de secvențe MIDI din text și versuri, sinteza vocală neuronală și transcrierea automată a versurilor. De asemenea, oferă instrumente pentru modelarea structurii muzicale, generarea simbolică bazată pe atribute și orchestrarea instrumentelor muzicale externe prin agenți autonomi. Utilitarele de suport includ pipeline-uri de inginerie a datelor pentru binarizarea MIDI la scară largă, codificarea seturilor de date și procesarea semnalului audio pentru extragerea notelor melodice și alinierea vorbirii la foneme.
Transforms raw MIDI data into specialized binarized formats to optimize large-scale model training and inference.
mmocr este un framework de recunoaștere optică a caracterelor (OCR) bazat pe PyTorch, conceput pentru antrenarea și deployment-ul modelelor de detectare a textului, recunoaștere și extragere a informațiilor cheie. Servește ca un toolkit cuprinzător pentru detectarea și recunoașterea textului în scene, oferind biblioteci specializate pentru localizarea regiunilor de text și convertirea textului vizual în șiruri de caractere codificate de mașină. Proiectul se distinge printr-un framework de cercetare pentru extragerea informațiilor cheie și capabilități avansate de text spotting. Acestea includ spotting bazat pe puncte folosind transformatoare și utilizarea curbelor Bezier parametrizate pentru a identifica și transcrie text cu forme arbitrare. Framework-ul acoperă o suprafață largă de capabilități de viziune artificială, inclusiv gestionarea pipeline-ului de date pentru augmentarea și standardizarea seturilor de date OCR diverse, antrenarea modelelor cu scalare distribuită și evaluarea performanței folosind metrici OCR standard. Oferă, de asemenea, utilitare pentru manipularea poligoanelor geometrice și vizualizarea rezultatelor pentru auditarea predicțiilor față de adnotările ground truth. Sistemul este implementat în Python și suportă instalarea prin împachetarea mediului Docker.
Translates diverse dataset formats into a standardized internal representation for training and evaluation compatibility.
Acest proiect este o implementare de deep learning a arhitecturii RetinaNet pentru detectarea și clasificarea obiectelor în imagini. Construit ca un framework de detecție a obiectelor Keras și un instrument de computer vision TensorFlow, oferă o implementare completă de rețea neuronală bazată pe lucrarea RetinaNet. Framework-ul include componente specializate precum un Feature Pyramid Network și o funcție de pierdere focală (focal loss) pentru a gestiona detecția obiectelor. Dispune de o arhitectură backbone configurabilă și bounding boxes bazate pe ancore pentru a prezice locațiile obiectelor pe diferite scări și rapoarte de aspect. Toolset-ul acoperă fluxul de lucru end-to-end pentru computer vision, inclusiv rutine de antrenare, evaluarea performanței și deployment-ul inferenței modelului. Oferă utilitare de gestionare a datelor pentru importarea și depanarea adnotărilor de imagini din formatele CSV și Pascal VOC, precum și instrumente pentru conversia modelelor antrenate în diferite formate pentru deployment.
Transforms raw XML and CSV dataset annotations into standardized label formats required for training.