15 مستودعات
Standardized structures and schemas for organizing training data used in model development.
Explore 15 awesome GitHub repositories matching data & databases · Dataset Formats. Refine with filters or upvote what's useful.
Keras is a high-level deep learning API used to design, build, and train neural networks for tasks such as computer vision, natural language processing, and time series forecasting. It provides a framework for defining model architectures and optimizing weights through a structured interface. The project is defined by a backend-agnostic design that allows the same model code to run across different compute engines. This multi-backend execution enables users to swap underlying engines to optimize for specific hardware or performance requirements. The system supports distributed model training
Supports various standardized dataset formats for organizing training data used in model development.
GPT-SoVITS is a text-to-speech synthesis engine and voice cloning toolkit designed for generating natural-sounding human speech. It functions as a neural audio processing pipeline that maps input text to high-fidelity audio waveforms, utilizing conditional variational autoencoders and flow-based decoders to ensure expressive output. The platform distinguishes itself through its ability to perform few-shot voice cloning and cross-lingual speech generation, allowing users to maintain a specific speaker's vocal identity and emotional delivery across multiple languages. By employing cross-modal l
Defines standardized data structures for organizing and preparing audio training sets.
Supervision is a computer vision toolset for normalizing model outputs, managing datasets, and visualizing annotations. It provides a framework to convert predictions from various classification and detection models into a standardized data format to ensure interoperability across different computer vision pipelines. The library features a post-processor for filtering, counting, and tracking detected objects across image frames and video streams. It includes capabilities for large image tiling to improve the detection of small objects and tools for assigning persistent identities to objects t
Transforms computer vision datasets between different common formats to ensure compatibility between training and evaluation frameworks.
Detectron2 is a PyTorch computer vision framework and visual recognition platform designed for training and deploying models for object detection, image segmentation, and visual recognition. It provides a research-oriented environment for training complex vision models with multi-GPU acceleration. The project includes a specialized object detection library for identifying and locating multiple objects via bounding boxes, as well as an image segmentation toolkit for creating pixel-level masks through instance, semantic, and panoptic segmentation. Additionally, it features a human pose estimati
Provides tools to convert raw dataset annotations into formats required for instance, panoptic, or semantic segmentation.
Fairseq is a PyTorch toolkit for sequence-to-sequence modeling, specializing in neural machine translation, automatic speech recognition, and large-scale language model training. It provides a framework for processing and aligning diverse data sources, including text, audio, and video, to support tasks such as speech-to-text conversion and multimodal sequence learning. The project is distinguished by its distributed training capabilities, which utilize parameter sharding, mixed-precision training, and CPU offloading to handle models that exceed single-device memory. It also includes specializ
Processes raw text and alignment files into a binary format for efficient loading during training.
WeClone is an end-to-end framework designed for the creation, training, and deployment of personalized conversational AI digital twins. By fine-tuning large language models on individual chat history, the platform enables the replication of unique communication styles, speech patterns, and conversational habits. The system manages the entire lifecycle of these digital avatars, from initial data preparation to final integration into messaging platforms for real-time interaction. The platform distinguishes itself through a comprehensive suite of data processing utilities that prepare raw messag
Structures raw chat logs into coherent training sequences by grouping consecutive exchanges based on temporal proximity.
Presto is a distributed SQL query engine designed for high-performance analytical processing across heterogeneous data sources. It functions as a data federation platform and massively parallel processing engine, allowing users to execute interactive queries against diverse storage systems without requiring data migration. By mapping remote metadata and structures to a unified relational namespace, it enables seamless cross-platform analysis through a standard SQL interface. The engine distinguishes itself through a pluggable connector architecture and a shared-nothing distributed processing
Reads and writes data stored in columnar formats by mapping dataset fragments to parallel processing splits.
Labelme هي أداة تعليق صور تعتمد على Python تُستخدم لإنشاء مجموعات بيانات الرؤية الحاسوبية. تعمل كمحرر مرئي للتقسيم الدلالي، مما يسمح للمستخدمين بتحديد حدود الكائنات باستخدام المضلعات والمستطيلات والنقاط والدوائر. يعمل التطبيق أيضاً كمعلق صور متعدد الأطياف، ويدعم ملفات TIFF ذات العمق العالي المستخدمة في صور الأقمار الصناعية والصور العلمية. تتضمن الأداة قدرات تصنيف بمساعدة الذكاء الاصطناعي لأتمتة إنشاء الأقنعة والمضلعات. تسمح هذه الميزات بإنشاء الأشكال المدفوع بمطالبات نصية أو اختيارات نقاط تفاعلية، والتي تقترح حدوداً بناءً على نقاط إيجابية وسلبية يضعها المستخدم. يغطي البرنامج مجموعة واسعة من مهام إدارة البيانات والتعليق، بما في ذلك إنشاء أقنعة بكسل كثيفة، وصناديق التحديد الدوارة، وتسلسل إطارات الفيديو. يتضمن خط أنابيب لترجمة استمرارية حالة JSON الداخلية إلى تنسيقات مجموعات بيانات قياسية مثل COCO و Pascal VOC. تشمل القدرات الإضافية علامات تصنيف على مستوى الصورة، وأدوات تحسين الهندسة، واستيراد الصور المجمعة.
Provides a pipeline for translating internal JSON annotation data into standard COCO and Pascal VOC formats.
PaddleDetection is an object detection framework designed for the end-to-end development, training, and deployment of computer vision models. It provides a comprehensive library of modular neural network architectures and pipelines that support object detection, instance segmentation, and multi-object tracking tasks. The project distinguishes itself through a configuration-driven approach that decouples model components like backbones and heads, allowing for the flexible assembly of custom vision workflows. It incorporates advanced techniques such as anchor-free detection logic, joint detecti
Implements parsing logic to load and register proprietary data formats for training.
MMSegmentation is an open-source semantic segmentation toolbox built on PyTorch that provides a modular, configurable framework for building, training, evaluating, and deploying segmentation models. At its core, it offers a config-driven pipeline that assembles training, evaluation, and inference workflows by parsing hierarchical configuration files, with a modular component registry that enables plug-and-play composition of neural network modules, optimizers, datasets, and metrics. The framework supports the full model lifecycle through a unified runner interface that controls training, testi
Transforms raw dataset annotations into the expected label format for training and evaluation.
X-AnyLabeling is an AI-assisted annotation platform and computer vision labeling tool. It provides an interface for annotating images and videos using polygons and rectangles to create training sets for machine learning models. The project distinguishes itself through the integration of external AI models via a plugin-based inference backend, allowing for automated generation of candidate labels and the execution of specialized tasks like pose estimation and object detection. It also functions as an optical character recognition tool for extracting text and layout information from document im
Provides utilities for translating computer vision annotations between various industry-standard formats to ensure cross-platform compatibility.
RF-DETR is a Python library for training and deploying object detection, instance segmentation, and keypoint detection models built on a vision transformer architecture. It provides a unified command-line interface and Python API for the full workflow, from fine-tuning pretrained checkpoints on custom datasets to running inference on images, video files, and live camera streams. The project supports training on datasets in COCO or YOLO format, with automatic format detection and configurable augmentation pipelines. Models can be exported to ONNX, TFLite, or TensorRT for deployment across edge
Transforms datasets between COCO and YOLO formats using the supervision library for interoperability.
Muzic هي منصة وإطار عمل للتعلم العميق لتحليل الموسيقى وتأليفها وتوليفها بواسطة الذكاء الاصطناعي. تعمل كإطار عمل لتوليد الموسيقى وأداة تحليل، باستخدام نماذج لغة كبيرة ووكلاء مستقلين لتنسيق إنشاء وتفسير الموسيقى الرمزية والصوتية. يتميز المشروع بقدراته عبر الوسائط، حيث يربط اللغة الطبيعية والموسيقى الرمزية في مساحة تضمين مشتركة للتصنيف بدون أمثلة (zero-shot) واسترجاع المعلومات. يوظف مجموعة متنوعة من المعماريات المتخصصة، بما في ذلك أطر عمل الانتشار لتوليف الصوت، وآليات الانتباه ثنائية الحبيبات لاتساق الهيكل طويل التسلسل، ونظام هجين يجمع بين قواعد نظرية الموسيقى والشبكات العصبية. تغطي المنصة مجموعة واسعة من القدرات، بما في ذلك توليد تسلسلات MIDI من النص والكلمات، وتوليف صوت الغناء العصبي، ونسخ الكلمات تلقائيًا. كما توفر أدوات لنمذجة هيكل الموسيقى، والتوليد الرمزي القائم على السمات، وتنسيق أدوات الموسيقى الخارجية عبر وكلاء مستقلين. تشمل الأدوات المساعدة خطوط أنابيب هندسة البيانات لتحويل MIDI إلى ثنائي على نطاق واسع، وترميز مجموعات البيانات، ومعالجة الإشارات الصوتية لاستخراج نوتات اللحن ومحاذاة الكلام إلى فونيم.
Transforms raw MIDI data into specialized binarized formats to optimize large-scale model training and inference.
mmocr هو إطار عمل للتعرف الضوئي على الحروف (OCR) يعتمد على PyTorch مصمم لتدريب ونشر نماذج اكتشاف النصوص، والتعرف عليها، واستخراج المعلومات الرئيسية. يعمل كصندوق أدوات شامل لاكتشاف والتعرف على نصوص المشاهد، حيث يوفر مكتبات متخصصة لتحديد مناطق النص وتحويل النص المرئي إلى سلاسل مشفرة آلياً. يتميز المشروع بإطار عمل بحثي لاستخراج المعلومات الرئيسية وقدرات متقدمة لتحديد النصوص. تشمل هذه القدرات التحديد القائم على النقاط باستخدام المحولات (Transformers) واستخدام منحنيات Bezier ذات المعلمات لتحديد ونسخ النصوص ذات الأشكال التعسفية. يغطي إطار العمل سطحاً واسعاً من قدرات الرؤية الحاسوبية، بما في ذلك إدارة خط أنابيب البيانات لزيادة وتوحيد مجموعات بيانات OCR المتنوعة، وتدريب النماذج مع التوسع الموزع، وتقييم الأداء باستخدام مقاييس OCR القياسية. كما يوفر أدوات لمعالجة المضلعات الهندسية وتصور النتائج لتدقيق التنبؤات مقابل تعليقات الحقيقة الأرضية. يتم تنفيذ النظام بلغة Python ويدعم التثبيت عبر تغليف بيئة Docker.
Translates diverse dataset formats into a standardized internal representation for training and evaluation compatibility.
هذا المشروع عبارة عن تنفيذ للتعلم العميق لمعمارية RetinaNet لاكتشاف وتصنيف الكائنات داخل الصور. تم بناؤه كإطار عمل لاكتشاف الكائنات في Keras وأداة رؤية حاسوبية في TensorFlow، ويوفر تنفيذاً كاملاً للشبكة العصبية بناءً على ورقة RetinaNet. يتضمن إطار العمل مكونات متخصصة مثل شبكة هرم الميزات (Feature Pyramid Network) ودالة خسارة بؤرية (focal loss) للتعامل مع اكتشاف الكائنات. يتميز بمعمارية خلفية قابلة للتكوين وصناديق تحديد قائمة على المرساة (anchor-based) للتنبؤ بمواقع الكائنات عبر مقاييس ونسب عرض إلى ارتفاع متفاوتة. تغطي مجموعة الأدوات سير العمل من البداية إلى النهاية للرؤية الحاسوبية، بما في ذلك روتين التدريب، وتقييم الأداء، ونشر استدلال النموذج. توفر أدوات إدارة البيانات لاستيراد وتصحيح تعليقات الصور التوضيحية من تنسيقات CSV و Pascal VOC، بالإضافة إلى أدوات لتحويل النماذج المدربة إلى تنسيقات مختلفة للنشر.
Transforms raw XML and CSV dataset annotations into standardized label formats required for training.