4 مستودعات
Combining multiple distinct dataset sources into a single training pipeline with balancing techniques.
Distinct from Training Datasets: Focuses on the integration and balancing of multiple sources, not just the curation of a single large dataset.
Explore 4 awesome GitHub repositories matching artificial intelligence & ml · Multi-Source Dataset Integration. Refine with filters or upvote what's useful.
Open CLIP is an open source framework for training and deploying Contrastive Language-Image Pre-training models. It serves as a vision-language training framework and multimodal embedding engine that maps images and text into a shared vector space for similarity searches and zero-shot classification. The project provides a toolkit for distributed training of contrastive models and includes an image-to-text generative model for producing natural language descriptions. It supports custom text encoder integration and utilizes teacher-student model distillation to transfer knowledge from large pr
Combines several dataset sources in a single training run with optional upsampling to balance sizes.
MMSegmentation is an open-source semantic segmentation toolbox built on PyTorch that provides a modular, configurable framework for building, training, evaluating, and deploying segmentation models. At its core, it offers a config-driven pipeline that assembles training, evaluation, and inference workflows by parsing hierarchical configuration files, with a modular component registry that enables plug-and-play composition of neural network modules, optimizers, datasets, and metrics. The framework supports the full model lifecycle through a unified runner interface that controls training, testi
Combines, repeats, or interleaves several datasets during training to increase data diversity.
هذا إطار عمل لتعلم الآلة لمعالجة مهام معالجة اللغات الطبيعية المتنوعة كمشكلة نص إلى نص موحدة. يوفر مجموعة أدوات للتدريب المسبق والضبط الدقيق لنماذج المحولات واسعة النطاق، مستخدماً نظاماً يتم فيه تنسيق كل من المدخلات والمخرجات كسلاسل نصية خام. يتميز إطار العمل بنظام التدريب الموزع الخاص به، والذي يستخدم استراتيجيات قائمة على الشبكة لتوسيع أوزان النموذج ودفعات التدريب عبر أنوية TPU متعددة. يدعم التعلم متعدد المهام من خلال دمج مجموعات بيانات متنوعة في تدفق تدريب واحد باستخدام معدلات خليط قابلة للتكوين، مما يسمح لنموذج واحد بالتعامل مع مهام لغوية مختلفة. يغطي النظام مجموعة واسعة من القدرات بما في ذلك بنيات المشفر-فك التشفير (encoder-decoder)، وفك التشفير بالبحث الشعاعي (beam-search) لتوليد النصوص، وتدفقات عمل التعلم بالنقل. يتضمن أدوات لإعداد مجموعات بيانات NLP، وتقييم أداء النموذج، وتصدير نقاط التحقق المدربة لخدمة الإنتاج. تدعم المكتبة تحميل نقاط تحقق النماذج المدربة مسبقاً بأحجام مختلفة لتسريع التطوير.
Combines multiple distinct dataset sources into a single training pipeline using balancing techniques.
This project is a deep learning framework designed for end-to-end speech-to-text transcription. It utilizes the WaveNet neural network architecture to process spoken audio input and generate written text transcripts, leveraging connectionist temporal classification to map variable-length audio sequences to character-level outputs. The system distinguishes itself through a comprehensive training pipeline that supports distributed execution across multiple graphics processing units. It includes specialized utilities for audio data augmentation and the transformation of raw audio files into opti
Supports ingesting large-scale audio collections from multiple sources to improve the versatility and performance of recognition models.