awesome-repositories.com
المدونة
awesome-repositories.com

اكتشف أفضل مستودعات المصادر المفتوحة باستخدام بحث مدعوم بالذكاء الاصطناعي.

استكشفعمليات بحث منسقةبدائل مفتوحة المصدربرمجيات ذاتية الاستضافةالمدونةخريطة الموقع
المشروعحولكيفية ترتيب النتائجالصحافةخادم MCP
قانونيالخصوصيةالشروط
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

8 مستودعات

Awesome GitHub RepositoriesDataset Preparation Scripts

Utilities for downloading, organizing, and converting public datasets.

Distinguishing note: Focuses on the end-to-end preparation of specific public datasets.

Explore 8 awesome GitHub repositories matching data & databases · Dataset Preparation Scripts. Refine with filters or upvote what's useful.

Awesome Dataset Preparation Scripts GitHub Repositories

اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
  • open-mmlab/mmdetectionالصورة الرمزية لـ open-mmlab

    open-mmlab/mmdetection

    32,756عرض على GitHub↗

    This project is a modular research toolkit designed for developing, training, and evaluating deep learning models for object detection, segmentation, and video instance tracking. It provides a flexible training engine that manages complex neural network execution, including distributed training, custom lifecycle hooks, and weight optimization. The framework is built around a hierarchical configuration system that allows users to define architectures, data pipelines, and training hyperparameters through composable, inheritable files. The project distinguishes itself through its highly modular

    Provides utilities to prepare and convert ADE20K datasets for training.

    Pythoncascade-rcnnconvnextdetr
    عرض على GitHub↗32,756
  • salesforce/lavisالصورة الرمزية لـ salesforce

    salesforce/LAVIS

    11,236عرض على GitHub↗

    LAVIS is a multimodal large language model framework and vision-language model library. It provides tools for training and evaluating models that integrate visual, textual, and audio data, serving as a cross-modal feature extractor and a zero-shot visual reasoning engine. The framework distinguishes itself by using frozen-backbone integration, where pretrained encoders remain non-trainable while lightweight adapter layers are updated. It employs cross-modal feature alignment to map different representations into a shared embedding space and utilizes a modular model wrapper to swap vision and

    Automates the downloading and organization of large collections of language-vision datasets and their annotations.

    Jupyter Notebook
    عرض على GitHub↗11,236
  • tensorflow/nmtالصورة الرمزية لـ tensorflow

    tensorflow/nmt

    6,461عرض على GitHub↗

    This project is a neural machine translation system used to build models that automatically translate text from one language to another. It utilizes sequence-to-sequence modeling to transform variable-length input sequences into corresponding output sequences. The system implements bidirectional recurrent neural network encoding and attention mechanisms to capture contextual information and focus on specific parts of the source text during translation. To manage training and inference, it employs separate computational graphs and supports distributing model layers across multiple GPU devices.

    Constructs input pipelines that clean and zip source-target translation pairs with sequence padding.

    Python
    عرض على GitHub↗6,461
  • open-mmlab/mmdetection3dالصورة الرمزية لـ open-mmlab

    open-mmlab/mmdetection3d

    6,273عرض على GitHub↗

    MMDetection3D is an open-source toolbox for 3D perception, providing a unified framework for detecting and segmenting objects in three-dimensional environments. It supports a range of core tasks including monocular 3D object detection from single camera images, LiDAR-based 3D object detection from raw point clouds, and multi-modal fusion that combines camera images with LiDAR data. The toolbox also covers point cloud semantic segmentation, assigning class labels to every point in a scan for scene understanding. The project distinguishes itself through a config-driven pipeline that orchestrate

    Downloads, organizes, and preprocesses supported 3D datasets into expected folder structures and annotation formats.

    Python3d-object-detectionobject-detectionpoint-cloud
    عرض على GitHub↗6,273
  • tkarras/progressive_growing_of_gansالصورة الرمزية لـ tkarras

    tkarras/progressive_growing_of_gans

    6,159عرض على GitHub↗

    This repository provides a complete framework for training generative adversarial networks (GANs) that produce high-resolution photorealistic images, up to 1024 by 1024 pixels. The core technique is progressive layer growth, where both the generator and discriminator networks start training at low resolution and gradually add new layers to model finer details, enabling stable synthesis of large images. The framework includes a high-resolution image generator, an image quality metric evaluator, a latent space interpolation tool for creating smooth transition videos, and a multi-resolution datas

    Converts image datasets into multi-resolution TFRecords for efficient streaming during progressive training.

    Python
    عرض على GitHub↗6,159
  • turboway/bigdata_analyseالصورة الرمزية لـ TurboWay

    TurboWay/bigdata_analyse

    5,238عرض على GitHub↗

    هذا المشروع عبارة عن مجموعة من أطر عمل وخطوط أنابيب البيانات الضخمة، بما في ذلك إطار عمل تحليل Apache Hive، ومنصة تحليلات سلوكية، ومحرك تحليلات تنبؤية، وخطوط أنابيب بيانات في الوقت الفعلي. يوفر البنية التحتية لبناء سير عمل الاستخراج والتحويل والتحميل (ETL) لمعالجة مجموعات البيانات الكبيرة للتخزين الموزع والتحليل القائم على SQL. يدعم النظام تطبيقات تحليلية متنوعة، مثل محرك تنبؤي يستخدم الانحدار الخطي لتوقع القيم، وبنية في الوقت الفعلي تنقل البيانات عبر وسطاء الرسائل للتقارير الفورية. يتضمن قدرات متخصصة لتحليلات سلوك المستخدم، وقياس أداء التجارة الإلكترونية، وتحليل بيانات النقل الحضري. يغطي الكود المصدري نطاقاً واسعاً من هندسة وتحليل البيانات، بما في ذلك تنظيف البيانات وتحويلها، واستيعاب البيانات الموزع، ومعالجة التدفق القائم على النوافذ، وتصور النتائج من خلال أدوات ذكاء الأعمال. كما يتيح حساب مقاييس أعمال محددة مثل معدلات التحويل، وأداء تحقيق الدخل، ومستويات تفاعل المستخدم.

    Includes processes to merge data files and filter fields to optimize memory usage before loading into databases.

    Pythonhqlpythonsql
    عرض على GitHub↗5,238
  • thunlp/openpromptالصورة الرمزية لـ thunlp

    thunlp/OpenPrompt

    4,877عرض على GitHub↗

    OpenPrompt هو إطار عمل لتعلم التلقين (prompt learning) مصمم لتكييف نماذج اللغة الكبيرة مع مهام معالجة اللغات الطبيعية اللاحقة. يوفر مجموعة أدوات شاملة لتنفيذ استراتيجيات التلقين اليدوية، والناعمة، والمستمرة، مما يسمح بتحسين النماذج دون تحديث جميع المعلمات الأساسية. يتميز المشروع بدعمه لكل من ضبط التلقين المتقطع والمستمر. يتضمن نظاماً لحقن الرموز الناعمة (soft tokens) والتضمينات القابلة للتدريب في مدخلات النموذج عبر الانحدار المتدرج، بالإضافة إلى محرك توليد تلقين تلقائي يستخدم بحث الشعاع (beam search) والنماذج التوليدية لاكتشاف قوالب نصية عالية الاحتمالية لمجموعات بيانات محددة. يغطي إطار العمل العديد من مجالات القدرات الأساسية، بما في ذلك تصميم القوالب وتعبير التسميات (label verbalization) لتعيين تسميات التصنيف إلى كلمات المفردات. كما يوفر أدوات تكييف النماذج لتغليف النماذج المدربة مسبقاً، ومعايرة القيم (logit calibration) لتحسين دقة التنبؤ، وخط أنابيب بيانات يتميز بمنطق أخذ عينات متخصص للتعلم ببيانات قليلة (few-shot learning). تتم إدارة سير عمل التدريب والتجارب من خلال ملفات التكوين التي تحدد سيناريوهات التعلم، والمعلمات الفائقة، ومواصفات خط الأنابيب.

    Processes raw data into standardized input examples and labels using pre-defined data processors.

    Python
    عرض على GitHub↗4,877
  • facebookresearch/map-anythingالصورة الرمزية لـ facebookresearch

    facebookresearch/map-anything

    2,915عرض على GitHub↗

    Map-anything is a 3D scene reconstruction framework and neural geometry estimator designed to transform two-dimensional images into metric three-dimensional spatial representations using feed-forward neural networks. It provides a specialized toolkit for predicting camera intrinsics and ray directions from single images without requiring external geometric metadata. The project includes a 3D model benchmarking suite that utilizes a unified model wrapper to standardize outputs from diverse reconstruction models. This allows for consistent evaluation and accuracy measurement across various spat

    Provides scripts for loading and organizing images from synthetic and real-world spatial datasets for model training.

    Python3d-reconstructionaicalibration
    عرض على GitHub↗2,915
  1. Home
  2. Data & Databases
  3. Dataset Preparation Scripts

استكشف الوسوم الفرعية

  • Analysis Dataset OptimizationProcesses for merging data files and filtering fields to reduce memory footprint before database ingestion. **Distinct from Dataset Preparation Scripts:** Focuses on memory optimization and field filtering for analysis, whereas Dataset Preparation Scripts focus on downloading and organizing public datasets.
  • KITTI 3D Perception Dataset PreparersConverts raw KITTI point cloud and annotation files into structured .pkl info files and .bin ground-truth databases for training and evaluation. **Distinct from Dataset Preparation Scripts:** Distinct from Dataset Preparation Scripts: specifically handles KITTI 3D perception data conversion, not general dataset preparation.
  • Lyft 3D Perception Dataset PreparersConvert raw Lyft sensor data into structured .pkl info files for training and evaluation. **Distinct from Dataset Preparation Scripts:** Distinct from Dataset Preparation Scripts: specifically handles Lyft 3D perception data conversion, not general dataset preparation.
  • Multi-Resolution Dataset PreparersConverts standard image datasets into multi-resolution TFRecords files for efficient progressive GAN training. **Distinct from Dataset Preparation Scripts:** Distinct from Dataset Preparation Scripts: converts to multi-resolution TFRecords for progressive training, not general dataset downloading.
  • SemanticKITTI Dataset PreparersDownload and organize the SemanticKITTI dataset into the required folder structure for training and validation. **Distinct from Dataset Preparation Scripts:** Distinct from Dataset Preparation Scripts: specifically handles SemanticKITTI dataset organization, not general dataset preparation.
  • Translation Dataset PreparationUtilities for preparing paired source-target text datasets for translation tasks. **Distinct from Dataset Preparation Scripts:** Specifically handles text-pair cleaning and zipping for translation, not general public dataset downloading.