Awesome GitHub RepositoriesBatch-Driven Data Migration

ActiveRecord Import هي مكتبة لإدراج مجموعات بيانات كبيرة في قاعدة بيانات باستخدام ActiveRecord من خلال استعلامات مفردة أو مجمعة. تعمل كمستورد بيانات بالجملة وأداة إدراج SQL بالجملة مصممة لتقليل حمل الاستعلام وزيادة أداء الكتابة. يتضمن المشروع محرك تحديث أو إدراج (upsert) للتعامل مع تعارضات القيود الفريدة عن طريق تحديث السجلات الموجودة أو تجاهل التكرارات. كما يتميز بمستورد ارتباطات عودي يسمح بإدراج السجلات الأصلية وارتباطاتها الفرعية المتداخلة في عملية واحدة. توفر المكتبة طبقة تحقق قبل الإدراج للتحقق من صحة السجل والإبلاغ عن الإخفاقات قبل الالتزام بالبيانات. تدير ترحيل البيانات واسع النطاق عن طريق تقسيم مجموعات البيانات إلى دفعات للتحكم في استخدام الذاكرة وتجنب حدود حجم حزمة قاعدة البيانات. توفر الأداة ملخصات للنتائج تحتوي على عدد النجاحات ومعرفات السجلات، إلى جانب تتبع التقدم لدفعات البيانات.

This project provides a collection of command-line tools and scripts designed to automate the ingestion, migration, and preparation of large-scale annotated image datasets. It serves as a utility for managing the retrieval of image collections paired with bounding box and segmentation annotations, facilitating their integration into machine learning data pipelines. The toolset enables the bulk transfer of image data and metadata manifests into private cloud storage environments. It utilizes manifest-driven orchestration to process structured resource locations, ensuring that raw image files r