Awesome GitHub RepositoriesSchema Column Mapping

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

هذا المشروع عبارة عن مجموعة من أطر عمل وخطوط أنابيب البيانات الضخمة، بما في ذلك إطار عمل تحليل Apache Hive، ومنصة تحليلات سلوكية، ومحرك تحليلات تنبؤية، وخطوط أنابيب بيانات في الوقت الفعلي. يوفر البنية التحتية لبناء سير عمل الاستخراج والتحويل والتحميل (ETL) لمعالجة مجموعات البيانات الكبيرة للتخزين الموزع والتحليل القائم على SQL. يدعم النظام تطبيقات تحليلية متنوعة، مثل محرك تنبؤي يستخدم الانحدار الخطي لتوقع القيم، وبنية في الوقت الفعلي تنقل البيانات عبر وسطاء الرسائل للتقارير الفورية. يتضمن قدرات متخصصة لتحليلات سلوك المستخدم، وقياس أداء التجارة الإلكترونية، وتحليل بيانات النقل الحضري. يغطي الكود المصدري نطاقاً واسعاً من هندسة وتحليل البيانات، بما في ذلك تنظيف البيانات وتحويلها، واستيعاب البيانات الموزع، ومعالجة التدفق القائم على النوافذ، وتصور النتائج من خلال أدوات ذكاء الأعمال. كما يتيح حساب مقاييس أعمال محددة مثل معدلات التحويل، وأداء تحقيق الدخل، ومستويات تفاعل المستخدم.

h2o-llmstudio هو إطار عمل لتدريب نماذج اللغة يوفر واجهة رسومية بدون كود لضبط النماذج اللغوية الكبيرة على مجموعات بيانات مخصصة. يعمل كأداة متخصصة لإدارة دورة حياة التدريب، من تكوين المعلمات الفائقة إلى مراقبة مقاييس الأداء. يتميز المشروع من خلال منسق تدريب متعدد وحدات معالجة الرسومات (multi-GPU) يوزع أعباء العمل عبر معالجة البيانات المتوازية وأداة تكيف منخفضة الرتبة (LoRA) للضبط الدقيق الموفر للذاكرة. كما يتضمن لوحة معلومات لتقييم النموذج تتميز بواجهة دردشة تفاعلية للتحقق من أداء المحادثة وجودة الاستجابة. تغطي المنصة سطح إمكانيات واسعاً بما في ذلك إعداد مجموعة البيانات مع تعيين المخطط، وتكميم النموذج لتقليل بصمات الذاكرة، وإدارة التجارب لمقارنة عمليات التدريب. كما توفر أدوات لتصدير النموذج المحلي والنشر في مراكز النماذج المجتمعية. يتضمن النظام واجهة سطر أوامر لتشغيل التجارب وإدارة ملفات المخرجات ضمن سير العمل الآلي.

ingestr is a command-line tool for copying and syncing data between different database engines and third-party platforms without writing custom code. It functions as an ETL pipeline utility that extracts data from diverse sources and loads it into destinations. The tool features a schema-agnostic data loader that maps source fields to destination columns dynamically, removing the need for predefined static table definitions. It also operates as an incremental data synchronizer, updating destination tables by appending new records or merging changes to maintain current datasets. The system pr