Awesome GitHub RepositoriesSQL Data Loading and Transformation

CloudQuery is a cloud infrastructure ETL tool and multi-cloud data pipeline designed to collect, synchronize, and normalize resource metadata from various cloud providers and SaaS platforms. It functions as a centralized asset inventory manager and security posture manager, extracting configuration and state data into relational databases, data lakes, or data warehouses. The system distinguishes itself by transforming complex, nested cloud API responses into flat relational tables, enabling the use of standard SQL for asset querying and analysis. It employs a modular plugin system for data ex

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

dlt هي أداة لاستيعاب البيانات بلغة Python وإطار عمل لخط أنابيب ETL مصمم لجلب البيانات من مصادر متنوعة وحفظها في وجهات مهيكلة. تعمل كمحرك لاستنتاج المخطط (schema inference) يكتشف تلقائياً أنواع البيانات ويسطح هياكل JSON المتداخلة في جداول علائقية، ناقلاً البيانات من المصادر إلى بحيرات البيانات، أو المستودعات، أو قواعد بيانات المتجهات. يتميز المشروع بتوليد خط أنابيب مدعوم بالذكاء الاصطناعي، باستخدام نماذج لغات كبيرة لسقالات كود الاستخراج والموصلات لـ REST APIs. كما يدعم تخزين المتجهات متعدد الوسائط والتعبئة المتخصصة لقواعد بيانات المتجهات لدعم تطبيقات الذكاء الاصطناعي والتعلم الآلي. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك تطور المخطط المؤتمت، وتحميل البيانات التزايدي عبر تتبع الحالة، والتحقق من جودة البيانات من خلال فرض عقود البيانات. يوفر أدوات لتطبيع البيانات العلائقية، وتحويلات ما قبل وما بعد التحميل، ومجموعة متنوعة من محولات الوجهة لقواعد بيانات SQL ومخازن الكائنات السحابية. تتم إدارة المراقبة من خلال لوحات معلومات تنفيذ خط الأنابيب، وتتبع نسب الأعمدة، والتحقق من إصدار المخطط باستخدام التجزئات القائمة على المحتوى.

Davinci هي منصة ذكاء أعمال وتصور بيانات تُستخدم لبناء لوحات معلومات وتقارير تفاعلية. تعمل كمنشئ لوحة معلومات قائم على SQL وخدمة تحليلات متعددة المستأجرين تتصل بقواعد البيانات عبر JDBC وملفات CSV لتحويل البيانات الخام إلى مكونات بصرية. تتميز المنصة بنموذج أمان دقيق، يتضمن أذونات على مستوى الصف والعمود مدمجة مع مصادقة LDAP و OAuth2. كما توفر أداة تصور مضمنة تسمح بإدراج مخططات ولوحات معلومات آمنة ومُعاملة في تطبيقات خارجية عبر روابط URL وإطارات. يغطي النظام مجموعة واسعة من القدرات، بما في ذلك نمذجة البيانات باستخدام قوالب SQL، ومحرك تخطيط السحب والإفلات للوحات المعلومات سريعة الاستجابة، ومجموعة واسعة من أنواع التصور مثل مخططات Sankey، ومخططات الرادار، والخرائط الجغرافية. كما يتضمن أتمتة لجدولة التقارير القائمة على البريد الإلكتروني ويستخدم التخزين المؤقت للقيمة الرئيسية لتحسين أداء الاستعلام.