Awesome GitHub RepositoriesSQL Data Loaders

Dask هو إطار عمل للحوسبة المتوازية وجدول مهام موزع مصمم لتوسيع نطاق سير عمل علوم البيانات في Python من أجهزة فردية إلى مجموعات (clusters) كبيرة. يعمل كمدير موارد للمجموعة يقوم بتنسيق المنطق الحسابي من خلال تمثيل المهام وتبعياتها كرسوم بيانية موجهة غير دورية. تسمح هذه البنية للنظام بأتمتة توزيع أعباء العمل عبر الأجهزة المتاحة مع إدارة متطلبات التنفيذ المعقدة. يتميز المشروع بمحرك تقييم كسول يؤجل عمليات البيانات حتى يتم طلبها صراحة، مما يتيح تحسين الرسم البياني العالمي وتخصيص الموارد بكفاءة. يتضمن خاصية تسريب البيانات الواعية بالذاكرة لمنع تعطل النظام عند معالجة مجموعات البيانات التي تتجاوز الذاكرة المتاحة، ويستخدم دمج الرسم البياني للمهام لدمج تسلسلات العمليات في خطوات تنفيذ واحدة، مما يقلل من عبء الجدولة والاتصال بين العقد. توفر المنصة سطح قدرات شاملاً لتحليلات البيانات واسعة النطاق، بما في ذلك دعم التعلم الآلي الموزع، وتكامل الحوسبة عالية الأداء، ومعالجة البيانات المتوازية. توفر أدوات واسعة النطاق لإدارة دورة حياة المجموعة، وتوصيف الأداء، والمراقبة في الوقت الفعلي لتنفيذ المهام. يمكن للمستخدمين نشر هذه البيئات عبر بنية تحتية متنوعة، بما في ذلك الأجهزة المحلية، ومزودي السحابة، والأنظمة الحاوية، ومجموعات الحوسبة عالية الأداء.

Connector-X is a high-performance SQL data extraction library and bridge for transferring relational database records into memory-efficient data structures. It functions as a parallel database connector and federated query engine capable of executing and joining queries across multiple remote database connections to aggregate data locally. The project distinguishes itself through a zero-copy approach to data loading, which transfers SQL query results into memory structures without duplicating data. It maximizes throughput by partitioning SQL queries into threads, employing parallel columnar a

هذه المكتبة عبارة عن إطار عمل لمعالجة البيانات لـ JVM يوفر بيئة آمنة من حيث النوع (type-safe) لمعالجة البيانات الجدولية المهيكلة. تعمل كمجموعة أدوات شاملة لإجراء تحويلات البيانات المعقدة، والتجميعات، والتحليل الإحصائي، مع الاستفادة من التحقق من المخطط (schema) في وقت التجميع لضمان السلامة الهيكلية عبر خطوط أنابيب البيانات. يتميز المشروع بتكامله العميق مع بيئات دفاتر الملاحظات التفاعلية واستخدامه لتوليد الكود في وقت التجميع. من خلال اشتقاق المخططات وفرضها تلقائياً من المدخلات الخام، فإنه يولد أدوات وصول آمنة من حيث النوع تتيح الإكمال التلقائي في IDE والتحقق الثابت من أسماء الأعمدة. تسمح هذه البنية للمطورين بتنفيذ معالجة خطوط الأنابيب الوظيفية مع الحفاظ على أمان صارم للأنواع، مما يمنع بشكل فعال أخطاء وقت التشغيل أثناء معالجة البيانات. تدعم المكتبة مجموعة واسعة من سير عمل البيانات، بما في ذلك استيراد وتعيين مخططات قواعد البيانات العلائقية، وإجراء التحليل الجغرافي المكاني، وتنفيذ محاور البيانات المعقدة. تتضمن أدوات واسعة النطاق لإنشاء البيانات، والتصفية، والفرز، وحساب الإحصاءات الوصفية. علاوة على ذلك، يوفر إطار العمل إمكانيات قوية للتصور وإعداد التقارير، مما يسمح للمستخدمين بعرض جداول HTML تفاعلية، وتأليف المستندات، وإنشاء المخططات مباشرة من مجموعات البيانات المهيكلة. تم تصميم المكتبة للاستخدام السلس داخل بيئات تطوير Kotlin وJava، مع دعم متخصص لإدارة التبعيات المؤتمتة وتكامل النواة في دفاتر الملاحظات التفاعلية.