Awesome GitHub RepositoriesHadoop Integrations

h2o-3 is a distributed machine learning platform and automated machine learning framework designed for training and deploying predictive models using distributed in-memory computing. It functions as a deep learning framework and a distributed model scoring engine, capable of operating as a Kubernetes ML cluster to process large datasets in parallel. The platform distinguishes itself through automated machine learning capabilities that automatically select the best algorithms and hyperparameters to optimize model performance. It provides specialized deep learning toolkits for tasks including i

Apache IoTDB is a time-series database designed for the Internet of Things, purpose-built to ingest high-volume data from millions of low-power devices and store timestamp-value pairs with configurable data types and encoding schemes. It organizes time series data and device metadata in a tree-like hierarchy, enabling efficient management of complex industrial sensor networks. The database supports rich querying capabilities, including time-aligned data retrieval across multiple devices, time-based aggregation like downsampling, and frequency-domain signal analysis. It provides high-throughpu

lakeFS هو نظام إصدارات لبحيرات البيانات يوفر تفرعاً (branching) والتزامات (commits) تشبه Git لمجموعات البيانات الكبيرة المخزنة في تخزين الكائنات. يعمل كطبقة تحكم في الإصدار، مما يتيح إنشاء لقطات غير قابلة للتغيير، والتزامات ذرية، وتفرعاً بدون نسخ (zero-copy) لإنشاء بيئات معزولة لتجارب البيانات دون تكرار الملفات الفيزيائية. يعمل النظام كبوابة تخزين متوافقة مع S3 وفهرس Iceberg REST، مما يسمح لبروتوكولات التخزين السحابي القياسية والعملاء المتوافقين بإدارة الجداول ذات الإصدارات. يعمل كحارس لجودة البيانات باستخدام نظام خطافات (hooks) قائم على الأحداث للتحقق من مجموعات البيانات مقابل سياسات الحوكمة قبل دمج التغييرات في الإنتاج. تغطي المنصة قدرات واسعة لحوكمة البيانات، بما في ذلك التعاون عبر طلبات السحب (pull requests)، والتحكم في الوصول القائم على الأدوار، وتتبع أصل البيانات. يوفر تكاملاً لتنسيق سير العمل، وخطوط أنابيب التعلم الآلي، ومحركات حوسبة البيانات الضخمة المختلفة، ويدعم اتصال التخزين متعدد السحابة ومزامنة الهوية عبر SSO وSCIM. يمكن تثبيت البرنامج باستخدام ملفات ثنائية، أو حاويات، أو Helm charts للنشر على Kubernetes.

Azkaban هو مدير سير عمل موزع ومنسق وظائف قائم على DAG مصمم كمعالج دفعات للمؤسسات. يعمل كمحرك سير عمل قائم على Java يقوم بجدولة وتنفيذ تسلسلات وظائف معقدة عبر مجموعة من خوادم التنفيذ، مع وظائف محددة لإدارة أحمال عمل البيانات الضخمة على عناقيد Hadoop. يتميز النظام بنموذج تنفيذ موزع ينسق الحالة عبر قاعدة بيانات مشتركة لضمان التوفر العالي. يستخدم بنية قائمة على الإضافات تسمح بأنواع وظائف مخصصة وامتدادات وظائف النظام، بما في ذلك القدرة على إعادة تحميل الإضافات دون إعادة تشغيل خوادم التنفيذ. تغطي المنصة مجموعة واسعة من القدرات بما في ذلك تنسيق خط أنابيب البيانات مع المنطق الشرطي، والجدولة الدورية والقائمة على الأحداث، ومراقبة المؤسسة مع تتبع SLA. يوفر تحكماً دقيقاً في الوصول وانتحال هوية المستخدم للتنفيذ الآمن، إلى جانب أدوات إدارة حركة المرور لموازنة تحميل التنفيذ وحصص الموارد. يمكن للمستخدمين إدارة سير العمل من خلال واجهة قائمة على الويب أو برمجياً عبر API تنفيذ سير العمل.

This project is an interactive, web-based notebook environment designed for distributed data science and large-scale computing. It serves as a development tool for executing code and performing data analysis specifically within the Apache Spark framework, providing a browser-based interface that combines code execution with reactive data visualization. The platform distinguishes itself through its deep integration with distributed infrastructure, allowing users to manage cluster resources, configure runtime dependencies, and isolate execution processes for individual notebooks. It supports co