Awesome GitHub RepositoriesSQL Metadata Search

lakeFS هو نظام إصدارات لبحيرات البيانات يوفر تفرعاً (branching) والتزامات (commits) تشبه Git لمجموعات البيانات الكبيرة المخزنة في تخزين الكائنات. يعمل كطبقة تحكم في الإصدار، مما يتيح إنشاء لقطات غير قابلة للتغيير، والتزامات ذرية، وتفرعاً بدون نسخ (zero-copy) لإنشاء بيئات معزولة لتجارب البيانات دون تكرار الملفات الفيزيائية. يعمل النظام كبوابة تخزين متوافقة مع S3 وفهرس Iceberg REST، مما يسمح لبروتوكولات التخزين السحابي القياسية والعملاء المتوافقين بإدارة الجداول ذات الإصدارات. يعمل كحارس لجودة البيانات باستخدام نظام خطافات (hooks) قائم على الأحداث للتحقق من مجموعات البيانات مقابل سياسات الحوكمة قبل دمج التغييرات في الإنتاج. تغطي المنصة قدرات واسعة لحوكمة البيانات، بما في ذلك التعاون عبر طلبات السحب (pull requests)، والتحكم في الوصول القائم على الأدوار، وتتبع أصل البيانات. يوفر تكاملاً لتنسيق سير العمل، وخطوط أنابيب التعلم الآلي، ومحركات حوسبة البيانات الضخمة المختلفة، ويدعم اتصال التخزين متعدد السحابة ومزامنة الهوية عبر SSO وSCIM. يمكن تثبيت البرنامج باستخدام ملفات ثنائية، أو حاويات، أو Helm charts للنشر على Kubernetes.

fsql هي أداة واجهة سطر أوامر توفر لغة استعلام تشبه SQL للعثور على الملفات والأدلة على القرص المحلي. تعمل كمحرك استعلام عن نظام الملفات، مما يسمح للمستخدمين بعزل الملفات عن طريق تنفيذ عبارات منظمة مقابل البيانات الوصفية بدلاً من استخدام أعلام سطر الأوامر القياسية. تتميز الأداة بحلقة قراءة-تقييم-طباعة تفاعلية تدعم الاستعلامات متعددة الأسطر والاستعلامات الفرعية المتداخلة، حيث تعمل نتائج عمليات البحث المتداخلة كمعايير للاستعلامات الخارجية. نطاقات البحث قابلة للتكوين من خلال حل المسارات المطلقة، والمسارات النسبية، ومتغيرات البيئة، وأنماط Glob. يطبق النظام عوامل جبرية، وتعبيرات نمطية، ومرشحات منطقية على سمات الملف مثل الهاش، والحجم، ووقت التعديل. ويتضمن أدوات تحويل البيانات لتنسيق هذه السمات في طوابع زمنية مقروءة ووحدات حجم قياسية.