Awesome GitHub RepositoriesCloud Data Lake Integrations

Cube is a semantic data layer that provides a unified framework for defining business metrics, dimensions, and relationships across diverse data sources. By acting as a headless business intelligence engine, it transforms raw data into a governed model that can be queried via SQL, REST, and GraphQL interfaces. This architecture ensures consistent data definitions and logic across all downstream analytical applications and reporting tools. The platform distinguishes itself through its integrated conversational AI capabilities, which allow users to explore data using natural language. It orches

StarRocks is a distributed SQL OLAP database engine designed for real-time analytics and high-performance multi-dimensional analysis. It functions as a data lakehouse query engine that enables SQL execution across large datasets and external open table formats without requiring local data imports. The system employs a shared-nothing distributed architecture and utilizes the MySQL protocol to integrate with business intelligence tools. It maintains real-time data consistency through a primary key upsert model and accelerates query response times using vectorized execution and cost-based optimi

Azure Docs is the official technical documentation repository for Microsoft Azure, the cloud computing platform. It provides comprehensive guidance on the full spectrum of Azure services, covering everything from core infrastructure components like virtual machines, Kubernetes clusters, and serverless computing to platform services for AI, machine learning, data analytics, and storage. The documentation details how to provision, manage, and govern cloud resources at scale, including policy enforcement, identity management, and cost optimization. The documentation distinguishes Azure through i

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

Daft is a distributed dataframe library and multimodal data processor designed to handle large-scale structured and unstructured data. It functions as a vectorized execution engine that processes tables alongside images, audio, and video, utilizing a unified schema to manage diverse data types. The project distinguishes itself by combining distributed data engineering with large-scale AI inference. It provides an AI data pipeline for batch-optimizing model prompts and generating high-dimensional text embeddings, while utilizing zero-copy memory sharing to execute custom Python functions witho

Cube Studio هو منصة MLOps سحابية ومنظم ذكاء اصطناعي يعتمد على Kubernetes ومصمم لدورة حياة تعلم الآلة بالكامل. يوفر إطار عمل للتدريب الموزع لضبط النماذج على نطاق واسع، ومدير موارد GPU لافتراضية الأجهزة، ومنظم لخطوط أنابيب تعلم الآلة يستخدم رسوم بيانية موجهة غير دورية (DAGs) لإدارة سير العمل من البداية إلى النهاية. تتميز المنصة بخادم استنتاج LLM متخصص يدعم التوليد المعزز بالاسترجاع (RAG) وبناء قواعد المعرفة الخاصة. كما يتميز بنظام مخصص للضبط الخاضع للإشراف والتعلم التعزيزي لنماذج اللغات الكبيرة، مدعوماً بأدوات مرئية للبحث عن المعاملات الفائقة (Hyperparameters). يغطي النظام نطاقاً واسعاً من القدرات التشغيلية، بما في ذلك تصنيف البيانات متعددة الوسائط، وخطوط أنابيب البيانات الموزعة، وجدولة أحمال العمل عبر مجموعات متعددة. كما يوفر بيئات تطوير تفاعلية تعتمد على المتصفح، وإدارة صور الحاويات، وسجل نماذج لإصدار ونشر واجهات برمجة تطبيقات استنتاج قابلة للتوسع مع تقسيم حركة المرور. تتضمن البنية التحتية مراقبة صحة المجموعات (Cluster Health) والتحكم في الوصول القائم على الأدوار مع تكامل تسجيل الدخول الموحد (SSO).

esProc هو إطار عمل ETL موزع ومحرك حساب بيانات مضمن. يوفر لغة بيانات مهيكلة لآلة Java الافتراضية مصممة للاستعلامات العلائقية، وحساب البيانات المعقدة، وتحليل البيانات المهيكلة. يتميز النظام بواجهة استعلام بيانات باللغة الطبيعية تستفيد من النماذج اللغوية الكبيرة لترجمة الطلبات إلى استعلامات قابلة للتنفيذ مقابل مجموعات البيانات المهيكلة. يستخدم النظام لغة استعلام خاصة بالمجال ذات بناء جملة موجز لإنشاء علاقات الجداول واسترداد المعلومات. تغطي المنصة تكامل البيانات عبر مصادر علائقية و NoSQL متباينة وتدير سير عمل ETL لنقل البيانات بين الملفات وقواعد البيانات. تشمل الإمكانيات الإضافية إنشاء تقارير البيانات المهيكلة، وواجهة شبكة في الوقت الفعلي لتصور التنفيذ خطوة بخطوة، والقدرة على دمج مكتبات خارجية مشتركة مخصصة.

هذا المشروع هو مكتبة تكامل AWS pandas وإطار عمل لخط أنابيب البيانات مصمم لتبسيط حركة وتحويل البيانات بين الذاكرة المحلية وخدمات التخزين والتحليلات في AWS. يعمل كأداة لمستودع بيانات السحابة (data lake) ومدير ملفات التخزين، مما يسمح للمستخدمين بقراءة وكتابة وتحويل البيانات المنظمة عبر بيئات سحابية مختلفة. تتميز المكتبة كمنسق حوسبة موزع قادر على إدارة المجموعات في بيئات مثل EMR لمعالجة مجموعات البيانات التي تتجاوز حدود الذاكرة لجهاز واحد. كما توفر قدرات متخصصة لإدارة فهارس المتجهات وإجراء عمليات بحث التشابه داخل حاويات التخزين السحابية. تغطي مساحة قدراتها الأوسع ETL لقاعدة بيانات السحابة لخدمات مثل DynamoDB وRDS وTimestream، بالإضافة إلى إدارة كتالوج بيانات السحابة عبر AWS Glue. وتدعم تحليلات البيانات بدون خادم من خلال Athena وRedshift، وتوفر أدوات لإدارة كائنات S3، وفهرسة المستندات في OpenSearch، وتحليل سجلات CloudWatch.

aws-sdk-pandas هي مكتبة Python تدمج إطارات بيانات pandas مع خدمات AWS، وتعمل كأداة ETL لبيانات السحابة وموصل لمستودع البيانات. توفر واجهة موحدة لنقل وتحويل البيانات بين إطارات البيانات في الذاكرة والتخزين السحابي وقواعد البيانات ومستودعات البيانات. يتميز المشروع كمنسق حوسبة موزع قادر على إرسال أعباء العمل القائمة على pandas إلى مجموعات EMR وبيئات المعالجة بدون خادم. كما يتخصص في تنسيق معالجة البيانات الموزعة عبر تهيئة مجموعة Ray للتعامل مع مجموعات البيانات التي تتجاوز ذاكرة جهاز واحد. تغطي المكتبة مجموعة واسعة من القدرات، بما في ذلك إدارة تخزين الكائنات لـ S3، وتنفيذ استعلام SQL لـ Athena وRedshift، والتكامل مع قواعد بيانات NoSQL، والرسم البياني، والسلاسل الزمنية. كما تتضمن أدوات لإدارة البيانات الوصفية من خلال كتالوج Glue، وفهرسة بيانات OpenSearch، وإدارة أصول ذكاء الأعمال في QuickSight. تشمل الوظائف الإضافية استرداد الأسرار، وتحليل سجلات CloudWatch، وإدارة قواعد جودة البيانات.

Dinky is a real-time data platform for developing, deploying, and operating streaming applications based on Apache Flink. It functions as a SQL streaming IDE and a real-time data pipeline orchestrator, providing a web-based environment for writing and verifying queries with integrated logic plan visualization and lineage tracking. The platform acts as a distributed cluster manager, allowing the registration, monitoring, and administration of multiple processing clusters from a centralized interface. It also serves as a change data capture integration tool, synchronizing real-time database cha