Awesome GitHub RepositoriesStream Enrichment

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

Snowplow is a behavioral event data pipeline and customer data infrastructure designed to capture user interactions and transform them into structured events for real-time analysis and long-term storage. It functions as a customer data platform that gathers user signals and enriches them with metadata to create a unified view of customer behavior. The system operates as an event schema validation engine to enforce strict data contracts on incoming streams, preventing data corruption. It further serves as a real-time event router and an event-driven automation platform, triggering proactive bu

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

هذا المشروع عبارة عن مجموعة من أطر عمل وخطوط أنابيب البيانات الضخمة، بما في ذلك إطار عمل تحليل Apache Hive، ومنصة تحليلات سلوكية، ومحرك تحليلات تنبؤية، وخطوط أنابيب بيانات في الوقت الفعلي. يوفر البنية التحتية لبناء سير عمل الاستخراج والتحويل والتحميل (ETL) لمعالجة مجموعات البيانات الكبيرة للتخزين الموزع والتحليل القائم على SQL. يدعم النظام تطبيقات تحليلية متنوعة، مثل محرك تنبؤي يستخدم الانحدار الخطي لتوقع القيم، وبنية في الوقت الفعلي تنقل البيانات عبر وسطاء الرسائل للتقارير الفورية. يتضمن قدرات متخصصة لتحليلات سلوك المستخدم، وقياس أداء التجارة الإلكترونية، وتحليل بيانات النقل الحضري. يغطي الكود المصدري نطاقاً واسعاً من هندسة وتحليل البيانات، بما في ذلك تنظيف البيانات وتحويلها، واستيعاب البيانات الموزع، ومعالجة التدفق القائم على النوافذ، وتصور النتائج من خلال أدوات ذكاء الأعمال. كما يتيح حساب مقاييس أعمال محددة مثل معدلات التحويل، وأداء تحقيق الدخل، ومستويات تفاعل المستخدم.

Ignite هي منصة موزعة للبيانات والحوسبة في الذاكرة. تعمل كقاعدة بيانات SQL موزعة ومحرك تخزين مصمم لتخزين ومعالجة مجموعات البيانات الكبيرة في RAM لتقليل التأخير وزيادة سرعة الحساب. يتميز النظام بمحرك تخزين متعدد المستويات يدير وضع البيانات عبر الذاكرة والقرص لموازنة الوصول عالي السرعة مع السعة الكبيرة. يتميز بشبكة حوسبة موزعة تنفذ منطقاً مخصصاً مباشرة على العقد التي توجد فيها البيانات لتقليل حركة مرور الشبكة. توفر المنصة مجموعة واسعة من القدرات بما في ذلك إدارة معاملات ACID، واستعلام SQL القياسي، وعمليات القيمة المفتاحية. تدعم استيعاب البيانات بكميات كبيرة عبر التدفقات التفاعلية وتوفر دمجاً عبر لغات برمجة متعددة، وبرامج تشغيل قواعد بيانات قياسية، وواجهة برمجة تطبيقات REST. يمكن نشر النظام كمجموعة موزعة باستخدام حاويات أو تنسيقه عبر Kubernetes. تمت كتابة المشروع بلغة Java ويمكن تثبيته عبر أرشيفات ثنائية.