5 रिपॉजिटरी
Awesome GitHub RepositoriesStream Enrichment
The process of joining live event streams with reference data from external databases to add context.
Distinct from Database Change Streaming: Candidates are for video streaming or change streaming; none cover the logical enrichment of a stream via database joins.
Explore 5 awesome GitHub repositories matching data & databases · Stream Enrichment. Refine with filters or upvote what's useful.
Awesome Stream Enrichment GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- risingwavelabs/risingwave
risingwavelabs/risingwave
9,093GitHub पर देखेंRisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen
Joins streaming events with reference data from databases and automatically updates outputs when reference data changes.
Rustapache-icebergdata-engineeringdatabase - snowplow/snowplow
snowplow/snowplow
7,012GitHub पर देखेंSnowplow is a behavioral event data pipeline and customer data infrastructure designed to capture user interactions and transform them into structured events for real-time analysis and long-term storage. It functions as a customer data platform that gathers user signals and enriches them with metadata to create a unified view of customer behavior. The system operates as an event schema validation engine to enforce strict data contracts on incoming streams, preventing data corruption. It further serves as a real-time event router and an event-driven automation platform, triggering proactive bu
Joins live event streams with reference data from external sources to add real-time context.
Scala - hazelcast/hazelcast
hazelcast/hazelcast
6,570GitHub पर देखेंHazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis
Combines real-time event streams with static reference data stored in distributed maps to add context to processed records.
Javabig-datacachingdata-in-motion - turboway/bigdata_analyse
TurboWay/bigdata_analyse
5,238GitHub पर देखेंयह प्रोजेक्ट बिग डेटा फ्रेमवर्क और पाइपलाइनों का एक संग्रह है, जिसमें Apache Hive विश्लेषण फ्रेमवर्क, व्यवहार डेटा एनालिटिक्स प्लेटफ़ॉर्म, प्रेडिक्टिव एनालिटिक्स इंजन और रीयल-टाइम डेटा पाइपलाइन शामिल हैं। यह वितरित भंडारण और SQL-आधारित विश्लेषण के लिए बड़े डेटासेट को संसाधित करने के लिए Extract, Transform, Load (ETL) वर्कफ़्लो बनाने के लिए बुनियादी ढांचा प्रदान करता है। सिस्टम विविध विश्लेषणात्मक कार्यान्वयन का समर्थन करता है, जैसे कि मूल्य पूर्वानुमान के लिए लीनियर रिग्रेशन का उपयोग करने वाला प्रेडिक्टिव इंजन और एक रीयल-टाइम आर्किटेक्चर जो तत्काल रिपोर्टिंग के लिए संदेश दलालों के माध्यम से डेटा ले जाता है। इसमें उपयोगकर्ता व्यवहार एनालिटिक्स, ई-कॉमर्स प्रदर्शन माप और शहरी पारगमन डेटा विश्लेषण के लिए विशेष क्षमताएं शामिल हैं। कोडबेस डेटा इंजीनियरिंग और विश्लेषण की एक विस्तृत श्रृंखला को कवर करता है, जिसमें डेटा सफ़ाई और परिवर्तन, वितरित डेटा इंजेक्शन, विंडो-आधारित स्ट्रीम प्रोसेसिंग और व्यावसायिक खुफिया उपकरणों के माध्यम से परिणामों का विज़ुअलाइज़ेशन शामिल है। यह रूपांतरण दर, मुद्रीकरण प्रदर्शन और उपयोगकर्ता जुड़ाव स्तर जैसे विशिष्ट व्यावसायिक मेट्रिक्स की गणना को भी सक्षम बनाता है।
Augments real-time event streams by joining them with reference data from external databases to add descriptive metadata.
Pythonhqlpythonsql - apache/ignite
apache/ignite
5,066GitHub पर देखेंIgnite एक डिस्ट्रीब्यूटेड इन-मेमोरी डेटा ग्रिड और कंप्यूट प्लेटफॉर्म है। यह एक डिस्ट्रीब्यूटेड SQL डेटाबेस और स्टोरेज इंजन के रूप में कार्य करता है जिसे विलंबता को कम करने और गणना की गति बढ़ाने के लिए RAM में बड़े डेटासेट्स को संग्रहीत और प्रोसेस करने के लिए डिज़ाइन किया गया है। यह सिस्टम एक मल्टी-टियर स्टोरेज इंजन द्वारा प्रतिष्ठित है जो उच्च-गति पहुंच को बड़ी क्षमता के साथ संतुलित करने के लिए मेमोरी और डिस्क पर डेटा प्लेसमेंट को मैनेज करता है। इसमें एक डिस्ट्रीब्यूटेड कंप्यूट ग्रिड है जो नेटवर्क ट्रैफिक को कम करने के लिए सीधे उन नोड्स पर कस्टम लॉजिक निष्पादित करता है जहां डेटा रहता है। यह प्लेटफॉर्म ACID ट्रांजेक्शन प्रबंधन, मानक SQL क्वेरी और की-वैल्यू ऑपरेशन्स सहित क्षमताओं का एक व्यापक सेट प्रदान करता है। यह रिएक्टिव स्ट्रीम्स के माध्यम से उच्च-वॉल्यूम डेटा अंतर्ग्रहण का समर्थन करता है और कई प्रोग्रामिंग भाषाओं, मानक डेटाबेस ड्राइवर्स और एक REST API के माध्यम से एकीकरण प्रदान करता है। सिस्टम को कंटेनर्स का उपयोग करके एक डिस्ट्रीब्यूटेड क्लस्टर के रूप में डिप्लॉय किया जा सकता है या Kubernetes के माध्यम से ऑर्केस्ट्रेट किया जा सकता है। यह प्रोजेक्ट Java में लिखा गया है और इसे बाइनरी आर्काइव्स के माध्यम से इंस्टॉल किया जा सकता है।
Combines high-throughput event streams with reference data using a memory-first architecture for low-latency enrichment.
Javabig-datacachecloud
