4 रिपॉजिटरी
Execution of differential computations like aggregations and joins to maintain up-to-date streaming views.
Distinct from Incremental Data Streaming: Focuses on the execution of differential logic (joins/aggs) rather than just memory-efficient streaming of data.
Explore 4 awesome GitHub repositories matching data & databases · Incremental Computation. Refine with filters or upvote what's useful.
RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen
Executes incremental aggregations and joins to maintain real-time views of streaming data.
Fast n-dimensional filtering and grouping of records.
Computes histograms and top-K lists incrementally as filter conditions change, avoiding full recomputation.
Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi
Processes data changes incrementally so only modified content is re-computed, keeping large corpora fresh without full recomputation.
Stumpy एक Python लाइब्रेरी है जो मैट्रिक्स प्रोफाइल एल्गोरिदम के कार्यान्वयन पर केंद्रित स्केलेबल टाइम सीरीज विश्लेषण के लिए है। यह टाइम सीरीज डेटा के भीतर दोहराए जाने वाले पैटर्न और विसंगतियों की पहचान करने के लिए डिस्टेंस प्रोफाइल की गणना करने के लिए एक फ्रेमवर्क प्रदान करता है। प्रोजेक्ट Dask का उपयोग करके GPU हार्डवेयर और डिस्ट्रीब्यूटेड क्लस्टर्स में भारी गणनाओं को स्केल करने की अपनी क्षमता द्वारा प्रतिष्ठित है। यह समवर्ती डेटा स्ट्रीम में मोटिफ्स खोजने के लिए मल्टीडायमेंशनल विश्लेषण का समर्थन करता है और वास्तविक समय स्ट्रीमिंग विश्लेषण के लिए वृद्धिशील गणना प्रदान करता है। लाइब्रेरी टाइम सीरीज माइनिंग तकनीकों की एक विस्तृत श्रृंखला को कवर करती है, जिसमें मोटिफ डिस्कवरी, विसंगति का पता लगाना और अनुक्रम पैटर्न मिलान शामिल है। यह शासन परिवर्तनों का पता लगाने के लिए सिमेंटिक सेगमेंटेशन और समान सबसीक्वेंस पैटर्न की अस्थायी रूप से क्रमबद्ध श्रृंखला निकालने के लिए उपकरण भी प्रदान करती है।
Calculates matrix profiles incrementally as new data arrives to monitor time series in real time.