6 रिपॉजिटरी
Awesome GitHub RepositoriesEvent-Based Stream Processing
Processing of large data files as a sequence of events to minimize memory footprint.
Distinct from Streaming Processing: None of the candidates cover general event-based streaming for data serialization formats.
Explore 6 awesome GitHub repositories matching data & databases · Event-Based Stream Processing. Refine with filters or upvote what's useful.
Awesome Event-Based Stream Processing GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- reactivex/rxgo
ReactiveX/RxGo
5,091GitHub पर देखेंRxGo एक फ़ंक्शनल रिएक्टिव प्रोग्रामिंग लाइब्रेरी और Go भाषा के लिए ReactiveX का कार्यान्वयन है। यह ऑब्जर्वेबल पैटर्न का उपयोग करके इवेंट-आधारित प्रोग्राम्स और डेटा फ़्लो को कोऑर्डिनेट करने के लिए डिज़ाइन किया गया एक एसिंक्रोनस स्ट्रीम प्रोसेसिंग टूलकिट है। यह लाइब्रेरी एसिंक्रोनस प्रोसेसिंग पाइपलाइन्स के निर्माण को सक्षम बनाती है जो इवेंट सीक्वेंस को ट्रांसफ़ॉर्म, फ़िल्टर और संयोजित करती हैं। यह इन पाइपलाइन्स को कंपोज़ करने के लिए फ़ंक्शनल ऑपरेटर्स के उपयोग के माध्यम से खुद को अलग बनाती है और कॉन्करेंट निष्पादन को मैनेज करने के लिए तंत्र प्रदान करती है। यह टूलकिट डेटा एग्रीगेशन, मल्टी-स्ट्रीम कॉम्बिनेशन और स्ट्रीम्स को स्टैटिक डेटा स्ट्रक्चर्स में बदलने सहित स्ट्रीम ऑर्केस्ट्रेशन क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है। इसमें एरर रिकवरी, डेटा उत्पादन गति को विनियमित करने के लिए बैकप्रेशर कंट्रोल, और CPU कोर पर प्रोसेसिंग को समानांतर करने के लिए वर्कर पूलिंग के लिए इन-बिल्ट सपोर्ट शामिल है।
The library selects specific items from a stream based on predicates, time-based debouncing, or index positions.
Goasyncasynchronousconcurrency - reactivex/rxpy
ReactiveX/RxPY
5,014GitHub पर देखेंRxPY is a functional reactive programming library and a ReactiveX observable library for Python. It serves as an asynchronous stream processor and event-driven coordination framework used to build data pipelines that react to changes in state or streams of events over time. The library provides a toolkit for composing asynchronous and event-based programs using observable sequences and operators. It distinguishes itself through the use of configurable schedulers to manage concurrency, timing, and subscription lifecycles. The project covers a wide range of stream processing capabilities, incl
Filters items from event streams based on predicates, indices, or timing criteria.
Python - dropbox/lepton
dropbox/lepton
4,997GitHub पर देखेंLepton एक विशेष टूल और फाइल फॉर्मेट है जिसे JPEG इमेज डेटा के लॉसलेस कंप्रेशन और कुशल स्टोरेज के लिए डिज़ाइन किया गया है। यह एक लॉसलेस कंप्रेसर और स्टोरेज ऑप्टिमाइज़र के रूप में कार्य करता है जो मूल पिक्सेल डेटा को बदले बिना फाइल साइज को कम करता है, जिससे इमेज का बिट-परफेक्ट पुनर्निर्माण सुनिश्चित होता है। यह प्रोजेक्ट डिजिटल इमेज आर्काइव के लिए डिस्क स्पेस और नेटवर्क बैंडविड्थ की आवश्यकताओं को कम करने पर केंद्रित है। यह उच्च-गुणवत्ता वाले इमेज स्टोरेज को बनाए रखते हुए और कुल डेटा फुटप्रिंट को कम करने के लिए JPEG फाइलों के कंप्रेशन और डीकंप्रेशन दोनों की क्षमताएं प्रदान करता है। इसका कार्यान्वयन विभिन्न एंट्रॉपी एनकोडिंग और डेटा प्रोसेसिंग तकनीकों का उपयोग करता है, जिसमें अरिथमेटिक और हफमैन कोडिंग, प्रेडिक्टिव मॉडलिंग और स्ट्रीम-आधारित प्रोसेसिंग शामिल है। यह बड़े इमेज डेटा ब्लॉक की प्रोसेसिंग के लिए ऑप्टिमाइज़्ड ऐरे ऑपरेशंस को भी एकीकृत करता है।
Processes large image files as a sequence of bytes to maintain a low memory footprint.
C++compressioncompression-algorithmdecompression - riemann/riemann
riemann/riemann
4,266GitHub पर देखेंRiemann is a Clojure-based event stream processor and real-time analytics engine. It functions as a network telemetry pipeline and extensible event router that ingests, transforms, and routes event data from distributed systems. The system uses a domain-specific language to compute metrics and statistical patterns over continuous streams, enabling network trend analysis and real-time alerting. It supports dynamic plugin loading from the classpath and allows for live configuration reloading without interrupting active event streams. Capabilities include centralized telemetry aggregation, even
Transforms event streams using complex operations including linear prediction, rate calculation, and event coalescing.
Clojure - aaubry/yamldotnet
aaubry/YamlDotNet
2,807GitHub पर देखेंYamlDotNet is a YAML serialization library and data mapping tool for .NET. It functions as a parser and generator that converts between .NET objects and YAML formatted text for data storage and configuration. The project provides capabilities for YAML document parsing and data object mapping. It transforms YAML streams into low-level representations or high-level object models for programmatic analysis and converts structured data objects back into valid YAML strings. The library covers general data serialization and configuration file management, allowing application data structures to be m
Allows reading large YAML files as a sequence of events to avoid loading entire documents into memory.
C#dotnetparserserialization - pulldown-cmark/pulldown-cmark
pulldown-cmark/pulldown-cmark
2,610GitHub पर देखेंpulldown-cmark is a pull-parsing library that transforms Markdown text into a stream of events based on the CommonMark specification. It functions as an event-based processor that represents document structure as an iterator of events rather than a concrete syntax tree, serving as both a parser and a renderer to convert Markdown into HTML strings. The library is designed for memory efficiency by processing text as a stream to minimize resource usage. It supports programmatic document transformation, allowing users to map or filter the event stream before final rendering. The project includes
Processes Markdown as an event stream to ensure low memory overhead and high speed.
Rustcommonmarkmarkdownparser
