6 مستودعات
Processing of large data files as a sequence of events to minimize memory footprint.
Distinct from Streaming Processing: None of the candidates cover general event-based streaming for data serialization formats.
Explore 6 awesome GitHub repositories matching data & databases · Event-Based Stream Processing. Refine with filters or upvote what's useful.
RxGo هي مكتبة برمجة تفاعلية وظيفية وتنفيذ لـ ReactiveX للغة Go. تعمل كمجموعة أدوات لمعالجة التدفق غير المتزامن مصممة لتنسيق البرامج القائمة على الأحداث وتدفقات البيانات باستخدام نمط الملاحظ (observable). تمكن المكتبة من بناء خطوط أنابيب معالجة غير متزامنة تقوم بتحويل وتصفية ودمج تسلسلات الأحداث. وتتميز باستخدام عوامل وظيفية لتكوين خطوط الأنابيب هذه وتوفر آليات لإدارة التنفيذ المتزامن. تغطي مجموعة الأدوات مجموعة واسعة من إمكانات تنسيق التدفق، بما في ذلك تجميع البيانات، ودمج التدفقات المتعددة، وتحويل التدفقات إلى هياكل بيانات ثابتة. وتتضمن دعماً مدمجاً لاستعادة الأخطاء، والتحكم في الضغط العكسي (backpressure) لتنظيم سرعات إنتاج البيانات، وتجميع العمال (worker pooling) لموازاة المعالجة عبر أنوية وحدة المعالجة المركزية.
The library selects specific items from a stream based on predicates, time-based debouncing, or index positions.
RxPY هي مكتبة للبرمجة التفاعلية الوظيفية ومكتبة ReactiveX للملاحظات (Observable) في Python. تعمل كمعالج تدفق غير متزامن وإطار عمل تنسيق قائم على الأحداث، وتُستخدم لبناء خطوط أنابيب بيانات تتفاعل مع تغيرات الحالة أو تدفقات الأحداث بمرور الوقت. توفر المكتبة مجموعة أدوات لتأليف البرامج غير المتزامنة والقائمة على الأحداث باستخدام تسلسلات قابلة للملاحظة وعوامل تشغيل. تتميز باستخدام مجدولات (Schedulers) قابلة للتكوين لإدارة التزامن والتوقيت ودورات حياة الاشتراك. يغطي المشروع مجموعة واسعة من قدرات معالجة التدفق، بما في ذلك تجميع البيانات، والتصفية، والدمج. كما يوفر آليات لبث الأحداث، وتخزين التسلسلات مؤقتًا، ومعالجة الأخطاء، بالإضافة إلى أدوات لتنسيق التدفقات القابلة للملاحظة مع حلقات الأحداث غير المتزامنة. يتم دعم الاختبار وضمان الجودة من خلال محاكاة الوقت الافتراضي، ونمذجة مخططات الرخام (Marble diagrams)، والتحقق من الانبعاثات.
Filters items from event streams based on predicates, indices, or timing criteria.
Lepton هي أداة متخصصة وتنسيق ملفات مصمم لضغط بيانات صور JPEG دون فقدان الجودة وتخزينها بكفاءة. تعمل الأداة كمحرك ضغط ومحسن تخزين يقلل من أحجام الملفات دون تغيير بيانات البكسل الأصلية، مما يضمن إعادة بناء الصور بدقة متطابقة (bit-perfect). يركز المشروع على تقليل مساحة القرص ومتطلبات النطاق الترددي للشبكة لأرشيفات الصور الرقمية. ويوفر إمكانيات لضغط وفك ضغط ملفات JPEG للحفاظ على تخزين صور عالي الجودة مع تقليل البصمة الإجمالية للبيانات. يستخدم التنفيذ مجموعة متنوعة من تقنيات ترميز الإنتروبيا ومعالجة البيانات، بما في ذلك الترميز الحسابي وترميز Huffman، والنمذجة التنبؤية، والمعالجة القائمة على التدفق. كما يدمج عمليات مصفوفة محسنة لمعالجة كتل بيانات الصور الكبيرة.
Processes large image files as a sequence of bytes to maintain a low memory footprint.
Riemann is a Clojure-based event stream processor and real-time analytics engine. It functions as a network telemetry pipeline and extensible event router that ingests, transforms, and routes event data from distributed systems. The system uses a domain-specific language to compute metrics and statistical patterns over continuous streams, enabling network trend analysis and real-time alerting. It supports dynamic plugin loading from the classpath and allows for live configuration reloading without interrupting active event streams. Capabilities include centralized telemetry aggregation, even
Transforms event streams using complex operations including linear prediction, rate calculation, and event coalescing.
YamlDotNet is a YAML serialization library and data mapping tool for .NET. It functions as a parser and generator that converts between .NET objects and YAML formatted text for data storage and configuration. The project provides capabilities for YAML document parsing and data object mapping. It transforms YAML streams into low-level representations or high-level object models for programmatic analysis and converts structured data objects back into valid YAML strings. The library covers general data serialization and configuration file management, allowing application data structures to be m
Allows reading large YAML files as a sequence of events to avoid loading entire documents into memory.
pulldown-cmark is a pull-parsing library that transforms Markdown text into a stream of events based on the CommonMark specification. It functions as an event-based processor that represents document structure as an iterator of events rather than a concrete syntax tree, serving as both a parser and a renderer to convert Markdown into HTML strings. The library is designed for memory efficiency by processing text as a stream to minimize resource usage. It supports programmatic document transformation, allowing users to map or filter the event stream before final rendering. The project includes
Processes Markdown as an event stream to ensure low memory overhead and high speed.