9 مستودعات
Layered stream wrappers that apply real-time operations like hashing, encryption, or decompression.
Distinct from Streaming I/O: Distinct from Real-Time Data Streaming as it focuses on a decorator-style pipeline for individual streams, not event-driven platforms.
Explore 9 awesome GitHub repositories matching software engineering & architecture · Streaming Data Transformations. Refine with filters or upvote what's useful.
Okio is a Java I/O library providing a set of tools for efficient byte-stream processing and file system operations. It functions as a buffered byte stream handler and streaming data transformer, utilizing a cross-platform file system API to manage data movement. The project is distinguished by its use of pooled mutable byte buffers that treat sequences as queues to reduce memory copying and garbage collection churn. It further decouples file operations from the host operating system through an abstraction-based file system, allowing for consistent path manipulation and atomic operations acro
Layers sources to perform real-time operations such as decompression, decryption, or hashing as data is read.
language-ext is a functional programming framework for C# that provides a suite of immutable data structures and monadic types. It enables the implementation of pure functional programming patterns, utilizing containers to manage side effects, optional values, and error handling. The library is distinguished by its advanced concurrency and state management tools, including a software transactional memory system and lock-free atomic references. It also provides specialized utilities for distributed systems, such as vector clocks for causality tracking and deterministic data conflict resolution
Implements data transformation via transducers and internal buffers within a streaming pipeline.
Fluvio هو منصة تدفق أحداث موزعة ومحرك تدفق سحابي أصلي مصمم لجمع وتخزين ونسخ تدفقات البيانات في الوقت الفعلي عبر مجموعة موزعة. يعمل كخط أنابيب بيانات في الوقت الفعلي لبناء سير عمل ذي حالة يقوم باستيعاب وإثراء وتصدير البيانات بين المصادر والمصارف الخارجية. تتميز المنصة باستخدام WebAssembly لتنفيذ وحدات مجمعة لتحويلات البيانات والفلترة المضمنة. يسمح هذا بتنفيذ منطق أعمال مخصص لإعادة تشكيل المعلومات أثناء الحركة دون الحاجة إلى إعادة تشغيل المجموعة. يغطي النظام مجموعة واسعة من القدرات بما في ذلك استيعاب البيانات القائم على الموصلات من بروتوكولات خارجية، وتخزين غير قابل للتغيير قائم على السجلات مع إدخال/إخراج بدون نسخ، وتوسيع المجموعة الأفقي. يدعم إنشاء خطوط أنابيب معقدة قائمة على الأحداث تستخدم المعالجة ذات الحالة، والتجميعات القائمة على النوافذ، وتوزيع البيانات القائم على التقسيم. يمكن نشر المحرك كثنائي خفيف الوزن على معماريات نظام متنوعة، بما في ذلك أجهزة ARM64 IoT لمعالجة بيانات الحافة.
Executes custom functions to process or modify data in motion during production or consumption.
يوفر هذا المشروع مواصفات رسمية ومجموعة من واجهات Java القياسية لمعالجة التدفقات غير المتزامنة. يحدد بروتوكولاً موحداً لتمرير تسلسلات العناصر بين الناشرين والمشتركين عبر خيوط معالجة (threads) مختلفة، مع التركيز على مواصفات التدفقات التفاعلية (reactive streams) لـ JVM. يركز المشروع على قابلية التشغيل البيني من خلال توفير واجهة برمجة تطبيقات (API) مشتركة تسمح لمكتبات التدفق غير المتزامن المختلفة بالعمل معاً. يتم تحقيق ذلك من خلال مجموعة قياسية من الواجهات وآليات الربط التي تترجم بين مواصفات التدفق غير المتوافقة. تغطي المواصفات بروتوكول الضغط العكسي (backpressure) غير المحظور لتنظيم تدفق البيانات ومنع تحميل النظام الزائد من خلال مطالبة المشتركين بالإشارة إلى الطلب. كما تحدد دورة حياة التدفقات، بما في ذلك إدارة الاشتراك، ومعالجة العناصر، والإنهاء القائم على الإشارة لتنظيف الموارد. يتضمن المشروع إطار عمل للتحقق من سلوك التدفق للتحقق من منطق المعالجة مقابل قواعد الضغط العكسي والأحداث غير المتزامنة.
Provides capabilities to manipulate data as it flows through a processing stage by acting as both consumer and provider.
هذا المشروع عبارة عن دراسة تقنية ودليل تحليل يركز على البنية الداخلية لـ Node.js. يوفر فحصاً متعمقاً لوقت التشغيل، مع التركيز على كيفية إدارة المحرك لمقابض الذاكرة، وتنفيذ العمليات غير المتزامنة، وتنفيذ منطق الوحدات الأساسية. يحلل الدليل بشكل خاص تكامل فئات ودوال C++ الأصلية في JavaScript ويوثق سلوك حلقة أحداث libuv. يتضمن مراجع مفصلة لتحسين الأداء من خلال تحديد حالات فشل مترجم V8 وتوصيف التنفيذ لتحسين كفاءة الموارد. تغطي المادة مجموعة واسعة من الأنظمة الداخلية، بما في ذلك برمجة الشبكات منخفضة المستوى لـ TCP و UDP، وإدارة العمليات للعناقيد والعمليات الفرعية، وآليات الإدخال/الإخراج غير المحظورة. كما يستكشف التنفيذ على مستوى المصدر للمخازن المؤقتة، والتدفقات، وطبقة الربط من الأصل إلى النص البرمجي.
Analyzes the use of layered stream wrappers to modify or compress data in real-time.
هذا المشروع عبارة عن مستودع تعليمي ومورد دراسي يوفر مجموعة شاملة من ملاحظات الدراسة، وأدلة البرمجة، وأمثلة كود قابلة للتشغيل. يعمل كدليل لتطوير Java SE وتطوير ويب Java، ويتميز بمكتبة من عينات الكود التي توضح الخوارزميات الشائعة والتنفيذات التقنية. يركز المستودع على تحليل لغة Java ووقت التشغيل، مع دروس تفصيلية حول تعدد الخيوط (multithreading) والتزامن. يوفر تنفيذات عملية لهندسة البرمجيات وأنماط التصميم، مثل نمط Singleton ونمط Strategy، بالإضافة إلى استكشافات لـ Java Virtual Machine و bytecode. يغطي المشروع مجموعة واسعة من القدرات بما في ذلك أساسيات اللغة مثل generics و annotations، وأساسيات تطوير الويب التي تتضمن معالجة طلبات HTTP وإدارة الجلسات، وبدائيات التزامن لدورة حياة الخيوط ومزامنة الموارد. كما يتضمن أدوات للأمان، ومعالجة البيانات، وتوليد الصفحات الديناميكية.
Implements stream-based data transformations using filtering, mapping, and reducing operations.
This library is a CSV data serializer and stringifier for transforming structured records into comma-separated values. It provides tools for converting data records into plain text via synchronous, callback-based, or stream-based implementations. The project distinguishes itself by offering a streaming implementation through the native Node.js Transform API, which allows for the processing of large datasets without loading all records into memory. It also includes a flexible formatting system to define specific delimiters, quotes, escape characters, and header configurations. The toolset cov
Implements a Node.js transform stream to process large datasets for CSV conversion without overloading memory.
This project is a comprehensive learning resource and technical reference for reactive programming with RxJS. It provides a structured curriculum, curated examples, and an indexed operator catalog to help developers shift from imperative to declarative programming using observable data streams and functional operators. The repository features a library of reactive UI patterns and implementation recipes. These cover practical applications such as type-ahead search, game loops, gesture-based interactions like swipe-to-refresh, and security overlays like lockscreens. The resource covers a broad
Provides a comprehensive set of operators to reshape and map emitted values using projection functions.
يعمل هذا المشروع كخارطة طريق تعليمية شاملة ومنهج لإتقان تطوير تطبيقات Android الاحترافية. يوفر مسار تعلم مهيكل يوجه المطورين عبر مبادئ تصميم النظام الأساسية، والأنماط المعمارية، والمهارات التقنية المطلوبة لبناء واختبار ونشر برمجيات محمولة قابلة للتوسع. يتميز المورد بتنظيم الموضوعات التقنية المعقدة في تسلسل منطقي، يغطي كل شيء بدءاً من أدوات تطوير الأجهزة المحمولة الأساسية وصولاً إلى ممارسات هندسة البرمجيات المتقدمة. ويؤكد على الأنماط القياسية في الصناعة لهيكلة قواعد كود قابلة للصيانة، مما يضمن اكتساب المتعلمين الكفاءة في أنظمة البناء، وإدارة التبعيات، وتكامل الخدمات الخارجية. بعيداً عن المعمارية الأساسية، يتناول المنهج جوانب حاسمة من نظام الأجهزة المحمولة، بما في ذلك معالجة التدفق التفاعلي، والتنفيذ غير المتزامن، وإدارة المكونات المدركة لدورة الحياة. كما يتضمن توجيهات حول تأمين بيانات التطبيق، والتحقق من جودة البرمجيات من خلال الاختبار، وتنفيذ واجهات مستخدم متجاوبة. يعمل المستودع كدليل مركزي للمطورين الذين يسعون لتوحيد نهجهم في هندسة الأجهزة المحمولة ونشر البرمجيات الاحترافية.
Modifies or converts emitted data into different formats or types before it reaches the final consumer.