Awesome GitHub RepositoriesData Stream Processors

Pathway is a high-performance data processing framework designed for building unified batch and streaming pipelines. It functions as an orchestrator for complex data transformations, utilizing a differential dataflow engine to process updates incrementally. By treating static datasets and continuous event streams with identical logic, the platform ensures exactly-once processing semantics and consistent results across diverse data sources. The framework distinguishes itself through its specialized support for real-time artificial intelligence and retrieval-augmented generation. It features in

This project serves as a comprehensive technical reference for the architecture and design of data-intensive applications. It provides a structured analysis of the fundamental principles required to build reliable, scalable, and maintainable software systems, covering the core trade-offs inherent in modern data infrastructure. The repository explores the mechanics of distributed data management, including strategies for replication, partitioning, and achieving consensus across multiple nodes. It details the design of storage engines, indexing techniques, and transaction management models, whi

This project is a high-performance MQTT broker and IoT data platform designed to manage millions of concurrent device connections. It provides a scalable infrastructure for ingesting, processing, and routing telemetry data across distributed systems, utilizing an actor-based concurrency model to maintain high availability and state synchronization across cluster nodes. The platform distinguishes itself through integrated stream processing and edge computing capabilities. It allows users to execute declarative SQL-based rules directly against incoming message streams for real-time filtering, t

Benthos is a declarative stream processor and data integration pipeline used to route, transform, and filter information between disparate services. It functions as an at-least-once message broker and change data capture engine, using a transaction model to guarantee message delivery despite system crashes or server faults. The system is defined by an observability-first approach, featuring built-in HTTP health probes, performance metrics export, and distributed request flow tracing. It utilizes a plugin architecture that allows the core engine to be extended with custom binaries for new inpu

Fluent Bit هو ناقل سجلات سحابي المنشأ وجامع قياسات موحد مصمم كخط أنابيب بيانات فعال في الموارد. يقوم باستيعاب السجلات، والمقاييس، والتتبعات من مصادر متعددة، ومعالجتها في الوقت الفعلي قبل توجيه البيانات إلى خلفيات التخزين الخارجية. يعمل المشروع كمعالج تدفق في الوقت الفعلي ومعالج سجلات OpenTelemetry، قادر على تحويل وتصفية البيانات باستخدام SQL والمنطق الشرطي. كما يعمل كوكيل تتبع موزع يمكنه أخذ عينات من التتبعات لتقليل حجم البيانات مع الحفاظ على مسارات الطلبات الكاملة. يوفر النظام تسليم بيانات موثوقاً من خلال التخزين المؤقت المدعوم بنظام الملفات ومنطق إعادة المحاولة القائم على الحالة لمنع فقدان البيانات أثناء الانقطاعات. تدعم بنيته النمطية إضافات الإدخال والإخراج القابلة للتوصيل، والتوجيه القائم على البيانات الوصفية، والقدرة على توسيع الوظائف عبر مكتبات مشتركة. يمكن نشر البرنامج كحاوية عبر بنيات CPU وأنظمة تشغيل مختلفة.