Awesome GitHub RepositoriesData Stream Processors

Pathway is a high-performance data processing framework designed for building unified batch and streaming pipelines. It functions as an orchestrator for complex data transformations, utilizing a differential dataflow engine to process updates incrementally. By treating static datasets and continuous event streams with identical logic, the platform ensures exactly-once processing semantics and consistent results across diverse data sources. The framework distinguishes itself through its specialized support for real-time artificial intelligence and retrieval-augmented generation. It features in

This project serves as a comprehensive technical reference for the architecture and design of data-intensive applications. It provides a structured analysis of the fundamental principles required to build reliable, scalable, and maintainable software systems, covering the core trade-offs inherent in modern data infrastructure. The repository explores the mechanics of distributed data management, including strategies for replication, partitioning, and achieving consensus across multiple nodes. It details the design of storage engines, indexing techniques, and transaction management models, whi

This project is a high-performance MQTT broker and IoT data platform designed to manage millions of concurrent device connections. It provides a scalable infrastructure for ingesting, processing, and routing telemetry data across distributed systems, utilizing an actor-based concurrency model to maintain high availability and state synchronization across cluster nodes. The platform distinguishes itself through integrated stream processing and edge computing capabilities. It allows users to execute declarative SQL-based rules directly against incoming message streams for real-time filtering, t

Benthos is a declarative stream processor and data integration pipeline used to route, transform, and filter information between disparate services. It functions as an at-least-once message broker and change data capture engine, using a transaction model to guarantee message delivery despite system crashes or server faults. The system is defined by an observability-first approach, featuring built-in HTTP health probes, performance metrics export, and distributed request flow tracing. It utilizes a plugin architecture that allows the core engine to be extended with custom binaries for new inpu

Fluent Bit este un log shipper cloud-native și un colector unificat de telemetrie conceput ca un pipeline de date eficient din punct de vedere al resurselor. Acesta ingerează log-uri, metrici și urme (traces) din surse multiple, procesându-le în timp real înainte de a direcționa datele către backend-uri de stocare externe. Proiectul funcționează ca un procesor de flux în timp real și procesor de log-uri OpenTelemetry, capabil să transforme și să filtreze datele folosind SQL și logică condițională. Acționează, de asemenea, ca un agent de tracing distribuit care poate eșantiona urmele pentru a reduce volumul de date, păstrând în același timp căile complete ale cererilor. Sistemul oferă livrarea fiabilă a datelor prin buffering bazat pe sistemul de fișiere și logică de reîncercare cu stare pentru a preveni pierderea datelor în timpul întreruperilor. Arhitectura sa modulară suportă plugin-uri de input și output interschimbabile, rutare bazată pe metadate și capacitatea de a extinde funcționalitatea prin biblioteci partajate. Software-ul poate fi implementat ca un container pe diferite arhitecturi CPU și sisteme de operare.