Awesome GitHub RepositoriesStream Processing Pipelines

Apache Storm is a distributed stream processing framework and real-time data processing engine. It functions as a fault-tolerant distributed computing system designed to analyze data in motion across a cluster of machines for continuous stream computation. The system enables the creation of fault-tolerant data pipelines and scalable event processing by distributing workloads across a network of computing nodes. This architecture ensures low latency and high throughput for live data while allowing the system to recover automatically from individual node failures. The framework provides capabi

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Lazy.js is a JavaScript library that implements a lazy evaluation model for processing collections and data streams. It defers all computation until iteration begins, building chains of transformations that execute only when values are consumed, avoiding intermediate arrays and buffering. The library wraps data sources into a uniform sequence interface, enabling operations like map and filter to be chained together without materializing intermediate results. The library extends lazy processing beyond simple collections to handle asynchronous data sources, DOM events, strings, and Node.js stre

RxGo este o bibliotecă de programare reactivă funcțională și o implementare a ReactiveX pentru limbajul Go. Servește ca un toolkit de procesare a fluxurilor asincrone conceput pentru a coordona programele bazate pe evenimente și fluxurile de date folosind modelul observabil. Biblioteca permite construirea de pipeline-uri de procesare asincronă care transformă, filtrează și combină secvențe de evenimente. Se remarcă prin utilizarea operatorilor funcționali pentru a compune aceste pipeline-uri și oferă mecanisme pentru gestionarea execuției concurente. Toolkit-ul acoperă o gamă largă de capabilități de orchestrare a fluxurilor, inclusiv agregarea datelor, combinarea multi-flux și conversia fluxurilor în structuri de date statice. Include suport integrat pentru recuperarea erorilor, controlul backpressure-ului pentru a regla vitezele de producție a datelor și worker pooling pentru paralelizarea procesării pe nucleele CPU.

ZIO is a functional effect system for the JVM that models asynchronous and concurrent programs as pure, composable values with typed error handling and dependency injection. Its core identity is built on fiber-based concurrency, where lightweight, non-blocking fibers execute millions of concurrent tasks with structured lifecycle management, and a dual-channel error model that separates expected business failures from unexpected system defects at compile time. The system provides effect-typed dependency injection through a layer-based dependency graph, pull-based reactive stream processing with

Maxwell este un instrument de captură a datelor modificate (CDC) MySQL și o aplicație de streaming binlog care convertește modificările bazei de date în evenimente JSON structurate. Acesta funcționează ca o conductă de date care citește log-urile binare MySQL pentru a sincroniza modificările între indici externi, motoare de căutare și sisteme de mesagerie distribuite, cum ar fi Kafka. Proiectul oferă capabilități pentru a menține audit trails persistente prin înregistrarea unui istoric cronologic al tuturor modificărilor bazei de date. Acesta permite sincronizarea datelor în timp real și integrarea arhitecturii bazate pe evenimente prin streaming-ul modificărilor bazei de date către platforme externe pentru a declanșa fluxuri de lucru și a notifica microserviciile. Sistemul acoperă domenii funcționale largi, inclusiv bootstrapping-ul datelor prin snapshot-uri inițiale, gestionarea versiunilor de schemă și filtrarea evenimentelor. Încorporează gestionarea traficului prin rutare bazată pe chei de partiție și oferă monitorizare prin verificări de sănătate și metrici de performanță expuse printr-un endpoint HTTP. Conexiunile la baze de date și producătorii de streaming sunt securizate folosind SSL și comunicare criptată.