7 repository-uri
Processing of large data files as a sequence of events to minimize memory footprint.
Distinct from Streaming Processing: None of the candidates cover general event-based streaming for data serialization formats.
Explore 7 awesome GitHub repositories matching data & databases · Event-Based Stream Processing. Refine with filters or upvote what's useful.
RxGo este o bibliotecă de programare reactivă funcțională și o implementare a ReactiveX pentru limbajul Go. Servește ca un toolkit de procesare a fluxurilor asincrone conceput pentru a coordona programele bazate pe evenimente și fluxurile de date folosind modelul observabil. Biblioteca permite construirea de pipeline-uri de procesare asincronă care transformă, filtrează și combină secvențe de evenimente. Se remarcă prin utilizarea operatorilor funcționali pentru a compune aceste pipeline-uri și oferă mecanisme pentru gestionarea execuției concurente. Toolkit-ul acoperă o gamă largă de capabilități de orchestrare a fluxurilor, inclusiv agregarea datelor, combinarea multi-flux și conversia fluxurilor în structuri de date statice. Include suport integrat pentru recuperarea erorilor, controlul backpressure-ului pentru a regla vitezele de producție a datelor și worker pooling pentru paralelizarea procesării pe nucleele CPU.
The library selects specific items from a stream based on predicates, time-based debouncing, or index positions.
RxPY este o bibliotecă de programare reactivă funcțională și o bibliotecă de tip ReactiveX observable pentru Python. Acesta servește drept procesor de fluxuri asincrone și framework de coordonare bazat pe evenimente, utilizat pentru a construi pipeline-uri de date care reacționează la schimbările de stare sau la fluxurile de evenimente în timp. Biblioteca oferă un set de instrumente pentru compunerea programelor asincrone și bazate pe evenimente folosind secvențe observabile și operatori. Se distinge prin utilizarea de schedulere configurabile pentru a gestiona concurența, sincronizarea și ciclurile de viață ale abonamentelor. Proiectul acoperă o gamă largă de capabilități de procesare a fluxurilor, inclusiv agregarea, filtrarea și combinarea datelor. Oferă mecanisme pentru difuzarea evenimentelor, buffering-ul secvențelor și gestionarea erorilor, precum și instrumente pentru coordonarea fluxurilor observabile cu bucle de evenimente asincrone. Testarea și asigurarea calității sunt susținute prin simularea timpului virtual, modelarea cu diagrame marble și verificarea emisiilor.
Filters items from event streams based on predicates, indices, or timing criteria.
Lepton este un instrument specializat și un format de fișier conceput pentru compresia fără pierderi și stocarea eficientă a datelor de imagine JPEG. Acesta funcționează ca un compresor lossless și un optimizator de stocare care reduce dimensiunea fișierelor fără a altera datele originale ale pixelilor, asigurând o reconstrucție bit-perfectă a imaginilor. Proiectul se concentrează pe reducerea spațiului pe disc și a cerințelor de lățime de bandă pentru arhivele de imagini digitale. Oferă capabilități atât pentru compresia, cât și pentru decompresia fișierelor JPEG, menținând o stocare de înaltă calitate și minimizând amprenta totală a datelor. Implementarea utilizează o varietate de tehnici de codificare entropică și procesare a datelor, inclusiv codificarea aritmetică și Huffman, modelarea predictivă și procesarea bazată pe fluxuri. De asemenea, integrează operațiuni optimizate pe array-uri pentru procesarea blocurilor mari de date de imagine.
Processes large image files as a sequence of bytes to maintain a low memory footprint.
Riemann este un procesor de fluxuri de evenimente și un motor de analiză în timp real bazat pe Clojure. Acesta funcționează ca o conductă de telemetrie de rețea și un router de evenimente extensibil care preia, transformă și direcționează datele de evenimente din sisteme distribuite. Sistemul utilizează un limbaj specific domeniului (DSL) pentru a calcula metrici și tipare statistice pe fluxuri continue, permițând analiza tendințelor de rețea și alertarea în timp real. Suportă încărcarea dinamică a plugin-urilor din classpath și permite reîncărcarea configurației în direct, fără a întrerupe fluxurile de evenimente active. Capabilitățile includ agregarea centralizată a telemetriei, etichetarea metadatelor evenimentelor și indexarea stării evenimentelor. Sistemul gestionează distribuția fluxurilor de evenimente prin divizare, procesare în loturi (batching) și filtrare, oferind în același timp transport securizat în rețea prin criptare și autentificare.
Transforms event streams using complex operations including linear prediction, rate calculation, and event coalescing.
YamlDotNet is a YAML serialization library and data mapping tool for .NET. It functions as a parser and generator that converts between .NET objects and YAML formatted text for data storage and configuration. The project provides capabilities for YAML document parsing and data object mapping. It transforms YAML streams into low-level representations or high-level object models for programmatic analysis and converts structured data objects back into valid YAML strings. The library covers general data serialization and configuration file management, allowing application data structures to be m
Allows reading large YAML files as a sequence of events to avoid loading entire documents into memory.
pulldown-cmark is a pull-parsing library that transforms Markdown text into a stream of events based on the CommonMark specification. It functions as an event-based processor that represents document structure as an iterator of events rather than a concrete syntax tree, serving as both a parser and a renderer to convert Markdown into HTML strings. The library is designed for memory efficiency by processing text as a stream to minimize resource usage. It supports programmatic document transformation, allowing users to map or filter the event stream before final rendering. The project includes
Processes Markdown as an event stream to ensure low memory overhead and high speed.
This library provides a framework for building event-driven, non-blocking network applications in PHP. It enables the development of asynchronous TCP and TLS servers and clients that manage multiple concurrent connections without stalling the main execution thread. By utilizing an event-loop architecture, the library handles network operations and data exchange through asynchronous streams, ensuring that the application remains responsive during high-throughput tasks. The project distinguishes itself through its integration with operating system primitives, such as raw file descriptors and Un
Manages high-throughput data exchange by processing incoming and outgoing network chunks incrementally through non-blocking, event-based interfaces.