Awesome GitHub RepositoriesEvent-Based Stream Processing

RxGo es una biblioteca de programación reactiva funcional y una implementación de ReactiveX para el lenguaje Go. Sirve como un kit de herramientas de procesamiento de flujos asíncronos diseñado para coordinar programas basados en eventos y flujos de datos utilizando el patrón observable. La biblioteca permite la construcción de pipelines de procesamiento asíncrono que transforman, filtran y combinan secuencias de eventos. Se distingue por el uso de operadores funcionales para componer estos pipelines y proporciona mecanismos para gestionar la ejecución concurrente. El kit de herramientas cubre una amplia gama de capacidades de orquestación de flujos, incluyendo agregación de datos, combinación de múltiples flujos y la conversión de flujos en estructuras de datos estáticas. Incluye soporte integrado para recuperación de errores, control de contrapresión (backpressure) para regular las velocidades de producción de datos y agrupación de workers para paralelizar el procesamiento a través de núcleos de CPU.

RxPY es una librería de programación reactiva funcional y una librería de observables ReactiveX para Python. Funciona como un procesador de flujos asíncronos y un framework de coordinación basado en eventos, utilizado para construir pipelines de datos que reaccionan a cambios de estado o flujos de eventos a lo largo del tiempo. La librería proporciona un kit de herramientas para componer programas asíncronos y basados en eventos mediante secuencias observables y operadores. Se distingue por el uso de planificadores (schedulers) configurables para gestionar la concurrencia, el timing y los ciclos de vida de las suscripciones. El proyecto cubre una amplia gama de capacidades de procesamiento de flujos, incluyendo agregación, filtrado y combinación de datos. Proporciona mecanismos para la difusión de eventos, almacenamiento en búfer de secuencias y gestión de errores, así como herramientas para coordinar flujos observables con bucles de eventos asíncronos. Las pruebas y el aseguramiento de la calidad se apoyan en la simulación de tiempo virtual, el modelado con diagramas de mármol y la verificación de emisiones.

Lepton es una herramienta especializada y un formato de archivo diseñado para la compresión sin pérdida y el almacenamiento eficiente de datos de imagen JPEG. Funciona como un compresor sin pérdida y optimizador de almacenamiento que reduce el tamaño de los archivos sin alterar los datos originales de los píxeles, garantizando una reconstrucción bit a bit de las imágenes. El proyecto se centra en reducir el espacio en disco y los requisitos de ancho de banda de red para archivos de imágenes digitales. Proporciona capacidades tanto para la compresión como para la descompresión de archivos JPEG, manteniendo un almacenamiento de imágenes de alta calidad y minimizando la huella de datos general. La implementación utiliza diversas técnicas de codificación de entropía y procesamiento de datos, incluyendo codificación aritmética y de Huffman, modelado predictivo y procesamiento basado en flujos. También integra operaciones de matriz optimizadas para el procesamiento de grandes bloques de datos de imagen.

Riemann is a Clojure-based event stream processor and real-time analytics engine. It functions as a network telemetry pipeline and extensible event router that ingests, transforms, and routes event data from distributed systems. The system uses a domain-specific language to compute metrics and statistical patterns over continuous streams, enabling network trend analysis and real-time alerting. It supports dynamic plugin loading from the classpath and allows for live configuration reloading without interrupting active event streams. Capabilities include centralized telemetry aggregation, even

YamlDotNet is a YAML serialization library and data mapping tool for .NET. It functions as a parser and generator that converts between .NET objects and YAML formatted text for data storage and configuration. The project provides capabilities for YAML document parsing and data object mapping. It transforms YAML streams into low-level representations or high-level object models for programmatic analysis and converts structured data objects back into valid YAML strings. The library covers general data serialization and configuration file management, allowing application data structures to be m

pulldown-cmark is a pull-parsing library that transforms Markdown text into a stream of events based on the CommonMark specification. It functions as an event-based processor that represents document structure as an iterator of events rather than a concrete syntax tree, serving as both a parser and a renderer to convert Markdown into HTML strings. The library is designed for memory efficiency by processing text as a stream to minimize resource usage. It supports programmatic document transformation, allowing users to map or filter the event stream before final rendering. The project includes