2 repositorios
On-demand processing pipelines for mapping, filtering, and reducing data streams.
Distinct from Lazy Stream Sources: Candidates focus on specific target streaming or DOM events; this is a general functional programming stream utility.
Explore 2 awesome GitHub repositories matching data & databases · Lazy Stream Processing. Refine with filters or upvote what's useful.
Lancet es una extensión integral de la biblioteca estándar de Go, que proporciona una colección de funciones reutilizables y estructuras de datos diseñadas para reducir el código repetitivo (boilerplate) en las aplicaciones. Sirve como un kit de herramientas de propósito general para múltiples dominios, incluyendo concurrencia, seguridad, redes y lógica funcional. El proyecto se distingue por sus kits de herramientas especializados para la concurrencia en Go, como el bloqueo por clave (keyed locking) y el procesamiento de flujos basado en canales, además de un kit de programación funcional dedicado que admite currificación y composición de funciones. También incluye una biblioteca de criptografía dedicada que implementa cifrado simétrico y asimétrico utilizando estándares AES, RSA y SM. La biblioteca cubre una amplia gama de áreas de capacidad, incluyendo estructuras de datos avanzadas como cachés LRU y árboles de búsqueda binaria, computación matemática para álgebra y estadística, e integración con el sistema operativo para la gestión de procesos y archivos. Además, proporciona utilidades para redes HTTP, manipulación de fechas y horas, y procesamiento de datos de alto nivel como álgebra de conjuntos y evaluación perezosa de flujos.
Creates lazy streams from slices or channels to perform mapping, filtering, and reduction.
dsq is a command-line interface and data engine for executing SQL queries against local structured files, such as CSV, JSON, Parquet, and Excel, without requiring a formal database import. It functions as a schema-inference engine that automatically detects data types and maps heterogeneous file structures into relational tables for analysis. The tool utilizes a lazy stream data processor and checksum-based disk caching to handle large datasets with minimal memory usage. It provides a persistent interactive shell for iterative data exploration, allowing users to inspect inferred schemas and r
Processes records one by one from source files to minimize memory usage during large dataset operations.