2 repository-uri
On-demand processing pipelines for mapping, filtering, and reducing data streams.
Distinct from Lazy Stream Sources: Candidates focus on specific target streaming or DOM events; this is a general functional programming stream utility.
Explore 2 awesome GitHub repositories matching data & databases · Lazy Stream Processing. Refine with filters or upvote what's useful.
Lancet este o extensie cuprinzătoare a bibliotecii standard Go, oferind o colecție de funcții reutilizabile și structuri de date concepute pentru a reduce codul boilerplate în aplicații. Servește drept set de instrumente generalist pentru mai multe domenii, inclusiv concurență, securitate, rețelistică și logică funcțională. Proiectul se distinge prin seturi de instrumente specializate pentru concurența în Go, cum ar fi keyed locking și procesarea fluxurilor bazată pe canale, precum și un kit dedicat de programare funcțională care suportă currying și compunerea funcțiilor. Include, de asemenea, o bibliotecă dedicată de criptografie care implementează criptarea simetrică și asimetrică folosind standardele AES, RSA și SM. Biblioteca acoperă o gamă largă de domenii de capabilitate, inclusiv structuri de date avansate precum cache-uri LRU și arbori de căutare binară, calcul matematic pentru algebră și statistică, și integrare cu sistemul de operare pentru gestionarea proceselor și a fișierelor. Mai mult, oferă utilitare pentru rețelistică HTTP, manipularea datelor și a timpului, și procesarea datelor la nivel înalt, cum ar fi algebra mulțimilor și evaluarea lazy a fluxurilor.
Creates lazy streams from slices or channels to perform mapping, filtering, and reduction.
dsq is a command-line interface and data engine for executing SQL queries against local structured files, such as CSV, JSON, Parquet, and Excel, without requiring a formal database import. It functions as a schema-inference engine that automatically detects data types and maps heterogeneous file structures into relational tables for analysis. The tool utilizes a lazy stream data processor and checksum-based disk caching to handle large datasets with minimal memory usage. It provides a persistent interactive shell for iterative data exploration, allowing users to inspect inferred schemas and r
Processes records one by one from source files to minimize memory usage during large dataset operations.