9 Repos
Processing of data sequences using generators to avoid full memory allocation.
Distinct from Declarative Sequence Processing: Specializes declarative sequence processing into the specific implementation of lazy evaluation via generators.
Explore 9 awesome GitHub repositories matching software engineering & architecture · Lazy Sequence Processing. Refine with filters or upvote what's useful.
pysheeet ist eine technische Referenzbibliothek, die eine kuratierte Sammlung von Code-Snippets und Implementierungsmustern für fortgeschrittene Python-Entwicklung, Systemintegration und High-Performance-Computing bereitstellt. Sie dient als umfassender Leitfaden für die Implementierung von Low-Level-Netzwerkprogrammierung, nativen C-Erweiterungen sowie asynchroner und nebenläufiger Programmierung. Das Projekt bietet spezialisierte Frameworks für die Entwicklung und Bereitstellung von Large Language Models, einschließlich Werkzeugen für verteilte GPU-Inferenz und High-Performance-Serving. Es enthält zudem detaillierte Muster für die Orchestrierung von High-Performance-Computing-Clustern, die GPU-Ressourcenzuweisung und Multi-Node-Workload-Management abdecken. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich sicherer Netzwerkkommunikation und Kryptografie, Object-Relational-Mapping und Datenbankverwaltung sowie die Implementierung komplexer Datenstrukturen und Algorithmen. Sie bietet zudem Utilities für Speicherverwaltung, native Interoperabilität via Foreign-Function-Interfaces und systemnahe OS-Integration.
Demonstrates the use of generator functions to produce data sequences lazily to minimize memory usage.
This project is a comprehensive library of practical Python code examples and patterns. It provides a collection of scripts and snippets designed to demonstrate a wide range of programming tasks, from basic syntax to advanced implementation patterns. The repository focuses on several core domains, including the implementation of concurrency and multithreading examples, data analysis snippets for cleaning and manipulating tabular data, and various data visualization examples. It also covers automation scripts for file system management and a variety of general programming patterns. Additional
Uses lazy evaluation and generators to process large datasets and nested lists without allocating full intermediate collections.
Lazy.js is a JavaScript library that implements a lazy evaluation model for processing collections and data streams. It defers all computation until iteration begins, building chains of transformations that execute only when values are consumed, avoiding intermediate arrays and buffering. The library wraps data sources into a uniform sequence interface, enabling operations like map and filter to be chained together without materializing intermediate results. The library extends lazy processing beyond simple collections to handle asynchronous data sources, DOM events, strings, and Node.js stre
Processing collections and data streams by deferring computation until results are requested, avoiding intermediate arrays and iterating only as needed.
Remeda ist eine typsichere funktionale Utility-Bibliothek für TypeScript, die für den Aufbau von Datentransformations-Pipelines entwickelt wurde. Sie bietet ein Toolkit von Hilfsfunktionen zur Manipulation von Arrays und Objekten, während die strikte Typintegrität während des gesamten Prozesses gewahrt bleibt. Die Bibliothek zeichnet sich durch ihre Unterstützung für sowohl Data-First- als auch Data-Last-Aufrufstile aus. Sie nutzt Lazy Evaluation zur Verarbeitung von Datensammlungen und führt Transformationen nur dann aus, wenn das Endergebnis angefordert wird, um die Erstellung von Zwischenkopien der Sammlung zu vermeiden. Das Toolkit deckt die Sammlungsmanipulation, Funktionskomposition und die Erstellung modularer Logikketten ab. Diese Funktionen ermöglichen die Konstruktion von Daten-Pipelines, die Informationen durch Sequenzen von Transformationen leiten.
Processes large data sets using lazy evaluation to improve performance by resolving items only when needed.
Reactor Core ist ein Toolkit für reaktive Programmierung und eine nicht-blockierende Grundlage für die Komposition asynchroner Datenpipelines auf der JVM. Es dient als Framework für asynchrone Stream-Verarbeitung und als Backpressure-Managementsystem, das es Entwicklern ermöglicht, Ereignissequenzen zu transformieren, zu filtern und zu kombinieren, während der Datenfluss zwischen Produzenten und Konsumenten reguliert wird, um Ressourcenerschöpfung zu vermeiden. Die Bibliothek differenziert sich durch ein ausgeklügeltes Concurrency-Scheduling-System und nachfragebasierte Flusskontrolle. Sie entkoppelt die Signalverarbeitung von spezifischen Threads unter Verwendung einer Scheduler-Registry und bietet Mechanismen für die kontextbewusste Propagierung unveränderlicher Metadaten über asynchrone Grenzen hinweg. Sie enthält zudem spezialisierte Tools für die Trace-Erfassung zur Assembly-Zeit und Virtual-Time-Scheduling, um das Testen zeitbasierter Operatoren zu erleichtern. Das Projekt deckt ein breites Spektrum an Funktionen ab, einschließlich funktionaler Datenverarbeitung für Sequenzaggregation und Windowing, einer Vielzahl von Fehlerbehebungsstrategien wie exponentiellem Backoff-Retry sowie Dienstprogrammen zur Überbrückung von Legacy-Callback- oder synchronen APIs in reaktive Streams. Zudem bietet es Instrumentierung für Pipeline-Monitoring und eine Suite von Test-Tools zur Verifizierung von Signalsequenzen.
Implements sophisticated windowing operators to group streaming data by time intervals or element counts.
Dies ist eine C++-Ranges-Bibliothek und Erweiterung der Standard Template Library, die eine Sammlung zusammensetzbarer Algorithmen und Lazy Views für die Verarbeitung von Datensequenzen bereitstellt. Sie fungiert als Framework für die Verarbeitung von Lazy-Sequenzen und als Template-Metaprogrammierungsbibliothek zur Manipulation von Typenlisten und zur Durchführung von Typberechnungen zur Kompilierzeit. Das Projekt ermöglicht funktionale Programmiermuster in C++ durch die Verwendung von Pipe-Syntax und partieller Anwendung, um lesbare, von links nach rechts verlaufende Datentransformationsketten zu erstellen. Es erlaubt die Konstruktion von Lazy-Datenpipelines, die Elemente bei Bedarf filtern und transformieren, um den Speicherbedarf zu reduzieren und unnötige Kopien zu vermeiden. Die Bibliothek deckt breite Funktionsbereiche ab, einschließlich Sequenzmanipulation, Typmanipulation zur Kompilierzeit sowie die Implementierung benutzerdefinierter Range-Typen und Iteratoren. Sie bietet Tools für Eager-In-Place-Containermutation, projektionsbasiertes Algorithmus-Dispatching und die Verwaltung von Typenlisten durch eine Reihe von Callables auf Typebene.
Implements a framework for building data pipelines that transform and filter elements on demand without full memory allocation.
more-itertools ist eine Python-Utility-Bibliothek für Iterables, die erweiterte Funktionen zur Manipulation, Filterung und Transformation von Datensequenzen bereitstellt. Sie dient als Toolkit für die Verarbeitung von Datenströmen und als Sammlung von Hilfsmitteln für das Management von Iterator-Zuständen, womit sie die Möglichkeiten des Standard-Moduls itertools erweitert. Die Bibliothek enthält ein kombinatorisches Mathe-Toolkit zur Erzeugung von Permutationen, Kombinationen und Potenzmengen sowie Routinen für zahlentheoretische Berechnungen und Matrixoperationen. Zudem bietet sie Werkzeuge für das Stream-State-Management, mit denen Benutzer einen Blick auf kommende Elemente werfen oder innerhalb einer Sequenz navigieren können, um die Datenverarbeitung zu steuern. Weitere Funktionen umfassen Routinen für das Chunking, Interleaving und Flattening komplexer Sequenzen. Das Toolkit enthält außerdem Funktionen zur Analyse von Iterable-Eigenschaften und zur Synchronisierung paralleler Datenströme.
Processes data sequences using generators to avoid full memory allocation via lazy evaluation.
coobjc is an Objective-C coroutine library that provides await methods and generators to simplify asynchronous programming in Objective-C and Swift. It enables the implementation of non-blocking workflows to eliminate nested callbacks and thread blocking. The toolkit includes a non-blocking Foundation wrapper to convert synchronous Foundation and UIKit APIs into suspendable operations. It provides a lazy sequence generator for producing values on demand via yield, as well as a channel-based communication tool for exchanging data between concurrent tasks using buffered and unbuffered channels.
Implements a lazy sequence generator to produce values on demand, reducing memory allocation for large data sets.
Reactor is a reactive streams library and framework for building asynchronous data pipelines. It provides a system for coordinating execution contexts via an asynchronous event-loop manager, alongside a set of reactive abstractions for implementing high-performance TCP, UDP, QUIC, and HTTP services. The project includes a specialized testing tool for verifying the timing and order of asynchronous data flows and a bill of materials to synchronize compatible versions of core reactive libraries and networking add-ons. Its capability surface covers non-blocking network services, demand-based bac
Segments continuous asynchronous data streams into smaller sub-sequences based on size, time, or predicates.