9 dépôts
Processing of data sequences using generators to avoid full memory allocation.
Distinct from Declarative Sequence Processing: Specializes declarative sequence processing into the specific implementation of lazy evaluation via generators.
Explore 9 awesome GitHub repositories matching software engineering & architecture · Lazy Sequence Processing. Refine with filters or upvote what's useful.
pysheeet est une bibliothèque de référence technique fournissant une collection organisée d'extraits de code et de modèles d'implémentation pour le développement Python avancé, l'intégration système et le calcul haute performance. Il sert de guide complet pour implémenter la programmation réseau de bas niveau, les extensions C natives, et la programmation asynchrone et concurrente. Le projet fournit des frameworks spécialisés pour le développement et le déploiement de grands modèles de langage, y compris des outils pour l'inférence GPU distribuée et le service haute performance. Il inclut également des modèles détaillés pour l'orchestration de clusters de calcul haute performance, couvrant l'allocation des ressources GPU et la gestion des charges de travail multi-nœuds. La bibliothèque couvre une large surface de capacités, y compris la communication réseau sécurisée et la cryptographie, l'ORM et la gestion de base de données, et l'implémentation de structures de données et d'algorithmes complexes. Elle fournit également des utilitaires pour la gestion de la mémoire, l'interopérabilité native via des interfaces de fonctions étrangères (FFI) et l'intégration au niveau du système d'exploitation.
Demonstrates the use of generator functions to produce data sequences lazily to minimize memory usage.
This project is a comprehensive library of practical Python code examples and patterns. It provides a collection of scripts and snippets designed to demonstrate a wide range of programming tasks, from basic syntax to advanced implementation patterns. The repository focuses on several core domains, including the implementation of concurrency and multithreading examples, data analysis snippets for cleaning and manipulating tabular data, and various data visualization examples. It also covers automation scripts for file system management and a variety of general programming patterns. Additional
Uses lazy evaluation and generators to process large datasets and nested lists without allocating full intermediate collections.
Lazy.js is a JavaScript library that implements a lazy evaluation model for processing collections and data streams. It defers all computation until iteration begins, building chains of transformations that execute only when values are consumed, avoiding intermediate arrays and buffering. The library wraps data sources into a uniform sequence interface, enabling operations like map and filter to be chained together without materializing intermediate results. The library extends lazy processing beyond simple collections to handle asynchronous data sources, DOM events, strings, and Node.js stre
Processing collections and data streams by deferring computation until results are requested, avoiding intermediate arrays and iterating only as needed.
Remeda est une bibliothèque utilitaire fonctionnelle typée pour TypeScript conçue pour construire des pipelines de transformation de données. Elle fournit une boîte à outils de fonctions d'assistance pour manipuler les tableaux et les objets tout en maintenant une intégrité de type stricte tout au long du processus. La bibliothèque se caractérise par son support des styles d'appel data-first et data-last. Elle utilise l'évaluation paresseuse (lazy evaluation) pour traiter les collections de données, n'évaluant les transformations que lorsque le résultat final est demandé afin d'éviter de créer des copies intermédiaires de collections. La boîte à outils couvre la manipulation de collections, la composition de fonctions et la création de chaînes de logique modulaires. Ces capacités permettent la construction de pipelines de données qui font circuler l'information à travers des séquences de transformations.
Processes large data sets using lazy evaluation to improve performance by resolving items only when needed.
Reactor Core est une boîte à outils de programmation réactive et une fondation non bloquante pour composer des pipelines de données asynchrones sur la JVM. Il sert de framework de traitement de flux asynchrone et de système de gestion de contre-pression (backpressure), permettant aux développeurs de transformer, filtrer et combiner des séquences d'événements tout en régulant le flux de données entre les producteurs et les consommateurs pour éviter l'épuisement des ressources. La bibliothèque se différencie par un système sophistiqué de planification de la concurrence et un contrôle de flux basé sur la demande. Elle découple le traitement des signaux de threads spécifiques en utilisant un registre de planificateur et fournit des mécanismes pour la propagation de métadonnées immuables sensibles au contexte à travers les frontières asynchrones. Elle dispose également d'outils spécialisés pour la capture de traces au moment de l'assemblage et la planification en temps virtuel pour faciliter le test des opérateurs basés sur le temps. Le projet couvre un large éventail de capacités, incluant le traitement fonctionnel de données pour l'agrégation et le fenêtrage de séquences, une variété de stratégies de récupération d'erreurs comme les tentatives avec backoff exponentiel, et des utilitaires pour faire le pont entre les API de rappel (callback) héritées ou synchrones et les flux réactifs. Elle fournit en outre une instrumentation pour la surveillance des pipelines et une suite d'outils de test pour vérifier les séquences de signaux.
Implements sophisticated windowing operators to group streaming data by time intervals or element counts.
Il s'agit d'une bibliothèque de plages C++ et d'une extension de la Standard Template Library qui fournit une collection d'algorithmes composables et de vues paresseuses pour traiter des séquences de données. Elle fonctionne comme un framework de traitement de séquence paresseux et une bibliothèque de métaprogrammation de modèles pour manipuler des listes de types et effectuer des calculs de type à la compilation. Le projet permet des modèles de programmation fonctionnelle en C++ grâce à l'utilisation de la syntaxe de pipe et de l'application partielle pour créer des chaînes de transformation de données lisibles, de gauche à droite. Il permet la construction de pipelines de données paresseux qui filtrent et transforment les éléments à la demande pour réduire la surcharge mémoire et éviter les copies inutiles. La bibliothèque couvre de larges domaines de capacité, y compris la manipulation de séquences, la manipulation de types à la compilation et l'implémentation de types de plage et d'itérateurs personnalisés. Elle fournit des outils pour la mutation de conteneurs sur place, la répartition d'algorithmes basée sur la projection et la gestion de listes de types via une série d'appelables au niveau du type.
Implements a framework for building data pipelines that transform and filter elements on demand without full memory allocation.
more-itertools is a Python iterable utility library providing advanced functions for manipulating, filtering, and transforming data sequences. It serves as a data stream processing toolkit and a set of utilities for iterator state management, extending the capabilities of the standard Python itertools module. The library includes a combinatorial math toolkit for generating permutations, combinations, and powersets, alongside routines for number theory calculations and matrix operations. It also provides tools for stream state management, allowing users to peek at upcoming elements or seek wit
Processes data sequences using generators to avoid full memory allocation via lazy evaluation.
coobjc is an Objective-C coroutine library that provides await methods and generators to simplify asynchronous programming in Objective-C and Swift. It enables the implementation of non-blocking workflows to eliminate nested callbacks and thread blocking. The toolkit includes a non-blocking Foundation wrapper to convert synchronous Foundation and UIKit APIs into suspendable operations. It provides a lazy sequence generator for producing values on demand via yield, as well as a channel-based communication tool for exchanging data between concurrent tasks using buffered and unbuffered channels.
Implements a lazy sequence generator to produce values on demand, reducing memory allocation for large data sets.
Reactor is a reactive streams library and framework for building asynchronous data pipelines. It provides a system for coordinating execution contexts via an asynchronous event-loop manager, alongside a set of reactive abstractions for implementing high-performance TCP, UDP, QUIC, and HTTP services. The project includes a specialized testing tool for verifying the timing and order of asynchronous data flows and a bill of materials to synchronize compatible versions of core reactive libraries and networking add-ons. Its capability surface covers non-blocking network services, demand-based bac
Segments continuous asynchronous data streams into smaller sub-sequences based on size, time, or predicates.