2 repositorios
Techniques for dividing sequences into smaller batches or windows for memory-efficient processing.
Distinct from Dataset Batch Loading: The candidates are focused on Machine Learning dataset loading or high-capacity database storage management, whereas this feature is a general-purpose programming utility for iterable sequences.
Explore 2 awesome GitHub repositories matching data & databases · Iterable Chunking. Refine with filters or upvote what's useful.
more-itertools es una biblioteca de extensión para el módulo itertools de Python. Sirve como un toolkit para manipular iterables, proporcionando una amplia gama de rutinas para transformación de datos, generación combinatoria y gestión de estado de iteradores. La biblioteca se distingue por la gestión de estado avanzada y la generación de secuencias complejas. Proporciona capacidades para observar elementos futuros, buscar dentro de secuencias y producir permutaciones, combinaciones y particiones de conjuntos únicas a partir de colecciones que pueden contener elementos duplicados. Su superficie de capacidades más amplia cubre tareas de procesamiento de datos como aplanamiento recursivo, agrupación, relleno y reformateo de flujos de datos. También incluye utilidades para fusión de flujos, ventanas para análisis de vecindad local y sincronización de iteración segura para hilos. El proyecto proporciona además rutinas especializadas para el procesamiento de secuencias numéricas, incluyendo multiplicación de matrices, convolución lineal discreta y transformadas de Fourier.
Transforms flat collections into different structures such as sliding windows, chunks, or matrices.
more-itertools is a Python iterable utility library providing advanced functions for manipulating, filtering, and transforming data sequences. It serves as a data stream processing toolkit and a set of utilities for iterator state management, extending the capabilities of the standard Python itertools module. The library includes a combinatorial math toolkit for generating permutations, combinations, and powersets, alongside routines for number theory calculations and matrix operations. It also provides tools for stream state management, allowing users to peek at upcoming elements or seek wit
Dividing long sequences into smaller chunks or windows to process data in manageable parts without loading everything into memory.