2 repository-uri
Awesome GitHub RepositoriesIterable Chunking
Techniques for dividing sequences into smaller batches or windows for memory-efficient processing.
Distinct from Dataset Batch Loading: The candidates are focused on Machine Learning dataset loading or high-capacity database storage management, whereas this feature is a general-purpose programming utility for iterable sequences.
Explore 2 awesome GitHub repositories matching data & databases · Iterable Chunking. Refine with filters or upvote what's useful.
Awesome Iterable Chunking GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- more-itertools/more-itertools
more-itertools/more-itertools
4,074Vezi pe GitHubmore-itertools is an extension library for the Python itertools module. It serves as a toolkit for manipulating iterables, providing a wide range of routines for data transformation, combinatorial generation, and iterator state management. The library distinguishes itself through advanced state management and complex sequence generation. It provides capabilities for peeking at future elements, seeking within sequences, and producing unique permutations, combinations, and set partitions from collections that may contain duplicate elements. Its broader capability surface covers data processing
Transforms flat collections into different structures such as sliding windows, chunks, or matrices.
Python - erikrose/more-itertools
erikrose/more-itertools
4,074Vezi pe GitHubmore-itertools este o bibliotecă utilitară pentru iterabile în Python, care oferă funcții avansate pentru manipularea, filtrarea și transformarea secvențelor de date. Servește drept set de instrumente pentru procesarea fluxurilor de date și gestionarea stării iteratorilor, extinzând capabilitățile modulului standard itertools din Python. Biblioteca include un set de instrumente matematice combinatorice pentru generarea de permutări, combinații și mulțimi de puteri, alături de rutine pentru calcule de teoria numerelor și operații cu matrice. De asemenea, oferă instrumente pentru gestionarea stării fluxurilor, permițând utilizatorilor să verifice elementele viitoare sau să navigheze într-o secvență pentru a controla modul în care sunt consumate datele. Capabilitățile suplimentare acoperă rutine de procesare a datelor pentru fragmentarea (chunking), intercalarea și aplatizarea secvențelor complexe. Setul de instrumente include, de asemenea, funcții pentru analizarea proprietăților iterabilelor și sincronizarea fluxurilor de date concurente.
Dividing long sequences into smaller chunks or windows to process data in manageable parts without loading everything into memory.
Python
