2 Repos
Awesome GitHub RepositoriesIterable Chunking
Techniques for dividing sequences into smaller batches or windows for memory-efficient processing.
Distinct from Dataset Batch Loading: The candidates are focused on Machine Learning dataset loading or high-capacity database storage management, whereas this feature is a general-purpose programming utility for iterable sequences.
Explore 2 awesome GitHub repositories matching data & databases · Iterable Chunking. Refine with filters or upvote what's useful.
Awesome Iterable Chunking GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- more-itertools/more-itertools
more-itertools/more-itertools
4,074Auf GitHub ansehenmore-itertools ist eine Erweiterungsbibliothek für das Python-Modul itertools. Sie dient als Toolkit zur Manipulation von Iterables und bietet eine breite Palette an Routinen für Datentransformation, kombinatorische Generierung und Iterator-Zustandsverwaltung. Die Bibliothek zeichnet sich durch fortgeschrittene Zustandsverwaltung und komplexe Sequenzgenerierung aus. Sie bietet Funktionen zum Einsehen zukünftiger Elemente, zum Suchen innerhalb von Sequenzen und zum Erzeugen einzigartiger Permutationen, Kombinationen und Mengenpartitionen aus Sammlungen, die doppelte Elemente enthalten können. Der Funktionsumfang deckt Datenverarbeitungsaufgaben wie rekursives Flattening, Gruppierung, Padding und Umformung von Datenströmen ab. Sie enthält zudem Dienstprogramme für Stream-Merging, Windowing für lokale Nachbarschaftsanalysen und thread-sichere Iterationssynchronisation. Das Projekt bietet zudem spezialisierte Routinen für die Verarbeitung numerischer Sequenzen, einschließlich Matrixmultiplikation, diskreter linearer Faltung und Fourier-Transformationen.
Transforms flat collections into different structures such as sliding windows, chunks, or matrices.
Python - erikrose/more-itertools
erikrose/more-itertools
4,074Auf GitHub ansehenmore-itertools ist eine Python-Utility-Bibliothek für Iterables, die erweiterte Funktionen zur Manipulation, Filterung und Transformation von Datensequenzen bereitstellt. Sie dient als Toolkit für die Verarbeitung von Datenströmen und als Sammlung von Hilfsmitteln für das Management von Iterator-Zuständen, womit sie die Möglichkeiten des Standard-Moduls itertools erweitert. Die Bibliothek enthält ein kombinatorisches Mathe-Toolkit zur Erzeugung von Permutationen, Kombinationen und Potenzmengen sowie Routinen für zahlentheoretische Berechnungen und Matrixoperationen. Zudem bietet sie Werkzeuge für das Stream-State-Management, mit denen Benutzer einen Blick auf kommende Elemente werfen oder innerhalb einer Sequenz navigieren können, um die Datenverarbeitung zu steuern. Weitere Funktionen umfassen Routinen für das Chunking, Interleaving und Flattening komplexer Sequenzen. Das Toolkit enthält außerdem Funktionen zur Analyse von Iterable-Eigenschaften und zur Synchronisierung paralleler Datenströme.
Dividing long sequences into smaller chunks or windows to process data in manageable parts without loading everything into memory.
Python
