2 Repos
Awesome GitHub RepositoriesConcurrent Stream Processing
Processing multiple data elements across pipeline stages simultaneously to maximize throughput.
Distinct from Per-Element Effect Execution: None of the candidates cover general concurrent element processing in data streams without being tied to images or hardware optimization.
Explore 2 awesome GitHub repositories matching data & databases · Concurrent Stream Processing. Refine with filters or upvote what's useful.
Awesome Concurrent Stream Processing GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- matz/streem
matz/streem
4,598Auf GitHub ansehenStreem ist eine streambasierte Programmiersprache und ein Daten-Pipeline-Orchestrator. Sie bietet eine domänenspezifische Sprache zur Definition paralleler Datenflüsse, die es Benutzern ermöglicht, Datenquellen über eine Sequenz von Operationen, die einzelne Streamelemente transformieren und filtern, mit Zielen zu verknüpfen. Das System verwendet eine benutzerdefinierte Skriptsyntax zur Definition von Datenflussverbindungen und Pipeline-Definitionen. Dies ermöglicht die Orchestrierung paralleler Datenverarbeitung, bei der mehrere Pipeline-Stufen gleichzeitig ausgeführt werden, um Datenelemente durch das System zu bewegen. Die Plattform deckt funktionale Datentransformation und stufenbasierte Komposition ab, wobei spezifische Funktionen angewendet werden, um Elemente zu modifizieren oder zu filtern, während sie eine sequenzielle Kette verknüpfter Operationen durchlaufen.
Executes multiple pipeline stages simultaneously to move data elements through the system with higher throughput.
C - erikrose/more-itertools
erikrose/more-itertools
4,074Auf GitHub ansehenmore-itertools ist eine Python-Utility-Bibliothek für Iterables, die erweiterte Funktionen zur Manipulation, Filterung und Transformation von Datensequenzen bereitstellt. Sie dient als Toolkit für die Verarbeitung von Datenströmen und als Sammlung von Hilfsmitteln für das Management von Iterator-Zuständen, womit sie die Möglichkeiten des Standard-Moduls itertools erweitert. Die Bibliothek enthält ein kombinatorisches Mathe-Toolkit zur Erzeugung von Permutationen, Kombinationen und Potenzmengen sowie Routinen für zahlentheoretische Berechnungen und Matrixoperationen. Zudem bietet sie Werkzeuge für das Stream-State-Management, mit denen Benutzer einen Blick auf kommende Elemente werfen oder innerhalb einer Sequenz navigieren können, um die Datenverarbeitung zu steuern. Weitere Funktionen umfassen Routinen für das Chunking, Interleaving und Flattening komplexer Sequenzen. Das Toolkit enthält außerdem Funktionen zur Analyse von Iterable-Eigenschaften und zur Synchronisierung paralleler Datenströme.
Provides capabilities to synchronize and distribute data across multiple simultaneous consumers to prevent race conditions.
Python
