3 dépôts
Awesome GitHub RepositoriesConcurrent Data Processing
Simultaneous processing of large datasets across multiple workers to improve computational speed.
Distinct from Concurrent Stream Processing: General-purpose concurrent processing of item collections, not limited to streams or network packets.
Explore 3 awesome GitHub repositories matching data & databases · Concurrent Data Processing. Refine with filters or upvote what's useful.
Awesome Concurrent Data Processing GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- grosser/parallel
grosser/parallel
4,261Voir sur GitHubParallel is a Ruby library and multi-process execution framework designed to accelerate CPU-intensive operations. It functions as a parallel job orchestrator and concurrent task runner that enables the execution of code across multiple processes or threads. The project distinguishes itself through secure inter-process communication, utilizing signed data serialization to prevent the injection of forged payloads between parent and child processes. It further differentiates its worker management by assigning unique identifiers to individual processes to prevent collisions when accessing shared
Processes large collections of items simultaneously using multiple workers to speed up heavy computational workloads.
Ruby - more-itertools/more-itertools
more-itertools/more-itertools
4,074Voir sur GitHubmore-itertools est une bibliothèque d'extension pour le module itertools de Python. Elle sert de boîte à outils pour manipuler les itérables, fournissant un large éventail de routines pour la transformation de données, la génération combinatoire et la gestion de l'état des itérateurs. La bibliothèque se distingue par une gestion d'état avancée et une génération de séquences complexes. Elle fournit des capacités pour jeter un coup d'œil aux éléments futurs, chercher au sein des séquences et produire des permutations, combinaisons et partitions d'ensembles uniques à partir de collections pouvant contenir des éléments en double. Sa surface de capacités plus large couvre des tâches de traitement de données telles que l'aplatissement récursif, le regroupement, le remplissage et le remodelage des flux de données. Elle inclut également des utilitaires pour la fusion de flux, le fenêtrage pour l'analyse de voisinage local et la synchronisation d'itération thread-safe. Le projet fournit en outre des routines spécialisées pour le traitement de séquences numériques, incluant la multiplication de matrices, la convolution linéaire discrète et les transformées de Fourier.
Supports concurrent processing of multiple data collections to improve throughput for large datasets.
Python - gildas-lormeau/zip.js
gildas-lormeau/zip.js
3,859Voir sur GitHubzip.js is a JavaScript library designed for creating, reading, and extracting ZIP archives directly within a web browser. It provides a comprehensive toolkit for managing compressed files and encrypted data storage entirely on the client side, eliminating the need for server-side backends or external dependencies. The library distinguishes itself by utilizing the Web Streams API and multi-core processing to handle large datasets efficiently. By offloading heavy compression and decompression tasks to background worker threads, it ensures that the browser interface remains responsive during int
Utilizes background worker pools and asynchronous operations to execute multiple read and write tasks simultaneously, maintaining application responsiveness during heavy processing.
JavaScriptaes-encryptionbrowsercompression-stream
