3 रिपॉजिटरी
Awesome GitHub RepositoriesConcurrent Data Processing
Simultaneous processing of large datasets across multiple workers to improve computational speed.
Distinct from Concurrent Stream Processing: General-purpose concurrent processing of item collections, not limited to streams or network packets.
Explore 3 awesome GitHub repositories matching data & databases · Concurrent Data Processing. Refine with filters or upvote what's useful.
Awesome Concurrent Data Processing GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- grosser/parallel
grosser/parallel
4,261GitHub पर देखेंParallel is a Ruby library and multi-process execution framework designed to accelerate CPU-intensive operations. It functions as a parallel job orchestrator and concurrent task runner that enables the execution of code across multiple processes or threads. The project distinguishes itself through secure inter-process communication, utilizing signed data serialization to prevent the injection of forged payloads between parent and child processes. It further differentiates its worker management by assigning unique identifiers to individual processes to prevent collisions when accessing shared
Processes large collections of items simultaneously using multiple workers to speed up heavy computational workloads.
Ruby - more-itertools/more-itertools
more-itertools/more-itertools
4,074GitHub पर देखेंmore-itertools, Python के itertools मॉड्यूल के लिए एक एक्सटेंशन लाइब्रेरी है। यह इटरेबल्स (iterables) में हेरफेर करने के लिए एक टूलकिट के रूप में कार्य करता है, जो डेटा ट्रांसफॉर्मेशन, कॉम्बिनेटरियल जनरेशन और इटरेशन स्टेट मैनेजमेंट के लिए कई तरह के रूटीन प्रदान करता है। यह लाइब्रेरी एडवांस्ड स्टेट मैनेजमेंट और जटिल सीक्वेंस जनरेशन के लिए जानी जाती है। यह भविष्य के एलिमेंट्स को देखने (peeking), सीक्वेंस के भीतर सर्च करने, और ऐसे कलेक्शन से यूनिक परम्यूटेशन, कॉम्बिनेशन और सेट पार्टीशन बनाने की क्षमता प्रदान करती है जिनमें डुप्लीकेट एलिमेंट्स हो सकते हैं। इसकी व्यापक क्षमताओं में डेटा प्रोसेसिंग कार्य जैसे रिकर्सिव फ्लैटनिंग, ग्रुपिंग, पैडिंग और डेटा स्ट्रीम्स को रीशेप करना शामिल है। इसमें स्ट्रीम मर्जिंग, लोकल नेबरहुड एनालिसिस के लिए विंडोइंग, और थ्रेड-सेफ इटरेशन सिंक्रोनाइज़ेशन के लिए यूटिलिटीज भी शामिल हैं। यह प्रोजेक्ट न्यूमेरिकल सीक्वेंस प्रोसेसिंग के लिए विशेष रूटीन भी प्रदान करता है, जिसमें मैट्रिक्स मल्टीप्लिकेशन, डिस्क्रीट लीनियर कनवल्शन और फूरियर ट्रांसफॉर्म शामिल हैं।
Supports concurrent processing of multiple data collections to improve throughput for large datasets.
Python - gildas-lormeau/zip.js
gildas-lormeau/zip.js
3,859GitHub पर देखेंzip.js is a JavaScript library designed for creating, reading, and extracting ZIP archives directly within a web browser. It provides a comprehensive toolkit for managing compressed files and encrypted data storage entirely on the client side, eliminating the need for server-side backends or external dependencies. The library distinguishes itself by utilizing the Web Streams API and multi-core processing to handle large datasets efficiently. By offloading heavy compression and decompression tasks to background worker threads, it ensures that the browser interface remains responsive during int
Utilizes background worker pools and asynchronous operations to execute multiple read and write tasks simultaneously, maintaining application responsiveness during heavy processing.
JavaScriptaes-encryptionbrowsercompression-stream
