3 مستودعات
Simultaneous processing of large datasets across multiple workers to improve computational speed.
Distinct from Concurrent Stream Processing: General-purpose concurrent processing of item collections, not limited to streams or network packets.
Explore 3 awesome GitHub repositories matching data & databases · Concurrent Data Processing. Refine with filters or upvote what's useful.
Parallel is a Ruby library and multi-process execution framework designed to accelerate CPU-intensive operations. It functions as a parallel job orchestrator and concurrent task runner that enables the execution of code across multiple processes or threads. The project distinguishes itself through secure inter-process communication, utilizing signed data serialization to prevent the injection of forged payloads between parent and child processes. It further differentiates its worker management by assigning unique identifiers to individual processes to prevent collisions when accessing shared
Processes large collections of items simultaneously using multiple workers to speed up heavy computational workloads.
more-itertools هي مكتبة إضافية لوحدة itertools في Python. تعمل كمجموعة أدوات لمعالجة التكرارات، وتوفر مجموعة واسعة من الروتينات لتحويل البيانات، والتوليد التوافقي، وإدارة حالة المكرر. تتميز المكتبة بإدارة الحالة المتقدمة وتوليد التسلسل المعقد. توفر إمكانيات لإلقاء نظرة خاطفة على العناصر المستقبلية، والبحث داخل التسلسلات، وإنتاج التباديل الفريدة، والتوليفات، وتقسيمات المجموعات من المجموعات التي قد تحتوي على عناصر مكررة. يغطي سطح قدرتها الأوسع مهام معالجة البيانات مثل التسطيح العودي، والتجميع، والحشو، وإعادة تشكيل تدفقات البيانات. كما تتضمن أدوات لدمج التدفق، والنافذة لتحليل الحي المحلي، ومزامنة التكرار الآمن للخيوط. يوفر المشروع أيضاً روتينات متخصصة لمعالجة التسلسل الرقمي، بما في ذلك ضرب المصفوفات، والالتفاف الخطي المنفصل، وتحويلات Fourier.
Supports concurrent processing of multiple data collections to improve throughput for large datasets.
zip.js is a JavaScript library designed for creating, reading, and extracting ZIP archives directly within a web browser. It provides a comprehensive toolkit for managing compressed files and encrypted data storage entirely on the client side, eliminating the need for server-side backends or external dependencies. The library distinguishes itself by utilizing the Web Streams API and multi-core processing to handle large datasets efficiently. By offloading heavy compression and decompression tasks to background worker threads, it ensures that the browser interface remains responsive during int
Utilizes background worker pools and asynchronous operations to execute multiple read and write tasks simultaneously, maintaining application responsiveness during heavy processing.