2 रिपॉजिटरी
Awesome GitHub RepositoriesDisk IO Optimization
Techniques for minimizing data movement between kernel and application during persistence operations.
Distinct from Zero-Copy: Distinct from serialization zero-copy by focusing on the physical disk I/O path rather than memory layout.
Explore 2 awesome GitHub repositories matching data & databases · Disk IO Optimization. Refine with filters or upvote what's useful.
Awesome Disk IO Optimization GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- infinyon/fluvio
infinyon/fluvio
5,231GitHub पर देखेंFluvio एक वितरित इवेंट स्ट्रीमिंग प्लेटफ़ॉर्म और क्लाउड-नेटिव स्ट्रीमिंग इंजन है जिसे वितरित क्लस्टर में रीयल-टाइम डेटा स्ट्रीम को एकत्र करने, बनाए रखने और दोहराने के लिए डिज़ाइन किया गया है। यह बाहरी स्रोतों और सिंक के बीच डेटा को इनजेस्ट, समृद्ध और निर्यात करने वाले स्टेटफ़ुल वर्कफ़्लो बनाने के लिए रीयल-टाइम डेटा पाइपलाइन के रूप में कार्य करता है। यह प्लेटफ़ॉर्म इन-लाइन डेटा परिवर्तनों और फ़िल्टरिंग के लिए संकलित मॉड्यूल को निष्पादित करने के लिए WebAssembly के उपयोग से प्रतिष्ठित है। यह क्लस्टर को पुनरारंभ करने की आवश्यकता के बिना जानकारी को फिर से आकार देने के लिए कस्टम व्यावसायिक तर्क के निष्पादन की अनुमति देता है। सिस्टम बाहरी प्रोटोकॉल से कनेक्टर-आधारित डेटा इंजेक्शन, ज़ीरो-कॉपी IO के साथ लॉग-स्ट्रक्चर्ड अपरिवर्तनीय भंडारण और क्षैतिज क्लस्टर स्केलिंग सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह जटिल इवेंट-संचालित पाइपलाइनों के निर्माण का समर्थन करता है जो स्टेटफ़ुल प्रोसेसिंग, विंडो-आधारित एकत्रीकरण और विभाजन-आधारित डेटा वितरण का उपयोग करते हैं। इंजन को एज डेटा प्रोसेसिंग के लिए ARM64 IoT उपकरणों सहित विविध सिस्टम आर्किटेक्चर पर एक हल्के बाइनरी के रूप में तैनात किया जा सकता है।
Implements zero-copy disk IO to persist immutable event records while minimizing memory copying overhead.
Rust - axboe/liburing
axboe/liburing
3,690GitHub पर देखेंliburing is a C library that provides a low-level wrapper for the Linux kernel io_uring interface. It serves as a programming interface for executing non-blocking disk and network operations and abstracts the system calls required to communicate with the Linux kernel. The library focuses on reducing system call overhead and context switching for high-throughput data processing. It implements mechanisms for shared ring buffers, zero-copy buffer registration, and fixed-file descriptor mapping to minimize internal lookup and reference counting overhead. The project covers asynchronous input and
Provides asynchronous disk I/O operations to maximize throughput and prevent application blocking on hardware latency.
C
