1 रिपॉजिटरी
Storing multiple copies of a single data object across different cluster segments to prevent access hotspots.
Distinct from Distributed Object Stores: Specific to duplicating objects to balance load in a distributed store, not general object storage paradigms.
Explore 1 awesome GitHub repository matching data & databases · Data Object Replication. Refine with filters or upvote what's useful.
Mooncake एक डिसएग्रीगेटेड लार्ज लैंग्वेज मॉडल सर्विंग प्लेटफ़ॉर्म और डिस्ट्रीब्यूटेड की-वैल्यू स्टोर है जिसे हाई-परफ़ॉर्मेंस इन्फरेंस इंफ्रास्ट्रक्चर के लिए डिज़ाइन किया गया है। यह एक GPU मेमोरी ऑर्केस्ट्रेटर और KV कैश मैनेजमेंट सिस्टम के रूप में कार्य करता है जो इन्फरेंस को तेज़ करने के लिए क्लस्टर्स में की-वैल्यू कैश को पूल और ट्रांसफर करता है। यह सिस्टम इन्फरेंस के प्रीफ़िल और डिकोड चरणों को अलग-अलग हार्डवेयर क्लस्टर्स में विभाजित करके संसाधन उपयोग को ऑप्टिमाइज़ करता है। यह कंप्यूट नोड्स के बीच डेटा को मूव करने के लिए ज़ीरो-कॉपी ट्रांसफ़र के साथ एक हाई-परफ़ॉर्मेंस RDMA डिस्ट्रीब्यूटेड कैश का उपयोग करता है, जिससे लेटेंसी और ओवरहेड को कम करने के लिए CPU को बायपास किया जाता है। प्लेटफ़ॉर्म डिस्ट्रीब्यूटेड मेमोरी पूलिंग, CXL के माध्यम से एक्सेलेरेटर मेमोरी रूटिंग, और SSDs में मल्टी-टियर स्टोरेज ऑफ़लोडिंग सहित व्यापक क्षमताओं को कवर करता है। यह मेटाडेटा कोऑर्डिनेशन सर्विसेज़ के माध्यम से क्लस्टर स्टेट को मैनेज करता है और लीज़-बेस्ड ऑब्जेक्ट प्रोटेक्शन व वॉटरमार्क-बेस्ड कैश इविक्शन के माध्यम से संसाधन गवर्नेंस लागू करता है। सॉफ़्टवेयर को कंटेनराइज़्ड डिप्लॉयमेंट के लिए होस्ट नेटवर्किंग और हार्डवेयर डिवाइस मैपिंग के सपोर्ट के साथ पैक किया गया है।
Stores multiple replicas of a single object across different segments to reduce access hotspots.