1 रिपॉजिटरी
Awesome GitHub RepositoriesDynamic Memory Integration
Integration of dynamic external memory states into the inference process to expand LLM knowledge capacity.
Distinct from Large Language Models: Focuses specifically on the integration of external memory states into inference, not general LLM resources.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Dynamic Memory Integration. Refine with filters or upvote what's useful.
Awesome Dynamic Memory Integration GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- deepseek-ai/engram
deepseek-ai/Engram
4,462GitHub पर देखेंEngram बड़े भाषा मॉडल (LLMs) के लिए एक डायनामिक नॉलेज रिट्रीवल सिस्टम और मेमोरी ऑगमेंटेशन फ्रेमवर्क है। यह एक स्केलेबल मेमोरी लुकअप लेयर और स्पार्स आर्किटेक्चर कंपोनेंट के रूप में कार्य करता है, जिसे तथ्यात्मकता में सुधार करने और मतिभ्रम (hallucinations) को कम करने के लिए स्टेटिक मॉडल नॉलेज को डायनामिक बाहरी स्टेट्स के साथ फ्यूज करने के लिए डिज़ाइन किया गया है। यह सिस्टम इनपुट टोकन को बड़े पैमाने पर एसोसिएटिव मेमोरी स्टोर के भीतर विशिष्ट इंडेक्स पर मैप करने के लिए कंडीशनल मेमोरी रिट्रीवल और डिफरेंशिएबल मेमोरी एड्रेसिंग का उपयोग करता है। यह मॉडल को बाहरी लुकअप टेबल में वेट्स (weights) स्टोर करके और किसी दिए गए इनपुट के लिए केवल प्रासंगिक नॉलेज सेगमेंट को सक्रिय करके अपने कुल उपलब्ध पैरामीटर्स को बढ़ाने की अनुमति देता है। यह फ्रेमवर्क मॉडल स्पार्सिटी ऑप्टिमाइज़ेशन और स्केलेबल ऑगमेंटेशन को कवर करता है, जो नेटवर्क को पूरी तरह से फिर से प्रशिक्षित करने की आवश्यकता के बिना विशेष कार्यों पर प्रदर्शन को बढ़ाने के लिए की-वैल्यू रिट्रीवल और डायनामिक पैरामीटर फ्यूजन का उपयोग करता है।
Expands the knowledge capacity of language models by integrating dynamic external memory states during inference.
Python
