1 repository
Awesome GitHub RepositoriesDynamic Memory Integration
Integration of dynamic external memory states into the inference process to expand LLM knowledge capacity.
Distinct from Large Language Models: Focuses specifically on the integration of external memory states into inference, not general LLM resources.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Dynamic Memory Integration. Refine with filters or upvote what's useful.
Awesome Dynamic Memory Integration GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- deepseek-ai/engram
deepseek-ai/Engram
4,462Vezi pe GitHubEngram este un sistem dinamic de recuperare a cunoștințelor și un framework de augmentare a memoriei pentru modele de limbaj mari (LLM). Funcționează ca un strat scalabil de căutare în memorie și o componentă de arhitectură rară (sparse), concepută pentru a îmbina cunoștințele statice ale modelului cu stări externe dinamice pentru a îmbunătăți factualitatea și a reduce halucinațiile. Sistemul utilizează recuperarea condiționată a memoriei și adresarea diferențiabilă a memoriei pentru a mapa tokenurile de input către indici specifici într-un depozit de memorie asociativă la scară largă. Acest lucru permite modelului să își mărească parametrii totali disponibili prin stocarea ponderilor în tabele de căutare externe și activarea doar a segmentelor de cunoștințe relevante pentru un anumit input. Frameworkul acoperă optimizarea rarității modelului și augmentarea scalabilă, folosind recuperarea key-value și fuziunea dinamică a parametrilor pentru a îmbunătăți performanța pe sarcini specializate fără a necesita o reantrenare completă a rețelei.
Expands the knowledge capacity of language models by integrating dynamic external memory states during inference.
Python
