1 Repo
Awesome GitHub RepositoriesDynamic Memory Integration
Integration of dynamic external memory states into the inference process to expand LLM knowledge capacity.
Distinct from Large Language Models: Focuses specifically on the integration of external memory states into inference, not general LLM resources.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Dynamic Memory Integration. Refine with filters or upvote what's useful.
Awesome Dynamic Memory Integration GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- deepseek-ai/engram
deepseek-ai/Engram
4,462Auf GitHub ansehenEngram ist ein dynamisches Wissensabrufsystem und ein Framework zur Speichererweiterung für Large Language Models. Es fungiert als skalierbare Speicher-Lookup-Schicht und spärliche Architekturkomponente, die statisches Modellwissen mit dynamischen externen Zuständen verschmilzt, um die Faktentreue zu verbessern und Halluzinationen zu reduzieren. Das System nutzt konditionalen Speicherabruf und differenzierbare Speicheradressierung, um Eingabe-Token auf spezifische Indizes innerhalb eines assoziativen Speichers im großen Maßstab abzubilden. Dies ermöglicht es dem Modell, seine gesamten verfügbaren Parameter zu erhöhen, indem Gewichte in externen Lookup-Tabellen gespeichert und nur die relevanten Wissenssegmente für eine bestimmte Eingabe aktiviert werden. Das Framework deckt die Optimierung der Modell-Sparsity und skalierbare Erweiterung ab, wobei Key-Value-Retrieval und dynamische Parameterfusion genutzt werden, um die Leistung bei spezialisierten Aufgaben zu steigern, ohne das Netzwerk vollständig neu trainieren zu müssen.
Expands the knowledge capacity of language models by integrating dynamic external memory states during inference.
Python
