1 repositorio
Awesome GitHub RepositoriesDynamic Memory Integration
Integration of dynamic external memory states into the inference process to expand LLM knowledge capacity.
Distinct from Large Language Models: Focuses specifically on the integration of external memory states into inference, not general LLM resources.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Dynamic Memory Integration. Refine with filters or upvote what's useful.
Awesome Dynamic Memory Integration GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- deepseek-ai/engram
deepseek-ai/Engram
4,462Ver en GitHubEngram es un sistema dinámico de recuperación de conocimiento y framework de aumento de memoria para modelos de lenguaje grandes (LLM). Funciona como una capa de búsqueda de memoria escalable y un componente de arquitectura dispersa diseñado para fusionar el conocimiento estático del modelo con estados externos dinámicos para mejorar la veracidad y reducir las alucinaciones. El sistema utiliza recuperación de memoria condicional y direccionamiento de memoria diferenciable para mapear tokens de entrada a índices específicos dentro de un almacén de memoria asociativa a gran escala. Esto permite al modelo aumentar sus parámetros totales disponibles almacenando pesos en tablas de búsqueda externas y activando solo los segmentos de conocimiento relevantes para una entrada dada. El framework cubre la optimización de dispersión del modelo y el aumento escalable, utilizando recuperación clave-valor y fusión dinámica de parámetros para mejorar el rendimiento en tareas especializadas sin requerir un reentrenamiento completo de la red.
Expands the knowledge capacity of language models by integrating dynamic external memory states during inference.
Python
