1 repositorio
Awesome GitHub RepositoriesEmbedding-to-Memory Mapping
Mapping input embeddings to specific indices in a memory store to retrieve context-relevant weights.
Distinct from Memory Indexes: Focuses on the mapping of embeddings to weight indices, whereas Memory Indexes focus on high-level knowledge discovery files.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Embedding-to-Memory Mapping. Refine with filters or upvote what's useful.
Awesome Embedding-to-Memory Mapping GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- deepseek-ai/engram
deepseek-ai/Engram
4,462Ver en GitHubEngram es un sistema dinámico de recuperación de conocimiento y framework de aumento de memoria para modelos de lenguaje grandes (LLM). Funciona como una capa de búsqueda de memoria escalable y un componente de arquitectura dispersa diseñado para fusionar el conocimiento estático del modelo con estados externos dinámicos para mejorar la veracidad y reducir las alucinaciones. El sistema utiliza recuperación de memoria condicional y direccionamiento de memoria diferenciable para mapear tokens de entrada a índices específicos dentro de un almacén de memoria asociativa a gran escala. Esto permite al modelo aumentar sus parámetros totales disponibles almacenando pesos en tablas de búsqueda externas y activando solo los segmentos de conocimiento relevantes para una entrada dada. El framework cubre la optimización de dispersión del modelo y el aumento escalable, utilizando recuperación clave-valor y fusión dinámica de parámetros para mejorar el rendimiento en tareas especializadas sin requerir un reentrenamiento completo de la red.
Maps input embeddings to specific memory locations to retrieve relevant weights during the forward pass.
Python
