Awesome GitHub RepositoriesInterpretability Data Retrieval

Este proyecto es una herramienta de interpretabilidad de modelos de lenguaje diseñada para visualizar y analizar las activaciones internas y los cabezales de atención de redes neuronales. Proporciona un framework para entender cómo los modelos procesan información capturando estados internos del modelo y renderizándolos a través de una interfaz web interactiva. El sistema se especializa en descomponer activaciones de alta dimensión en características latentes interpretables usando autoencoders dispersos y generando explicaciones automáticas en lenguaje natural para nodos individuales del modelo. Permite el descubrimiento de circuitos del modelo mapeando conexiones entre componentes y trazando las vías responsables de comportamientos específicos. El conjunto de herramientas cubre una amplia gama de capacidades de análisis, incluyendo atribución basada en gradientes para cuantificar la importancia de los nodos e intervenciones en tiempo real como la ablación de nodos para observar cómo la modificación de estados internos afecta la salida del modelo. También soporta muestreo de inferencia en vivo y la recuperación de datos de activación desde servidores backend remotos y almacenamiento de blobs.