Awesome GitHub RepositoriesActivation Data Hosting

Acest proiect este un instrument de interpretabilitate a modelelor de limbaj conceput pentru a vizualiza și analiza activările interne și capetele de atenție ale rețelelor neuronale. Oferă un framework pentru înțelegerea modului în care modelele procesează informațiile prin capturarea stărilor interne ale modelului și redarea lor printr-o interfață web interactivă. Sistemul se specializează în descompunerea activărilor de înaltă dimensiune în caracteristici latente interpretabile folosind autoencodere rare și generarea de explicații automate în limbaj natural pentru nodurile individuale ale modelului. Permite descoperirea circuitelor modelului prin maparea conexiunilor dintre componente și trasarea căilor responsabile pentru comportamente specifice. Setul de instrumente acoperă o gamă largă de capabilități de analiză, inclusiv atribuirea bazată pe gradient pentru a cuantifica importanța nodurilor și intervenții în timp real, cum ar fi ablația nodurilor, pentru a observa modul în care modificarea stărilor interne afectează output-ul modelului. De asemenea, suportă eșantionarea inferenței live și preluarea datelor de activare de la servere backend externe și stocare blob.