1 repository
Awesome GitHub RepositoriesInterpretability Data Retrieval
Retrieving model-specific explanations and neuron data from remote storage to serve via API.
Distinct from Remote Data Retrieval: Specializes remote data retrieval to the domain of model interpretability artifacts like neuron explanations.
Explore 1 awesome GitHub repository matching data & databases · Interpretability Data Retrieval. Refine with filters or upvote what's useful.
Awesome Interpretability Data Retrieval GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- openai/transformer-debugger
openai/transformer-debugger
4,118Vezi pe GitHubAcest proiect este un instrument de interpretabilitate a modelelor de limbaj conceput pentru a vizualiza și analiza activările interne și capetele de atenție ale rețelelor neuronale. Oferă un framework pentru înțelegerea modului în care modelele procesează informațiile prin capturarea stărilor interne ale modelului și redarea lor printr-o interfață web interactivă. Sistemul se specializează în descompunerea activărilor de înaltă dimensiune în caracteristici latente interpretabile folosind autoencodere rare și generarea de explicații automate în limbaj natural pentru nodurile individuale ale modelului. Permite descoperirea circuitelor modelului prin maparea conexiunilor dintre componente și trasarea căilor responsabile pentru comportamente specifice. Setul de instrumente acoperă o gamă largă de capabilități de analiză, inclusiv atribuirea bazată pe gradient pentru a cuantifica importanța nodurilor și intervenții în timp real, cum ar fi ablația nodurilor, pentru a observa modul în care modificarea stărilor interne afectează output-ul modelului. De asemenea, suportă eșantionarea inferenței live și preluarea datelor de activare de la servere backend externe și stocare blob.
Retrieve collated activation datasets for neurons and attention heads to analyze responses to specific tokens.
Python
