1 Repo
Awesome GitHub RepositoriesInterpretability Data Retrieval
Retrieving model-specific explanations and neuron data from remote storage to serve via API.
Distinct from Remote Data Retrieval: Specializes remote data retrieval to the domain of model interpretability artifacts like neuron explanations.
Explore 1 awesome GitHub repository matching data & databases · Interpretability Data Retrieval. Refine with filters or upvote what's useful.
Awesome Interpretability Data Retrieval GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- openai/transformer-debugger
openai/transformer-debugger
4,118Auf GitHub ansehenDieses Projekt ist ein Interpretability-Tool für Sprachmodelle, das darauf ausgelegt ist, interne Aktivierungen und Attention-Heads neuronaler Netze zu visualisieren und zu analysieren. Es bietet ein Framework zum Verständnis der Informationsverarbeitung von Modellen, indem es interne Modellzustände erfasst und über eine interaktive Weboberfläche rendert. Das System ist darauf spezialisiert, hochdimensionale Aktivierungen mittels Sparse-Autoencodern in interpretierbare latente Merkmale zu zerlegen und automatisierte natürlichsprachliche Erklärungen für einzelne Modellknoten zu generieren. Es ermöglicht die Entdeckung von Modell-Schaltkreisen durch das Mapping von Verbindungen zwischen Komponenten und das Nachverfolgen der Pfade, die für spezifische Verhaltensweisen verantwortlich sind. Das Toolset deckt ein breites Spektrum an Analysefunktionen ab, einschließlich gradientenbasierter Attribution zur Quantifizierung der Knotenwichtigkeit und Echtzeit-Interventionen wie Knoten-Ablation, um zu beobachten, wie die Modifikation interner Zustände den Modellausgang beeinflusst. Es unterstützt zudem Live-Inferenz-Sampling und den Abruf von Aktivierungsdaten von Remote-Backend-Servern und Blob-Speichern.
Retrieve collated activation datasets for neurons and attention heads to analyze responses to specific tokens.
Python
