jessevig/bertviz
Bertviz
BertViz هي مجموعة أدوات تشخيصية لتصور رؤوس الانتباه وسلوكيات النماذج الداخلية لتفسير كيفية معالجة نماذج اللغات للنصوص. تعمل كأداة قابلية تفسير ومصحح أخطاء لنماذج معالجة اللغات الطبيعية، حيث توفر تحديداً خرائط تفاعلية لآليات الانتباه داخل بنى Transformer.
يتيح المشروع تحليل علاقات الرموز من خلال طرق عرض مفصلة لرؤوس وطبقات انتباه محددة. يدعم تصور الانتباه العالمي عبر جميع الطبقات، ورسم خرائط انتباه المشفر-فك المشفر، وفحص الخلايا العصبية الفردية داخل متجهات الاستعلام والمفتاح للكشف عن مساهمتها في حسابات الانتباه.
توفر الأداة قدرات لتصفية طرق العرض حسب الطبقة، أو الرأس، أو أزواج الجمل. يتم عرض التصورات مباشرة داخل بيئات دفتر الملاحظات عبر حقن HTML وJavaScript، ويمكن تصديرها كملفات HTML مستقلة للمشاركة الخارجية.
Features
- Attention Visualizations - Renders interactive maps of attention mechanisms to visualize how encoders and decoders weight sequences.
- Activation Visualizations - Displays individual neurons within query and key vectors to visualize their specific contributions to attention computation.
- Neuron Inspections - Enables the inspection of individual neurons within query and key vectors to understand their role in attention computation.
- LLM Interpretability Dashboards - Provides a visual interface for analyzing the behavior and internal representations of large language models.
- Latent Attention Analysis - Analyzes the contribution of individual neurons and query-key vectors to overall attention computation.
- NLP Model Debugging - Identifies unexpected model behaviors by inspecting specific attention heads and neuron activity.
- Transformer Interpretability - Analyzes how Transformer models process language by visualizing attention weights and token relationships.
- Model Execution Debuggers - Inspects the internal behavior of NLP models by visualizing encoder and decoder layers.
- Attention Head Analyzers - Provides detailed views of specific attention heads and layers to identify token weighting patterns.
- Attention View Filtering - Restricts visualizations to specific layers, attention heads, or sentence pairs to isolate model behaviors.
- Global Attention Views - Provides a comprehensive view of attention patterns across all layers and heads in a transformer model.
- Sentence-Level Filters - Provides the ability to isolate and visualize attention weights for specific sentences when processing pairs of text.
- Attention Slice Filtering - Employs selective indexing to extract and display specific attention slices from model outputs.
- Interactive Visualization Rendering - Provides interactive rendering of attention weights and neuron activity that updates based on user input.
- Notebook Visualization Injections - Injects HTML and JavaScript directly into notebook cells to render interactive attention visualizations.
- Encoder-Decoder Attention Mapping - Renders interactive attention maps for encoder and decoder layers to analyze cross-component token relationships.
- Model Utilities - Visualization tool for inspecting attention mechanisms in transformers.
