2 مستودعات
Tools for analyzing internal activations and feature importance to diagnose errors in vision models.
Distinct from Computer Vision Debugging Tools: Focuses on the internal XAI-driven debugging process rather than general CV model architectures or 3D visualizers.
Explore 2 awesome GitHub repositories matching artificial intelligence & ml · Computer Vision Model Debugging. Refine with filters or upvote what's useful.
هذا المشروع عبارة عن مكتبة وإطار عمل للذكاء الاصطناعي القابل للتفسير لرؤية الحاسوب لـ PyTorch، يوفر مجموعة من الأدوات لتصور وتدقيق عمليات صنع القرار الداخلية للشبكات العصبية العميقة. يعمل كأداة إسناد للشبكة العصبية وأداة تصحيح أخطاء لتحديد مناطق الصورة التي تدفع تنبؤات النموذج. تتميز المكتبة بدعمها لطرق الإسناد القائمة على التدرج وغير القائمة على التدرج، مما يسمح بتوليد خرائط حرارية مرئية وخرائط إسناد دون الحاجة إلى تعديلات على كود مصدر النموذج الأصلي. وتتميز أيضاً باكتشاف المفهوم المرئي، باستخدام تحليل المصفوفة لتفكيك التنشيطات الداخلية إلى أنماط قابلة للتفسير ورسم خرائط التضمينات الكامنة لأهمية البكسل. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك توليد الخرائط الحرارية وتحسينها، والتحويل المكاني لبنيات مثل محولات الرؤية، والتكيفات لأهداف الرؤية متعددة المهام مثل اكتشاف الكائنات والتجزئة الدلالية. يتضمن أيضاً مجموعة تقييم دقة النموذج التي تستخدم تحليل الاضطراب، ودراسات الاستئصال، وقياسات التوطين لتحديد مدى إخلاص التفسيرات المولدة. يوفر المشروع آليات لربط التنشيط الديناميكي، وتكيف البنية المخصص، وتكوين الهدف الموجه لربط أدوات القابلية للتفسير بمخرجات النماذج المختلفة.
Analyzes internal activations and feature importance to diagnose and debug classification or detection errors in vision models.
Vit-explain هو إطار عمل تشخيصي مصمم لتفسير عمليات صنع القرار لنماذج محولات الرؤية (vision transformers). يعمل كمجموعة أدوات لفحص حالات النموذج الداخلية، مما يسمح للمستخدمين بتعيين الانتباه البصري وتحليل كيفية تأثير ميزات الصورة المحددة على نتائج التصنيف. يتميز المشروع بتوفير تفسير للنموذج بعد التدريب (post-hoc)، مما يتيح تحليل الشبكات العصبية المدربة دون الحاجة إلى تعديلات معمارية أو إعادة تدريب. يستخدم تقنيات مثل استخراج الميزات القائم على الخطافات (hooks) لاعتراض التنشيطات الداخلية أثناء التمرير الأمامي، إلى جانب طرق مثل transformer attention rollout و layer-wise relevance propagation لتتبع تدفق المعلومات من المدخلات إلى المخرجات. من خلال توليد خرائط حرارية تتتبع تدفق الانتباه وتوزيع الوزن، يقوم إطار العمل بتصور أي بكسلات وأنماط محددة تدفع تنبؤات النموذج. يدعم تفسيرات خاصة بالفئة عن طريق تصفية خرائط الانتباه بتدرجات فئة الهدف، مما يوفر أداة تشخيصية لتصحيح أخطاء نماذج التعلم العميق وتحديد العناصر البصرية التي تساهم في نتائج التصنيف.
Visualizes internal decision-making processes by highlighting specific pixels and patterns that drive classification results.