论文笔记：《Network Dissection: Quantifying Interpretability of Deep Visual Representations》

CVPR 2017 的 MIT 论文《Network Dissection: Quantifying Interpretability of Deep Visual Representations》

其项目网页：Network Dissection

 

【所实现的】

直接剖析其他任务中训练好的 CNN 模型，解释其神经元对应的语义概念

 

【方法概要】 （1）构建一个包括多层次图片（从简单颜色纹理到复杂场景物体）并在像素级别人工标注了语义的 Broden 数据集；

（2）把Broden数据集输入待测试的 CNN 模型，收集 CNN 模型神经元对语义概念的激活响应； （3）测量、量化神经元与语义概念的对齐（映射）。 【局限性】

仅能较好解释 CNN 模型中对 Broden 数据集中有定义的语义概念的响应。

 

【提出并分析了三个问题】 （1）什么是神经网络的可解释表示，其要素如何检测、量化？

测量、量化方法见上；提出了一个量化的单位 IoU（intersection over union），计算公式为（（像素级语义划分范围）∩（神经元激活区域））/（二者的并集）

（2）可解释的隐藏神经元是否与特征空间构成特定的映射？

一个语义概念可能被多个神经元检测到，一个神经元也可能检测多个语义。

其中只看一个神经元中 IoU 最高的语义。

（3）神经网络训练中什么因素会影响可解释的程度？ 可解释的度量：CNN（某层）中独特检测器（Unique detector）的数量（神经元最对应语义的 IoU > 0.04时为独特检测器） 网络深度：CNN 中越往后层比前面的层可解释性更高，同时可解释的语义等级也更高（浅层可检测颜色、纹理，深层可检测物体、场景）；跨网络结构比较时，网络结构越深，最后层可解释性越高。

图片角度：保持分类能力不变下旋转图片，旋转角度越大，CNN 可解释性越低。（也说明了分类辨别力与可解释性相互独立）

训练用的数据集：数据集内容越丰富，训练出的 CNN 可解释性越高。

训练参数：迭代次数大程度上与可解释性成正比

Fine Tuning 可以提高神经元可解释性

有监督 > 自监督

 

欢迎讨论 我才是一卓 原创文章 6获赞 2访问量 1774 关注 私信 展开阅读全文
作者：我才是一卓

deep visual