基于张量计算的卷积神经网络语义表示学习

卷积神经网络已在多个领域取得了优异的性能表现,然而由于其不透明的内部状态,其可解释性依然面临很大的挑战.其中一个原因是卷积神经网络以像素级特征为输入,逐层地抽取高级别特征,然而这些高层特征依然十分抽象,人类不能直观理解.为了解决这一问题,我们需要表征出网络中隐藏的人类可理解的语义概念.本文通过预先定义语义概念数据集(例如红色、条纹、斑点、狗),得到这些语义在网络某一层的特征图,将这些特征图作为数据,训练一个张量分类器.我们将与分界面正交的张量称为语义激活张量(Semantic Activation Tensors,SATs),每个SAT都指向对应的语义概念.相对于向量分类器,张量分类器可以保留张量数据的原始结构.在卷积网络中,每个特征图中都包含了位置信息和通道信息,如果将其简单地展开成向量形式,这会破坏其结构信息,导致最终分类精度的降低.本文使用SAT与网络梯度的内积来量化语义对分类结果的重要程度,此方法称为TSAT(Testing with SATs).例如,条纹对斑马的预测结果有多大影响.本文以图像分类网络作为解释对象,数据集选取Image Net,在Res Net50和Incep...