基于内容特征提取的短波红外-可见光人脸识别

为了实现短波红外-可见光人脸图像的跨模态识别,提出了基于内容特征提取的短波红外-可见光人脸识别框架。首先建立了短波红外-可见光人脸图像数据集,对图像翻译框架DRIT进行改进,更为准确地获取图像的内容特征并得到更好的翻译结果;接着,采用改进的图像翻译框架中的内容特征提取器进行内容特征提取,以克服模态差异对识别的干扰,然后设计识别网络,基于内容特征完成跨模态的短波红外-可见光人脸识别任务。在自建短波红外-可见光人脸图像数据集上对改进的图像翻译框架和跨模态人脸识别框架进行测试,实验结果表明,改进的DRIT图像翻译框架中的内容特征提取器可以更准确地进行内容特征提取,应用于识别任务时识别准确率提升了12.89%,整体识别框架对短波红外人脸识别准确率达到88.86%。本文提出的基于内容特征提取的识别方案有效克服了模态差异,获得了较好的短波红外-可见光人脸识别结果。