融合深度特征和语义邻域的自动图像标注*

传统图像标注方法中人工选取特征费时费力,传统标签传播算法忽视语义近邻,导致视觉相似而语义不相似,影响标注效果.针对上述问题,文中提出融合深度特征和语义邻域的自动图像标注方法.首先构建基于深度卷积神经网络的统一、自适应深度特征提取框架,然后对训练集划分语义组并建立待标注图像的邻域图像集,最后根据视觉距离计算邻域图像各标签的贡献值并排序得到标注关键词.在基准数据集上实验表明,相比传统人工综合特征,文中提出的深度特征维数更低,效果更好.文中方法改善传统视觉近邻标注方法中的视觉相似而语义不相似的问题,有效提升准确率和准确预测的标签总数.     

深度视觉特征与策略互补融合的图像质量评价*

视觉多特征融合方法未考虑图像不同特征之间和不同评价算法之间的视觉互补性.通过融合人类视觉系统前端生理感知和后端心理处理特性,文中提出深度视觉特征互补融合(CPDVF)的图像质量评价方法.CPDVF深度提取图像的多通道直方图统计和多通道梯度结构这2种互补视觉特征,并进行深度视觉处理.然后设计局部失真度评价和局部相似度评价2种互补算法,分别对失真图像的上述互补视觉特征进行评价.最后联合视觉心理特性和回归函数,融合2种特征评价,获得失真图像质量的客观评价.实验表明,相比特征相似度、视觉显著等多特征联合方法,文中方法在准确度、单调性和可靠性指标上优势明显.     

基于局部特征聚类损失和多类特征融合的面部表情识别

在真实世界中,每个个体对表情的表现方式不同.基于上述事实,文中提出局部特征聚类(LFA)损失函数,能够在深度神经网络的训练过程中减小相同类图像之间的差异,扩大不同类图像之间的差异,从而削弱表情的多态性对深度学习方式提取特征的影响.同时,具有丰富表情的局部区域可以更好地表现面部表情特征,所以提出融入LFA损失函数的深度学习网络框架,提取的面部图像的局部特征用于面部表情识别.实验结果表明文中方法在真实世界的RAF数据集及实验室条件下的CK+数据集上的有效性.     

基于深度学习的自适应水墨画计算美学评估

近几年艺术作品的计算美学评估已成为一个热门的研究方向.但现有工作主要研究照片和油画,关于水墨画的定量审美评估却鲜有尝试.水墨画通过水墨相调和笔法变化来表现画面,因而在视觉特征、语义特征和审美准则上与照片和油画有显著不同.针对此问题,采用深度学习技术,提出一种自适应的水墨画计算美学评估框架.该框架首先构建水墨画图像美学评价基准数据集;然后根据水墨画审美标准提取全局与局部图像块作为多路输入,并设计一种多视角并行深度卷积神经网络来提取深度审美特征;最后基于水墨画的题材查询机制,构建自适应深度审美评估模型.实验结果表明,文中包含6个并行题材卷积组的多视角网络架构相较基础VGG16架构有较高的审美评估性能,提取的深度审美特征明显优于传统手工设计特征,其自适应模型评估结果与人工审美评价之间达到0.823的皮尔森高度显著相关,且均方误差为0.161.此外,干扰实验表明,文中的网络对构图、墨色和纹理3个绘画要素较为敏感.该研究将不仅为国画计算美学评估提供了一个基于深度学习的参考框架,而且有助于进一步探索人类审美感知与水墨画中深度学习特征之间的关系.     

掌纹识别研究进展综述

掌纹图像蕴含丰富特征,容易与手背静脉、指节纹及手形特征进行多模态融合,因此成为生物特征识别领域的热点.文中主要从掌纹的采集、感兴趣区域的检测、特征提取与匹配3方面介绍掌纹识别的基本流程.探讨基于不同特征融合的多模态识别策略.根据特征提取方法的不同,掌纹识别算法可分为基于手工设计的算法(如编码特征、结构特征、统计特征、子空间特征)和基于特征学习的算法(如机器学习和深度学习),文中对上述算法进行详细对比和分析.最后讨论未来掌纹识别面临的挑战和发展,特别是复杂场景下跨平台的掌纹识别系统.     

融合参考图像的人脸超分辨率重构方法

基于深度学习的图像超分辨率重构方法对低分辨率人脸图像进行超分辨率重构时,通常存在重构图像模糊和重构图像与真实图像差异较大等问题.基于此问题,文中提出融合参考图像的人脸超分辨率重构方法,可以实现对低分辨率人脸图像的有效重构.参考图像特征提取子网提取参考图像的多尺度特征,保留人脸神态和重点部位的细节特征信息,去除人脸轮廓和面部表情等冗余信息.基于提取的参考图像多尺度特征,逐级超分主网络对低分辨率人脸图像特征进行逐次填充,最终重构生成高分辨率的人脸图像.在数据集上的实验表明,文中方法可以实现对低分辨率人脸图像的有效重构,具有良好的鲁棒性.     

基于RGB-D图像特征的人体行为识别

针对现有的多模态特征融合方法不能有效度量不同特征的贡献度的问题,文中提出基于RGB-深度(RGB-D)图像特征的人体动作识别方法.首先获取基于RGB模态信息的方向梯度直方图特征、基于深度图像模态信息的时空兴趣点特征和基于关节模态信息的人体关节点位置特征,分别表征人体动作.采用不同距离度量公式的最近邻分类器对这3种不同模态特征表示的预测样本进行集成决策分类.在公开数据集上的实验表明,文中方法具有简单、快速,高效的特点.     

细粒度民族服饰图像检索的全局-局部特征提取方法

民族服饰图像具有不同民族风格的服装款式、配饰和图案,导致民族服饰图像细粒度检索准确率较低.因此,文中提出细粒度民族服饰图像检索的全局-局部特征提取方法.首先,基于自定义的民族服饰语义标注,对输入图像进行区域检测,分别获得前景、款式、图案和配饰图像.然后在全卷积网络结构的基础上构建多分支的全局-局部特征提取模型,对不同区域的服饰图像进行特征提取,分别获得全局、款式、图案和配饰的卷积特征.最后,先对全局特征进行相似性度量,得到初步检索结果,再使用Top-50检索结果的局部特征与查询图像的局部特征进行重排序,优化排序并输出最终的检索结果.在构建的民族服饰图像数据集上的实验表明,文中方法有效提高民族服饰图像检索的准确率.     

基于深度卷积网络的目标检测综述

在基于区域的卷积神经网络提出后,深度卷积网络开始在目标检测领域普及,更快的基于区域的卷积神经网络将整个目标检测过程合成在一个统一的深度网络框架上.随后YOLO和SSD等目标检测框架的提出进一步提升目标检测的效率.文中系统总结基于深度网络的目标检测方法,归为2类:基于候选窗口的目标检测框架和基于回归的目标检测框架.基于候选窗口的目标检测框架首先需要在输入的图像上产生很多的候选窗口,然后对这些候选窗口进行判别.这里的判别包括:对窗口包含物体的类别(包括背景)进行判断、对窗口的位置进行回归.基于回归的目标检测方法将图像目标检测看作是一个回归的过程.在此基础上,在PASCAL_VOC和COCO等主流数据库上对比目前两类目标检测框架中的主流方法,分析两类方法各自的优势.最后根据当前深度网络目标检测方法的发展趋势,对目标检测方法未来的研究热点做出合理预测.     

基于深度注意力的融合全局和语义特征的图像描述模型

现有的图像描述模型使用全局特征时受限于感受野大小相同,而基于对象区域的图像特征缺少背景信息。为此,提出了一种新的语义提取模块提取图像中的语义特征,使用多特征融合模块将全局特征与语义特征进行融合,使得模型同时关注图像的关键对象内容信息和背景信息。并提出基于深度注意力的解码模块,对齐视觉和文本特征以生成更高质量的图像描述语句。所提模型在Microsoft COCO数据集上进行了实验评估,分析结果表明该方法能够明显提升描述的性能,相较于其他先进模型具有竞争力。     

DHIQA: Quality assessment of dehazed images based on attentive multi-scale feature fusion and rank learning

Haze is a ubiquitous atmospheric phenomenon that seriously influences the visibility of images. To this end, numerous image dehazing models have been proposed to improve the visual quality of hazy images. However, the quality assessment of dehazed images has fallen behind. Traditional IQA methods for dehazed images rely on complex handcrafted features that may not accurately evaluate the quality of dehazed images. In this paper, we present a novel no-reference image quality assessment network for dehazed images (called DHIQA). Firstly, we propose a multi-scale feature fusion network that considers typical dehazed distortion-related features, such as contrast, dark channel, edge, etc. Then, inspired by the contrast sensitivity function of the Human Visual System (HVS), we propose a contrast attentive module to enhance the effectiveness of the proposed IQA network. Moreover, in addition to the absolute quality score of dehazed images, their rankings are also important for quality assessment. Thus, we propose a new ranking loss, which takes both the absolute quality score and their rankings into consideration. Extensive experimental results on six publicly available dehazed IQA databases show that the proposed model achieves superior performance compared to current state-of-the-art metrics.     

基于并行深度卷积神经网络的图像美感分类

随着计算机和社交网络的飞速发展, 图像美感的自动评价产生了越来越大的需求并受到了广泛关注. 由于图像美感评价的主观性和复杂性, 传统的手工特征和局部特征方法难以全面表征图像的美感特点, 并准确量化或建模. 本文提出一种并行深度卷积神经网络的图像美感分类方法, 从同一图像的不同角度出发, 利用深度学习网络自动完成特征学习, 得到更为全面的图像美感特征描述; 然后利用支持向量机训练特征并建立分类器, 实现图像美感分类. 通过在两个主流的图像美感数据库上的实验显示, 本文方法与目前已有的其他算法对比, 获得了更好的分类准确率.     

融合场景信息的图像美学属性评价

目的 图像美学属性评价可以提供丰富的美学要素,极大地增强图像美学的可解释性。然而现有的图像美学属性评价方法并没有考虑到图像场景类别的多样性,导致评价任务的性能不够理想。为此,本文提出一种深度多任务卷积神经网络（multi task convolutional neural network,MTCNN）模型,利用场景信息辅助图像的美学属性预测。方法 本文模型由双流深度残差网络组成,其中一支网络基于场景预测任务进行训练,以提取图像的场景特征;另一支网络提取图像的美学特征。然后融合这两种特征,通过多任务学习的方式进行训练,以预测图像的美学属性和整体美学分数。结果 为了验证模型的有效性,在图像美学属性数据集（aesthetics and attributes database,AADB）上进行实验验证。结果显示,在斯皮尔曼相关系数（Spearman rank-order correlation coefficient,SRCC）指标上,本文方法各美学属性预测的结果较其他方法的最优值平均提升了6.1%,本文方法整体美学分数预测的结果较其他方法的最优值提升了6.2%。结论 提出的图像美学属性预测方法,挖掘了图像中的场景语义与美学属性的耦合关系,有效地提高了图像美学属性及美学分数预测的准确率。     

面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。     

基于深度多视图特征距离学习的行人重识别

传统手工特征很大程度上依赖于行人的外观特征，而深度卷积特征作为高维特征，直接用来匹配图像会消耗大量的时间和内存，并且来自较高层的特征很容易受到行人姿势背景杂波影响。针对这些问题，提出一种基于深度多视图特征距离学习的方法。首先，提出一种新的整合和改善深度区域的卷积特征，利用滑框技术对卷积特征进行处理，得到低维的深度区域聚合特征并使其维数等于卷积层通道数；其次，通过交叉视图二次判别分析方法，从深度区域聚合特征和手工特征两个角度出发，提出一种多视图特征距离学习算法；最后，利用加权融合策略来完成传统特征和卷积特征之间的协作。在Market-1501和VIPeR数据集上的实验结果显示，所提融合模型的Rank1值在两个数据集上分别达到80.17%和75.32%；在CUHK03数据集新分类规则下，所提方法的Rank1值达到33.5%。实验结果表明，通过距离加权融合之后的行人重识别的精度明显高于单独的特征距离度量取得的精度，验证了所提的深度区域特征和算法模型的有效性。     

深度卷积神经网络在图像美学评价的应用综述

随着近年来深度学习的日益发展,图像美学评价逐渐成为一个新的热门研究课题,深度卷积神经网络在图像美学评价的应用成功地取得了可观的发展成果,并引起了广泛的关注。为了解决现有综述存在的文献概括不全、对该技术的发展情况认识不足的问题,先后从全局感知和局部感知、个性化查询、手工特征提取与深度卷积神经网络结合等角度对其发展情况进行了详细地阐述,对图像美学评价、图像裁剪、工具应用等应用情况作了分析,并从充分结合多场景、巧用构图规则、提前建立美学图像数据集等角度进行了未来工作展望。     

基于3D多尺度特征融合残差网络的高光谱图像分类

深度学习中用于训练的高光谱图像(HSI)数据十分有限,因此较深的网络不利于空谱特征的提取.为了缓解该问题,文中提出3D多尺度特征融合残差网络,利用深度学习和多尺度特征融合的方式对光谱-空间特征进行有序的学习.首先对3D-HSI数据进行自适应降维,将降维后的图像作为网络输入.然后,通过多尺度特征融合残差块依次提取光谱-空间特征,融合不同尺度的特征,通过特征共享增强信息流,获得更丰富的特征.最后以端到端的方式训练网络.在相关数据集上的测试表明,文中网络具有良好的分类性能.     

基于语义感知的图像美学质量评估方法

当前图像美学质量评估的研究主要基于图像的视觉内容来给出评价结果,忽视了美感是人的认知活动的事实,在评价时没有考虑用户对图像语义信息的理解。为了解决这一问题,提出了一种基于语义感知的图像美学质量评估方法,将图像的物体类别信息以及场景类别信息也用于图像美学质量评估。运用迁移学习的思想,构建了一种可以融合图像多种特征的混合网络。对于每一幅输入图像,该网络可以分别提取出其物体类别特征、场景类别特征以及美学特征,并将这三种特征进行高质量的融合,以达到更好的图像美学质量评估效果。该方法在AVA数据集上的分类准确率达到89.5%,相对于传统方法平均提高了19.9%,在CUHKPQ数据集上的泛化性能也有了很大提升。实验结果表明,所提方法在图像美学质量评估问题上,能够取得更好的分类性能。     

结合多尺度与可变形卷积的自监督图像特征点提取网络

特征点提取是图像处理领域的一个重要方向,在视觉导航、图像匹配、三维重建等领域具有广泛的应用价值。基于卷积神经网络的特征点提取方法是目前的主流方法,但由于传统卷积层的感受野大小不变、采样区域的几何结构固定,在尺度、视角和光照变化较大的情况下,特征点提取的精度和鲁棒性较差。为解决以上问题提出了一种结合多尺度与可变形卷积的自监督特征点提取网络。本文以L2-NET为网络骨干,在深层网络中引入多尺度卷积核,增强网络的多尺度特征提取能力,获得细粒度尺度信息的特征图;使用单应矩阵约束的可变形卷积以提取不规则的特征区域,同时降低运算量,并采用归一化约束单应矩阵的求解,均衡不同采样点对结果的影响,配合在网络中增加的卷积注意力机制和坐标注意力机制,提升网络的特征提取能力。文章在HPatches数据集上进行了对比试验和消融实验,与R2D2等7种主流方法进行对比,本文方法的特征点提取效果最好,相比于次优数据,特征点重复度指标（Rep）提升了约1%,匹配分数（M.s.）提升了约1.3%,平均匹配精度（MMA）提高了约0.4%。本文提出的方法充分利用了可变形卷积提供的深层信息,融合了不同尺度的特征,使特征点提取结果更加准确和鲁棒。     

DCN：双通道密集哈达玛卷积的画质评价网络

随着人类对高质量图像的需求日益紧迫,客观画质评价（image quality assessment,IQA）的研究日趋重要,其中的无参考真实失真评估,面临失真的复杂性和内容多样性的巨大挑战。为了获取更加准确有效的质量特征,提出了一种双通道密集哈达玛卷积的画质评价网络（dual-channel network,DCN）,其以深度卷积模型Inception-ResNet-v2为骨干网络提取特征,将设计的双通道融合网络为分数评估网络,最后映射到客观质量分数。分数评估网络由卷积特征提取分支和多层感知机分支并联组成,将提出的密集哈达玛卷积模块（dense Hadamard product module,DHPM）应用到多层感知机分支中,通过哈达玛乘积将低层特征与高层特征融合,发挥特征自适应和高级表达的作用。在公开数据集KonIQ-10k上的实验结果表明,该网络测试的斯皮尔曼秩相关系数（spearman rankorder correlation coefficient,SROCC）为0.922,皮尔森线性相关系数（Pearson linear correlation coefficient,PLCC）达到0.938。