基于图像深度预测的景深视频分类算法

景深视频因高清、美观广受大众喜爱。然而，要从海量视频中检出此类视频十分困难。已有较多研究基于景深图像成像原理，开展景深像素分割算法研究，但难以直接应用于实际视频分类场景。本文针对景深视频类型，设计了可预测视频类型的深度网络。根据景深成像原理，各语义物体之间相对相机的景深深度存在一定的逻辑关系。为此提出以图像深度为指导，利用深度预测模块预测图像的景深深度信息，将其合并后输入至分类网络进行训练检测，以降低景深视频误检率，提升网络模型的性能。此外，针对现实需求中该领域有标数据较少，而不同数据集分布会降低性能的问题，设计了迭代式景深视频数据集收集方法，以较低的劳动成本快速收集所需要的视频数据，具有一定的实际应用价值。本文算法在快手线上的景深视频数据集中识别准确率达85.7%。     

基于跨视角图像转换的地-空图像地理定位

图像地理定位任务的目标是对于给定的现实图像实现其地理位置的预测,在目前主流方法中,这种预测通过将输入图像与数据库中带有地理标签的图像进行匹配实现。由于缺乏全面的带有地理标签的地面图像,已有的数据库都是通过带有经纬度标签的卫星图像来建立的,而卫星图像相对于地面图像的巨大视角变化则给图像的匹配带来了挑战。本文提出了一种新的用于跨视角图像转换的条件生成对抗网络Crossview Attention Seq(CAS),使其生成由卫星图像转换得到的地面辅助信息。CAS由图像的语义分割信息达到了更好的生成效果,同时又通过模块中的空域注意力机制压制了转换的噪声。CAS所生成的转换信息与查询图像一起被输入到图像匹配框架当中,进行参数的优化和特征表示的学习。基于孪生网络模型搭建了新的图像匹配框架,并将新的损失函数结合到训练过程中,与传统三元组损失相比,它大大提升了模型整体优化的效果。实验结果表明,本文提出的方法在两个经典图像定位数据集上对比基线模型达到了更高的定位精度,并且对低信息量的数据具有更强的鲁棒性。     

中文图文数据集构建

为了从更深层次语义信息来描述图像,定义了图像、文本、事件文本、事件图、图像关键要素和文本关键要素六元组,以六元组为对象建立了中文图文数据集。基于事件语义模型与事件语义标注规范,在对采集的图像文本标注事件语义角色与事件关系的基础上,采用事件图对其语义进行形式化表示。对该中文图文数据集的统计分析表明,该数据集中各个事件语义角色都有所涉及且分布适中,图文对应区域数量相对句子长度表现适中,图文对数据质量较高。     

基于先验知识的单幅图像雨雾去除方法

单幅图像雨雾去除是计算机视觉研究的热点之一，现有的去雨方法往往需根据雨的特性恢复图像，忽视了场景中的雾以及场景深处雨累积的影响。提出了一种新型单幅图像去雨雾方法，设计了一种基于先验知识的三阶段单幅图像去雨雾框架。首先，将深度图作为图像透射率的引导，利用暗通道先验知识对输入图像的低频部分去雾，然后，采用残差网络学习高频雨痕特征，最后，引入条件生成对抗网络（conditional generative adversarial network，cGAN），对图像局部细节进行精细化修复，cGAN对图像的空间信息和纹理细节更为敏感，能有效恢复去雨雾过程中丢失或未能填补的细节。分别用高质量的合成雨雾数据集和真实数据集进行实验测试，结果表明，本文方法在峰值信噪比和结构相似度上均较基准方法优，能将雾浓度各异和雨分布变化情况下的图像恢复至细节丰富的干净场景图。     

运用反例基于识别的手写数字串分割

采用基于识别的分割方法进行手写数字串分割.在识别的过程中,运用反例样本估计分类器参数,实验数据表明,这种运用反例样本训练的分类器与没有经过反例样本训练的分类器相比,将提高拒识率到19%左右,从而保证了较高的识别率,验证了只有经过反例训练的分类器的输出结果才是可信赖的.     

基于深度学习的非对齐人脸验证方法

当前大多数方法需要对人脸进行对齐等预处理,这不仅影响验证流程的连续性,还严重影响人脸验证的效率。本文设计了两种神经网络模型及三个阶段式的训练验证构架以及基于深度特征与SIFT特征相结合的高效的非对齐人脸验证方法:方法利用卷积神经网络的池化层中间结果同步生成SIFT特征描述符从粗粒度到细粒度进行多级联的非对齐的人脸验证,这极大的提高人脸验证的速度及准确度;在训练阶段提出了使用三元组样本作为输入,Triplet loss作为损失函数有效提高不同人之间的区分度提高人脸验证的准确率;本文根据不同应用场景设计了两种深度学习架构适应小型及大型设备的需要。本方法经过在Web-face数据集训练及在LFW,YOUTUBE等数据集上验证,结果表明该方法具有良好的性能。     

一种基于FCM的噪声图像分割算法研究

针对噪声污染的图像进行有效分割困难问题,提出了一种基于模糊C均值的噪声图像分割方法.该方法首先应用离散小波变换(DWT)将图像进行分解获取不同尺度的小波系数;然后利用粒子群(PSO)算法自适应搜索最优的阈值对小波系数进行处理,将处理好的系数利用小波重构得到重构图像;最后利用模糊C均值聚类完成图像分割.该算法在Berkeley数据集上进行实验,结果表明与其他算法相比,该算法具有更好的性能.     

基于迁移学习的自然环境下香梨目标识别研究

为了准确识别自然成熟的香梨果实,使得采摘机能对水果目标进行精确的定位,提出了使用目标检测深度学习网络模型的方法.该模型基于Mask R-CNN,首先通过在Kaggle数据集以及网上爬取并筛选出的9 600张水果图片对Resnet网络进行初步训练,然后在预训练过的Resnet网络基础上加入掩模分支和分类分支训练自然环境下成熟香梨的数据集,最终获得准确识别香梨目标的网络模型.实验结果表明,在同等目标未添加噪声的情况下,在使用水果图片数据集预训练的基础上,图片的平均分割精度为98.02%,这与使用COCO数据集进行预训练相比(精度为93.72%),平均分割精度增加了4.30%.此外,该模型对于被遮挡水果也有着不错的识别效果,在未添加噪声的情况下,被遮挡水果的平均分割精度为95.28%,这与未被遮挡水果的分割精度相比,误差仅增加了2.74%.所以,此模型对于香梨的识别和分割具有很好的鲁棒性.     

基于深度学习的岩石薄片矿物自动识别方法

岩石薄片矿物识别是岩石学研究工作的基础,亦是进一步认识岩石种类、成因机理、物质运移和演化历史的基础。传统的矿物识别主要依靠光学显微镜进行人工鉴定,经济成本和时间成本较高、效率较低,且受制于专家个人经验与主观判断。随着深度学习技术的发展,计算机能从图像中自动提取更准确的语义信息,从而为岩石薄片图像的智能分析提供有效途径。提出了一种基于深度学习的岩石薄片矿物自动识别方法,利用深度卷积神经网络自动提取岩石薄片图像中不同矿物的有效特征,并对其进行语义分割与识别,综合利用单偏光与正交偏光2种光性图像实现了对矿物的自动识别。对南京大学岩石教学薄片显微图像数据集进行了矿物识别测试,结果表明,总体精度为86.7%,Kappa系数为0.818,识别结果较传统图像分类方法更准确。     

基于半监督子空间迁移的稀疏表示遥感图像场景分类方法

利用已有的标记数据对新领域图像进行分类是遥感图像场景分类的重要研究方向。提出了一种基于半监督子空间迁移的稀疏表示（sparse representation method based on semi-supervised transfer learning subspace，SR-SSTLS）遥感图像场景分类方法。为减少源域和目标域数据分布变化，将不同数据域的遥感图像投影至共享子空间。源域和目标域数据在投影子空间协同学习共享字典，使得带标记的源域数据辅助目标域模型的建立。同时，建立了基于源域、目标域、源域-目标域标记数据的拉普拉斯图矩阵和目标域未标记数据的拉普拉斯正则化项，使得目标域中的数据均得到很好编码。在多个遥感图像数据集上的实验结果均证明了SR-SSTLS方法的有效性。     

基于变分高斯混合模型的图像分割算法

提出了一种基于变分推断的高斯混合模型的图像分割算法. 该算法首先用贝叶斯混合高斯模型对图像的特征进行建模, 并针对模型的参数学习问题, 利用变分推断算法估计模型的参数及其后验概率; 这种方法比采样法的计算量更少, 而且能够根据图像数据自动优化混合个数, 实现了模型的自动选择. 最后, 该算法在Berkeley的自然图像集上进行的实验结果与经典的图像分割算法进行了比较, 结果表明此方法得到的图像分割结果精度较高, 具有较好的性能.     

针对气体传感器漂移补偿的支持向量机自训练分类方法

传感器漂移是影响气体传感检测系统稳定性的重要问题之一。本文提出了一种基于支持向量机的在线漂移补偿的分类模型设计方法,并在此基础上引入遗忘系数以应对漂移影响和保证数据集平衡状态,引入起学系数来避免因数据集不平衡而导致模型一直无法得到训练的极端情况出现。经实验验证,改进的分类模型能够延长传感器的可靠使用时间,并对短中期的分类效果有一定程度的提升,模型自训练过程无须人工参与,符合现实应用场景。本文提出的研究思路和方法对相关领域的研究有一定的参考意义。     

基于本体的道路标牌自动审核

随着城市规模的不断扩大,道路标牌的有效管理是智能交通中的一个关键问题.本文在基于本体有机整合海量、多源、异构语义数据的基础上,研究基于国家路标设置规范的路标牌位置和内容有效性自动审核,是对语义技术在智能交通应用中的有益探索.首先,对地缘信息中的道路、兴趣点及路标建立统一模型,采用本体技术把海量数据在语义层面上关联起来.其次,对国家路标设置规范中的规则进行分类,对每一类规则分别构造规则模板及为其构造带参数的SPARQL查询,从而将路标设置指南进行规范形式化表示,在此基础上实现对路标牌的自动检测.最后,在构建的实验数据集上进行了实验,实验结果证明,提出的方法路牌检测准正确率达到85.1%,召回率达到92.1%.     

基于卷积神经网络的刺绣风格数字合成

针对刺绣风格数字化模拟方法立体感不强、缺少线条方向等问题,提出了一种基于深度学习和卷积神经网络的算法,将刺绣艺术风格传输到目标图像。利用图像语义分割网络及风格迁移网络,分别对目标内容图像与刺绣艺术风格图像进行目标提取和风格迁移。首先,输入目标内容图像与刺绣艺术风格图像,采用基于条件随机场的图像语义分割,将目标内容图与刺绣艺术风格图的前景与背景分离,并进行二值化处理,形成掩模图像;其次,将目标内容图与刺绣艺术风格图的RGB颜色空间转换为YIQ;最后,参照掩模图像使用VGG19网络模型提取目标内容图的内容特征及刺绣艺术风格图的风格纹理特征进行目标区域内的风格迁移,从而对刺绣艺术进行数字化模拟。该算法能模拟出具有刺绣艺术效果的结果图像,能更好地模拟真实刺绣艺术的线条方向,突出了线条的立体感。通过使用语义分割与风格迁移相结合的方法,有效模拟了色彩艳丽、立体感强的刺绣艺术风格图像,是对非真实感绘制的有效补充,为刺绣数字化保护与非物质文化传承奠定了基础。     

基于卷积神经网络的刺绣风格数字合成

针对刺绣风格数字化模拟方法立体感不强、缺少线条方向等问题,提出了一种基于深度学习和卷积神经网络的算法,将刺绣艺术风格传输到目标图像。利用图像语义分割网络及风格迁移网络,分别对目标内容图像与刺绣艺术风格图像进行目标提取和风格迁移。首先,输入目标内容图像与刺绣艺术风格图像,采用基于条件随机场的图像语义分割,将目标内容图与刺绣艺术风格图的前景与背景分离,并进行二值化处理,形成掩模图像;其次,将目标内容图与刺绣艺术风格图的RGB颜色空间转换为YIQ;最后,参照掩模图像使用VGG19网络模型提取目标内容图的内容特征及刺绣艺术风格图的风格纹理特征进行目标区域内的风格迁移,从而对刺绣艺术进行数字化模拟。该算法能模拟出具有刺绣艺术效果的结果图像,能更好地模拟真实刺绣艺术的线条方向,突出了线条的立体感。通过使用语义分割与风格迁移相结合的方法,有效模拟了色彩艳丽、立体感强的刺绣艺术风格图像,是对非真实感绘制的有效补充,为刺绣数字化保护与非物质文化传承奠定了基础。     

基于邻域总变分和边缘检测的遥感影像道路提取

针对道路提取的同物异谱和同谱异物难题,提出了一种基于邻域总变分和边缘检测的遥感影像道路提取方法,先对原始影像进行邻域总变分分割,提取出影像中具有均匀材质的地物,并采用Canny边缘检测方法获得原始影像的边缘数据;然后将边缘数据和分割结果融合,使均匀材质区域中的非道路地物和道路分离;最后采用多方向结构进一步提取狭长并具有一定宽度的道路.实验证明本文提出的道路提取方案能同时提取影像中光谱略有差异的道路,能有效剔除和道路黏连在一起的同谱异物地物,并能提取具有一定弯度的道路.     

结合梯度与区域信息的变分水平集图像分割方法

在研究分析基于梯度的图像分割方法和基于区域的Chan-Vese(C-V)分割方法的基础上,提出了一种改进的分割方法,该方法将图像的边缘信息和区域信息相结合,既保留了基于图像边缘信息的分割方法对图像边缘逼近效果好、分割曲线光滑,又保留了基于图像区域信息的分割方法演化速度快、对弱边界和内部有空洞的情况处理效果较好两方面的优点.实验结果表明,该方法效果良好,鲁棒性较强.     

基于图文双向引导注意力的新闻图集描述生成方法

在传统的图像描述生成任务中,已有方法对图像的描述仅仅停留在浅层,并缺乏真实世界知识的指导,难以挖掘出对象在特定背景下的逻辑语义关系。新闻文本的引入为图像描述带来了新的可能,同时对模型的学习能力有了更高要求;此外,新闻图集中往往存在多幅图像,且相互之间联系紧密,导致现有单图描述生成方法不适用于新闻图集描述生成。针对上述问题,本文提出了一种基于图文双向引导注意力(image and text bidirectional guidance attention,ITBGA)的新闻图集描述方法,以图集作为研究对象,并辅以对应的新闻文本作为背景知识,基于ITBGA分别实现粗、细两个粒度的跨模态信息交互,并通过指针网络辅助命名实体词生成。在本文构建的新闻图集数据集上进行了实验验证,结果表明ITBGA能有效提升描述文本的质量,在关键的CIDEr指标上达到了最优。     

基于蒙特卡洛梯度估计的黑盒神经网络后门检测

现有的后门检测方法研究主要聚焦于白盒场景,然而现实中很难获得对模型的完全访问权限。为此,本文研究了基于蒙特卡洛梯度估计的黑盒神经网络后门检测方法。通过将黑盒场景下后门触发器的逆向视作零阶优化问题,提出了黑盒触发器逆向算法来检测黑盒神经网络是否被植入后门,利用重要性采样结合规范化判断标准和早停策略,进一步提出了快速黑盒后门检测算法以降低黑盒后门检测的开销。在3个流行图像数据集上的实验结果均表明提出的方法能准确区分正常模型与植入后门的模型,且可以得到有效的后门触发器。     

基于快速神经网络架构搜索的鲁棒图像水印网络算法

为解决深度学习在图像水印算法中计算量大且模型冗余的问题，提高图像水印算法在抵抗噪声、旋转和剪裁等攻击时的鲁棒性，提出基于快速神经网络架构搜索（neural architecture search，NAS）的鲁棒图像水印网络算法。通过多项式分布学习快速神经网络架构搜索算法，在预设的搜索空间中搜索最优网络结构，进行图像水印的高效嵌入与鲁棒提取。首先，将子网络中线性连接的全卷积层设置为独立的神经单元结构，并参数化表示结构单元内节点的连接，预先设定结构单元内每个神经元操作的搜索空间；其次，在完成一个批次的数据集训练后，依据神经元操作中的被采样次数和平均损失函数值动态更新概率；最后，重新训练搜索完成的网络。水印网络模型的参数量较原始网络模型缩减了92%以上，大大缩短了模型训练时间。由于搜索得到的网络结构更为紧凑，本文算法具有较高的时间性能和较好的实验效果，在隐藏图像时，对空域信息的依赖比原始网络更少。对改进前后的2个网络进行了大量鲁棒性实验，对比发现，本文算法在CIFAR-10数据集上对抵抗椒盐噪声和旋转、移除像素行（列）等攻击优势显著；在ImageNet数据集上对抵抗椒盐高斯噪声、旋转、中值滤波、高斯滤波、JPEG压缩、裁剪等攻击优势显著，特别是对随机移除行（列）和椒盐噪声有较强的鲁棒性。