基于人眼色彩差异化感知的图像质量评价研究

针对显著性图像质量评价问题，参考人眼视觉对图像色彩的差异化感知，提出一种基于孪生神经网络对图像色彩对比显著区域进行质量评价的算法。首先，根据图像中的色彩对比和语义信息分别提取原始图像和失真图像中的色彩对比显著区域；然后，将原始图像和失真图像中对应的色彩区域作为子图像，以样本对的形式输入孪生神经网络；最后，计算主客观图像质量评估值的相关性。实验采用残差结构的Inception-ResNet-V2网络作为基础模型，同时增加EMD损失函数优化对图像质量的距离损失，经过Softmax层后输出图像质量评估值，并在TID2013数据集上进行了测试。结果表明，提出的算法在该数据集上性能良好。     

基于可变形卷积技术的街景图像语义分割算法

目前图像语义分割算法中可能会出现分割图像的不连续与细尺度目标丢失的缺陷,故提出可变形卷积融合增强图像的语义分割算法。算法集HRNet网络框架、Xception Module以及可变形的卷积于一体,用轻量级Xception Module优化HRNet原先存在的Bottleneck模块,同时在网络的第一阶段串联融合可变形卷积,通过建立轻量级融合加强网络从而增强针对细尺度目标特征物的辨识精度,从而使得该轻量级融合增强网络在粗尺度目标物被分割时取得相对多的细尺度目标的语义特征信息,进一步缓解语义分割图像的不连续与细尺度的目标丢失。使用Cityscapes数据集,实验结果可以说明,优化后的算法对于细尺度目标分割精度得到了显著的增强,同时解决了图像语义分割导致的分割不连续的问题。然后进行实验使用的是公开数据集PASCAL VOC 2012,实验进一步的验证了优化算法的鲁棒性以及泛化能力。     

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价（NR-IQA）方法的性能,参考先进的深度生成对抗网络（GAN）研究成果,提出一种基于增强型对抗学习的无参考图像质量评价算法,即通过改进损失函数、网络模型结构来增强对抗学习强度,输出更可靠的模拟“参考图”,进而可以像全参考图像质量评价（FR-IQA）方法一样模拟人的视觉比较过程。首先,利用数据集中失真的图像和未失真的原图像作为输入,从而基于增强对抗学习来训练网络模型;然后,利用该模型输出待测图像的模拟仿真图,提取仿真图的深度卷积特征;最后,将仿真图和待测失真图的卷积特征相融合,并输入到训练好的图像质量评价回归网络,输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明,所提算法在图像质量上的总体客观评价性能优于当前的主流算法,与人的主观评价表现出的性能相一致。     

基于CNN级联特征增强的通用目标检测方法

为解决传统链式特征融合只针对单一方向缺失的语义信息进行弥补,忽略语义信息来源多方向性的问题,提出一种对图像特征空间进行全局建模的方法。根据各个层级特征图对原始信息的多维度描述,设计特征增强模块(feature enhancement module,FEM),从多个方向弥补级联特征缺失的语义,达到增强CNN级联特征表达力的目的。经实验验证,FEM的使用在PASCALVOC2007测试数据集上达到了85.0%的平均精度均值(mean average precision,m AP),与依赖传统融合方式的检测算法相比最高提高了2.3%。     

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价（NR-IQA）方法的性能，参考先进的深度生成对抗网络（GAN）研究成果，提出一种基于增强型对抗学习的无参考图像质量评价算法，即通过改进损失函数、网络模型结构来增强对抗学习强度，输出更可靠的模拟“参考图”，进而可以像全参考图像质量评价（FR-IQA）方法一样模拟人的视觉比较过程。首先，利用数据集中失真的图像和未失真的原图像作为输入，从而基于增强对抗学习来训练网络模型；然后，利用该模型输出待测图像的模拟仿真图，提取仿真图的深度卷积特征；最后，将仿真图和待测失真图的卷积特征相融合，并输入到训练好的图像质量评价回归网络，输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明，所提算法在图像质量上的总体客观评价性能优于当前的主流算法，与人的主观评价表现出的性能相一致。     

基于显著性深层特征的无参考图像质量评价算法

针对通用型无参考图像质量评价（NR-IQA）算法,提出一种基于伪参考图像显著性深层特征的评价算法。首先,在失真图像的基础上,利用微调的ConSinGAN模型生成相应的伪参考图像作为失真图像的补偿信息,弥补NRIQA算法缺少真实参考信息的不足;然后,提取伪参考图像的显著性信息,将伪参考显著性图像与失真图像输入到VGG16网络中提取深层特征;最后,融合二者的深层特征并将其映射到由全连接层组成的回归网络中,从而产生与人类视觉一致的质量预测。为了验证算法的有效性,在四个大型公开的图像数据集TID2013、TID2008、CSIQ与LIVE上进行实验,结果显示所提算法在TID2013数据集上的斯皮尔曼秩相关系数（SROCC）比H-IQA算法提升了5个百分点,比RankIQA算法提升了14个百分点,针对单一失真类型也具有稳定的性能。实验结果表明,所提算法总体表现优于现有主流全参考图像质量评价（FR-IQA）和NR-IQA算法,与人类主观感知表现一致。     

基于并行小规模卷积神经网络的图像质量评价

图像质量客观评价广泛应用在图像处理任务中,参考深度学习技术的研究成果,提出了一种基于并行小规模卷积神经网络的无参考图像质量评估算法。卷积操作和并行的多尺度输入能学习到丰富和细微的图像失真特征,首先利用高斯图像金字塔获取不同尺度的失真图像做为4路小规模单层卷积神经网络的输入,经过卷积和池化处理后,输出4路特征矢量,把学习到的特征矢量融合后,通过全连接回归映射为图像质量预测分数。参数优化分2个阶段完成,提高了模型精度。实验测试结果表明,设计的网络模型简单有效,提出的算法性能高于当前主流算法,具有很好的稳定性和较强的泛化能力。      

结合边缘检测的语义分割算法

针对语义分割中目标边缘模糊与分割不准确的问题,提出一种结合边缘检测的语义分割网络。整个网络由边缘检测网络和语义分割网络并行组成。利用边缘检测网络与语义分割网络分别提取图像的边缘特征和初步的语义分割特征,通过特征融合模块将边缘特征和语义分割特征进行融合,得到最终的语义分割结果。在CamVid数据集和Cityscapes数据集上的实验结果表明,与SegNet算法相比,该算法平均交并比分别提升了1.5和1.8个百分点,验证了所提算法的有效性。     

基于显著性深层特征的无参考图像质量评价算法

针对通用型无参考图像质量评价（NR-IQA）算法,提出一种基于伪参考图像显著性深层特征的评价算法。首先,在失真图像的基础上,利用微调的ConSinGAN模型生成相应的伪参考图像作为失真图像的补偿信息,弥补NRIQA算法缺少真实参考信息的不足;然后,提取伪参考图像的显著性信息,将伪参考显著性图像与失真图像输入到VGG16网络中提取深层特征;最后,融合二者的深层特征并将其映射到由全连接层组成的回归网络中,从而产生与人类视觉一致的质量预测。为了验证算法的有效性,在四个大型公开的图像数据集TID2013、TID2008、CSIQ与LIVE上进行实验,结果显示所提算法在TID2013数据集上的斯皮尔曼秩相关系数（SROCC）比H-IQA算法提升了5个百分点,比RankIQA算法提升了14个百分点,针对单一失真类型也具有稳定的性能。实验结果表明,所提算法总体表现优于现有主流全参考图像质量评价（FR-IQA）和NR-IQA算法,与人类主观感知表现一致。     

一种用于图像去雾的改进生成对抗网络

雾霾天气会使计算机视觉相关系统获取到的图像质量下降并影响系统的正常工作。传统图像去雾算法通过分析大量图像建立模型,并找出清晰图像与模型之间的映射关系,但该类算法大多存在颜色失真和图像失真的问题,且在某些特定场景下可能失效。基于卷积神经网络的去雾算法得到的图像质量相对较好,但是该类算法对数据集要求较高,普遍需要成对数据进行训练,而获取同一时刻和场景下的有雾图像与无雾图像难度较高。提出一种基于循环生成对抗网络（CycleGAN）的改进图像去雾算法,该算法无需使用成对的数据进行训练。通过优化生成器生成的无雾图像与真实无雾图像之间的颜色损失,使得生成器能够生成与无雾图像具有相同颜色分布的图像。同时,通过向2个生成器中分别添加对应目标域图像的输入并引入特征损失函数,以解决经典CycleGAN在图像转换时存在的图像失真问题,从而更好地还原原始图像的细节特征。实验结果表明,相较DCP、CycleGAN、AOD-Net、Cycle-dehaze等算法,该算法的结构相似度提高4.3%~23.0%,峰值信噪比提高2.3%~36.9%,其能取得更好的去雾效果。     

基于反卷积特征学习的图像语义分割算法

随着深度学习的发展,语义分割任务中许多复杂的问题得以解决,为图像理解奠定了坚实的基础.本文算法突出表现在两个方面,其一是利用反卷积网络,对卷积网络中不同深度的卷积层提取到的多尺度特征进行融合,之后再次通过反卷积操作对融合后的特征图进行上采样,将其放大到原图像的大小,最后对每个像素进行语义类别的预测.其二为了提升本文网络结构的性能,提出一种新的数据处理方式,批次中心化算法.经过实验验证,本文算法在SIFT-Flow数据集上语义分割的平均准确率达到45.2%,几何分割的准确率达到96.8%,在PASCAL VOC2012数据集上语义分割的平均准确率达到73.5%.     

基于特征融合的FL-BCNN鱼类识别算法研究

为了解决水下相机设备捕获的鱼类图像质量差、数据量不均匀等难以准确识别鱼类的问题，提出一种基于特征融合的FL-BCNN鱼类识别算法。对B-CNN算法进行改进，融合不同卷积层的特征，提高细粒度特征的表达能力，解决了图像质量差引起的特征不明显的问题。利用焦点损失函数(Focal Loss)解决样本数据不平衡的问题，提高水下鱼类图像的识别能力。利用F4K(15)数据集与四个已有算法进行鱼类识别对比实验。实验结果表明，FL-BCNN鱼类识别算法的识别精度较高，具有较好的识别速度，可以有效解决鱼类识别中样本不平衡的问题。     

一种改进的SSD网络车载图像检测方法

对行人和车辆的检测识别是无人驾驶领域的重要组成部分,为满足该领域对相关模型检测精确度的需求,以传统单发多框检测器(single shot multibox detector,SSD)为基础,提出了一种车载图像识别改进算法。鉴于传统SSD目标检测算法不能充分利用局部特征和全局语义特征、目标定位和识别存在矛盾等缺陷,提出了SSD检测模型相关特征层的融合方法,从而重新生成模型的目标检测金字塔(object detection pyramid,ODP)。改进算法将输入图像中待检测目标的低层次细节特征与高层次语义特征结合起来,降低了待检测目标定位与识别间的矛盾,达到了提升模型检测精确度的目的。利用行车记录仪获得的车载图像数据集进行训练,实验结果表明,改进的SSD算法在相关图像数据集的测试集上可以达到79.2%的精确度,与传统的SSD算法相比精确度提高了2.3%。     

最小二乘法在多模态生物特征分数层融合中的应用

研究多模态生物特征的分数层融合算法,提出一种新颖的基于最小二乘法的分数层融合算法(LSMSF),利用融合函数获取融合分数,并采用最小二乘法确定融合函数中的参数,给出两种不同形式的融合函数:幂级数函数,多项式函数,其次,采用交叉验证的方法,对分数层融合算法进行了全面的评估,评估了分数归一化、数据集划分、单模态性能对分数层融合算法正确接收率的影响,并评估了各种方法的正确接受率和时间开销,开集测试表明,LSMSF算法优于传统的分数层融合算法,其时间开销满足多模态生物特征识别系统实时性的需求.     

基于增强特征提取网络与语义特征融合的多方向文本检测

针对自然场景文本长度不定、角度倾斜等难题,提出了一种基于增强特征提取网络与语义特征融合的文本检测方法。通过结合可变形卷积与空洞卷积,设计了一种增强扩张残差模块EDRM (Enhanced Dilated Residual Module),将其应用于ResNet18的conv4＿x与conv5＿x层,并以此作为骨干网络,在改善网络特征提取能力的同时提高特征图像分辨率,减少空间信息丢失。其次,针对现有算法提取文本语义特征仍不充分的问题,将双向长短期记忆网络BiLSTM (Bi-directional Long Short-Term Memory)引入特征融合部分,增强融合特征图对自然场景文本的表征能力以及特征序列的关联性,同时提高模型的文本定位能力。在多方向文本数据集ICDAR2015、长文本数据集MSRA-TD500上对模型展开评估,实验结果表明,该算法与当下高效的DBNet算法相比,F值分别提升1.8%、3.3%,表现出良好的竞争力。     

基于多补丁和多尺度层级聚合网络的快速非均匀图像去雾

尽管基于卷积神经网络的去雾算法在合成的均匀雾气数据集上已经取得了巨大进展,但在真实的非均匀有雾图像上仍然表现不佳.为了快速有效地去除图像中的非均匀雾气,文中首先提出了一种多补丁和多尺度层级聚合网络结构(Multi-patch and Multi-scale Hierarchical Aggregation Network,MPSHAN),融合了多补丁局部化信息和多尺度全局化信息.其次,提出了层级融合模块(Hierarchical Fusion Module,HFM),既解耦了残差融合以实现更丰富的非线性特征表达,又通过通道注意力机制提升了关键位置的特征融合质量.同时,对层级结构使用扩张卷积获得多尺度信息,增强特征图以优化融合效果.此外,在损失函数中加入频域损失以恢复更好的边缘质量.实验结果表明,所提算法在非均匀雾气图像上具有很好的鲁棒性,1200×1600高分辨率图像的平均处理时间仅有0.044s,相比其他去雾算法,其在图像去雾效果和运行时间之间实现了更好的平衡.     

基于卷积神经网络的多标签图像自动标注

如今生活中,图像资源无处不在,海量的图像让人应接不暇。如何快速有效地对这些图像信息进行查询、检索和组织,成为了当前亟需解决的热门问题。而图像自动标注是解决基于文本的图像检索的关键。文中提出的这套基于深度学习模型中的卷积神经网络模型的多标签图像自动标注系统,实现了多标签损失排名函数,完成了多标签数据的训练与测试。在实验验证上,先选取CIFAR-10数据集进行算法的有效性测试,然后选取多标签图像数据集Corel 5k进行定量测试比较,结果表明,该算法的综合性能指标与现有算法相比有较大的提升。     

基于轻量语义分割网络的遥感土地覆盖分类

高分辨率遥感图像有丰富的空间特征, 针对遥感土地覆盖方法中模型复杂, 边界模糊和多尺度分割等问题, 提出了一种基于边界与多尺度信息的轻量化语义分割网络. 首先, 使用轻量化的MobileNetV3分类器, 采用深度可分离卷积来减少计算量. 其次, 使用自顶向下和自底向上的特征金字塔结构来进行多尺度分割. 接着, 设计了一个边界增强模块, 为分割任务提供丰富的边界细节信息. 然后, 设计了一个特征融合模块, 融合边界与多尺度语义特征. 最后, 使用交叉熵损失函数和Dice损失函数来处理样本不平衡的问题. 在 WHDLD数据集的平均交并比达到了59.64%, 总体精度达到了87.68%. 在DeepGlobe数据集的平均交并比达到了70.42%, 总体精度达到了88.81%. 实验结果表明, 该模型能快速有效地实现遥感图像土地覆盖分类.     

基于多尺度双线性卷积神经网络的多角度下车型精细识别

针对多角度下车辆出现一定的尺度变化和形变导致很难被准确识别的问题，提出基于多尺度双线性卷积神经网络（MS-B-CNN）的车型精细识别模型。首先，对双线性卷积神经网络（B-CNN）算法进行改进，提出MS-B-CNN算法对不同卷积层的特征进行了多尺度融合，以提高特征表达能力；此外，还采用基于中心损失函数与Softmax损失函数联合学习的策略，在Softmax损失函数基础上分别对训练集每个类别在特征空间维护一个类中心，在训练过程中新增加样本时，网络会约束样本的分类中心距离，以提高多角度情况下的车型识别的能力。实验结果显示，该车型识别模型在CompCars数据集上的正确率达到了93.63%，验证了模型在多角度情况下的准确性和鲁棒性。     

航拍图像质量评价及其在图像增强中的应用

无人机在航拍过程中,由于受太阳光及大气环境、无人机姿态变化等因素干扰,导致采集图像出现失真,对后续信息处理造成不利影响。针对上述问题,提出了一种基于卷积神经网络的无参考航拍图像质量评价方法,并将其应用于航拍图像增强处理中。首先,设计了一种多层卷积神经网络。网络包括5层卷积层、5层池化层和3层全连接层;其次,进行卷积层和池化层多层堆叠学习图像特征信息。最后,将学习到的特征通过三层全连接层的回归与分类得到航拍图像质量分数。在自建的失真航拍图像库中进行实验表明,所提方法预测出的航拍图像质量分数与人眼视觉感知具有较高一致性,且在航拍图像增强领域应用效果较好。