基于生成对抗网络的图像清晰度提升方法

视频监控、军事目标识别以及消费型摄影等众多领域对图像清晰度有很高的要求.近年来,深度神经网络在视觉和定量评估的应用研究中取得较大进展,但是其结果一般缺乏图像纹理的细节,边缘过度平滑,给人一种模糊的视觉体验.本文提出了一种基于生成对抗网络的图像清晰度提升方法.为了更好的传递图像的细节信息,采用改进的残差块和跳跃连接作为生成网络的主体架构,生成器损失函数除了对抗损失,还包括内容损失、感知损失和纹理损失.在DIV2K数据集上的实验表明,该方法在提升图像清晰度方面有较好的视觉体验和定量评估.     

基于三网络对抗学习的素描人脸合成方法

为解决现有素描人脸合成方法中素描人脸图像细节缺失、清晰度低及可适用性差的问题,提出一种三网络对抗学习的模型.由面部特征提取网络、生成网络及判别网络组成,引入面部细节损失与对抗损失相结合的复合损失函数,提高合成素描人脸图像的质量.在公共素描人脸数据集中与现有方法的定量与定性对比实验验证了该方法能够生成更加逼真、清晰的素描人脸图像.     

基于编解码器生成对抗网络的CT去噪

针对生成对抗网络在训练中损失函数收敛慢,难以恢复图像细节的问题,提出一种基于编解码器与多尺度损失函数的生成对抗网络模型.使用含残差连接的编解码器作为生成器,该网络易于训练,能够加快对抗损失函数的收敛;引入噪声损失,与使用VGG19模型的感知损失构成多尺度损失函数,使图像在视觉上的纹理细节达到更细致的恢复效果.实验结果表...     

基于感知去模糊的高效人脸图像修复算法EI北大核心CSCD

针对现有深度学习图像修复算法在修复区域内部产生模糊纹理或存在修复区域边界的内容不连贯性的问题,提出一种基于感知去模糊的人脸图像修复算法.首先提出一种包含PSNR损失、SSIM损失和对抗损失的生成对抗网络生成粗略的人脸结构修复信息;然后开发一种基于感知去模糊的生成对抗网络对粗略的人脸结构进行进一步的纹理细节恢复,从而生成自然清晰且内容连贯的面部纹理.在CelebAHQ公开人脸数据集上进行定量、定性和消融实验的结果表明,所提算法在峰值信噪比和结构相似性等定性评价指标方面优于所对比的前沿图像修复算法.     

基于生成式对抗网络的图像超分辨率重建算法

针对传统图像超分辨率重建算法存在网络训练困难与生成图像存在伪影的问题,提出一种利用生成式对抗网络的超分辨率重建算法。去除生成式对抗网络的批量归一化层降低计算复杂度,将其中的残差块替换为密集残差块构成生成网络,使用VGG19网络作为判别网络的基础框架,以全局平均池化代替全连接层防止过拟合,引入纹理损失函数、感知损失函数、对抗损失函数和内容损失函数构成生成器的总目标函数,利用纹理损失增强局部信息匹配度,采用激活层前的特征信息计算感知损失获取更多细节特征,使用WGAN-GP理论优化网络模型的对抗损失加速收敛,运用内容损失提升图像低频信息的准确性。实验结果表明,该算法重建图像的平均峰值信噪比为27.97 dB,平均结构相似性为0.777,与SRGAN和EDSR等算法相比,其在未延长较多运行时间的情况下,重建结果的纹理细节更清晰且亮度信息更准确,更符合视觉感官评价要求。     

基于感知生成对抗网络的图像压缩感知重建

现有的深度压缩感知重建算法在低采样率下，由于使用像素损失指导优化的网络会使得重建的图像无法有效地提取出原始图像的纹理细节，导致重建图像视觉观感较差。针对上述问题，提出了基于感知生成对抗网络的图像压缩感知重建算法，用感知损失代替像素损失，使得重建图像细节和纹理特征保留。通过对比实验表明，提出的基于感知生成对抗网络的图像压缩感知重建算法在低采样率下重建出的图像具有更强的视觉效果和真实性。     

基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

嵌入自注意力机制的美学特征图像生成方法

针对生成的图像结构单一,细节特征不够丰富,导致美观感不足等问题,提出了一种嵌入自注意力机制的美学特征图像生成方法.为了增加生成图像的美学特征,研究图像美学评价标准与生成模型之间的关联性,定义了基于美学分数的美学损失函数;为保证生成图像与真实图像在语义内容上的一致性,加入VGG网络,构造内容损失函数,采用Charbonnier损失代替L1损失,并将美学损失、内容损失和进化生成对抗网络的对抗损失以加权形式组合,引导与优化图像的生成.在生成器和判别器中引入自注意力机制模块,并将密集卷积块加入生成器自注意力机制模块之前,充分提取特征,有利于自注意力机制高效获取更多特征内部的全局依赖关系,促使生成图像细节清晰,纹理特征丰富.在Cifar10、CUHKPQ两个数据集上的实验结果表明该方法在提升图像美学效果方面是有效的,其弗雷歇距离值相较于进化生成对抗网络分别提高了3.21和5.44,图像美学分数值相较于进化生成对抗网络分别提高了0.75和0.88.     

基于双层生成对抗网络的素描人脸合成方法

为解决传统素描人脸合成方法中素描人脸图像细节模糊和清晰度低的问题,提出一种基于双层生成对抗网络的素描人脸合成方法。该方法学习面部照片与素描人脸图像之间的映射关系,并通过双层网络将映射关系限制为一对一映射;利用重建损失函数约束生成网络,提高合成能力;通过生成网络与判别网络的对抗训练,优化网络参数,合成最终素描人脸图像。通过在CUHK素描人脸库上的对比实验,证明该方法合成的素描人脸图像质量明显优于其他传统素描人脸合成方法,其合成的素描人脸图像面部细节更完整,清晰度更高。     

改进的生成对抗网络图像去噪算法

由于图像噪声的存在会干扰人对图像的理解,为了有效地去除噪声并获得比较好的视觉观感,提出一种基于生成对抗网络算法,该算法通过增加生成网络的宽度来获取更多的图像特征,并加入一个全局残差对输入的噪声图像进行特征的提取与学习,避免特征的丢失.网络采用对抗损失和重建损失的加权和,在去除噪声的同时能够有效地保留图像的细节信息.实验结果表明,该算法能够有效地去除图像噪声,改善图像的视觉观感.     

基于改进EAST的自然场景文本定位算法

目前在图像处理领域,自然场景下的文本定位算法是一项具有困难的挑战,EAST算法是近年来性能比较出色的自然场景文本定位算法之一,具有较高的召回率和识别率,但是仍存在感受野不够大,样本权重不合理的问题。因此对EAST算法进行改进,对EAST网络结构进行改进,加入ASPP网络,提高了感受野,对loss进行改进,优化了样本权重不合理的问题,提高了对文本的定位效果。实验结果表明,提出的算法在保持18 f/s的同时,在ICDAR 2015文本定位任务的召回率为78.43%,准确率为85.78%,F-score为81.94%,优于经典EAST算法。     

一种直接高效的自然场景汉字逼近定位方法

为了提高经典目标检测算法对自然场景文本定位的准确性,以及克服传统字符检测模型由于笔画间存在非连通性引起的汉字错误分割问题,提出了一种直接高效的自然场景汉字逼近定位方法。采用经典的EAST算法对场景图像中的文字进行检测。对初检的文字框进行调整使其更紧凑和更完整地包含文字,主要由提取各连通笔画成分、汉字分割和文字形状逼近三部分组成。矫正文字区域和识别文字内容。实验结果表明,提出的算法在保持平均帧率为3.1 帧/s的同时,对ICDAR2015、ICDAR2017-MLT和MSRA-TD500三个多方向数据集上文本定位任务中的F-score分别达到83.5%、72.8%和81.1%;消融实验验证了算法中各模块的有效性。在ICDAR2015数据集上的检测和识别综合评估任务中的性能也验证了该方法相比一些最新方法取得了更好的性能。     

改进YOLOv5的复杂道路目标检测算法

针对复杂道路背景下的密集遮挡目标和小目标导致的误检、漏检问题,提出一种基于改进YOLOv5的复杂道路目标检测算法。引入Quality Focal Loss,将分类得分与位置的质量预测结合,提高了对密集遮挡目标的定位精度;增加一层浅层检测层作为更小目标的检测层,将原始算法的三尺度检测改为四尺度,特征融合部分也作相应改进,提高了算法对小目标特征的学习能力;借鉴加权双向特征金字塔网络（BiFPN）的特征融合思想,提出了去权重的BiFPN,充分利用深层、浅层以及原始的特征信息,加强了特征融合,减少了卷积过程中特征信息的丢失,提高了检测精度;引入卷积块注意模块（CBAM）,进一步提升了算法的特征提取能力,让算法更关注有用的信息。实验结果表明,该改进算法在公开的自动驾驶数据集KITTI和自制的骑乘人员头盔数据集Helmet上的检测精度分别达到了94.9%和96.8%,相比原始算法分别提高了1.9个百分点和2.1个百分点的检测精度,检测速度分别达到了69 FPS和68 FPS,具有较好的检测精度与实时性,同时与一些主流的目标检测算法相比,该改进算法也有一定的优越性。     

基于pro-YOLOv4的多尺度航拍图像目标检测算法

航拍图像目标检测存在多尺度目标检测精度低、检测速度慢、漏检和误检严重等问题.针对这些问题,提出一种融合卷积注意力机制和轻量化网络的目标检测算法(pro-YOLOv4),并应用于多尺度航拍图像目标检测.首先,利用K-means聚类算法对航拍数据集进行聚类分析并优化锚框参数,以提高对目标检测的有效性;其次,采用轻量级网络结构,精简网络复杂度,提高检测速度;最后,引入卷积注意力模块来解决复杂场景对于航拍目标检测的干扰,从而有效降低误检率和漏检率.在航拍数据集RSOD和NWPU VHR-10上进行实验对比,实验结果表明,pro-YOLOv4检测效果较YOLOv4有明显提升,平均检测精度分别提高了3.42％和3.98％.该算法不仅对多尺度目标均表现出较好检测性能,还降低了目标漏检率,并具有较好的鲁棒性和泛化能力.     

改进YOLOv5的机场跑道异物目标检测算法

针对机场跑道异物(foreign object debris,FOD)在图像中目标占比小,特征不明显,经常导致误检、漏检的问题,提出一种改进YOLOv5的FOD目标检测算法。改进多尺度融合与检测部分,融合高分辨率特征图增强小目标特征表达,移除大目标检测层以减少网络推理计算量;引入轻量高效的卷积注意力模块(CBAM),从空间与通道两个维度提升模型关注目标特征的能力;在特征融合阶段采用RepVGG模块,提高模型特征融合能力的同时提高了检测精度;采用SIoU Loss作为损失函数,提升了边框回归的速度与精度。在自制FOD数据集上进行对比实验,结果表明：该方法在满足实时性的条件下,实现了95.01%的mAP50、55.79%的mAP_50:95,比原算法YOLOv5分别提高了2.78、3.28个百分点,有效解决了传统FOD检测误检、漏检问题,同时与主流目标检测算法相比,提出的改进算法更适用于FOD检测任务。     

嵌入注意力机制的自然场景文本检测方法

针对自然场景文本检测中存在的文本检测信息缺失、漏检的问题,提出了嵌入注意力机制的自然场景文本检测方法。利用Faster-RCNN目标检测网络和特征金字塔网络（FPN）作为基本框架;在区域建议网络（RPN）中嵌入注意力机制并依据文本的特点改进锚点（anchor）的设置,精确了文本候选区域;重新设定损失函数的作用范围。实验结果表明,该方法有效地保证文本检测信息的完整性,较之现有方法明显地提高了文本检测的召回率和准确率,能够应用于文本检测的实际任务中。     

引入注意力机制的YOLOv5安全帽佩戴检测方法

对于钢铁制造业、煤矿行业及建筑行业等高危行业来说,施工过程中佩戴安全帽是避免受伤的有效途径之一.针对目前安全帽佩戴检测模型在复杂环境下对小目标和密集目标存在误检和漏检等问题,提出一种改进YOLOv5的目标检测方法来对安全帽的佩戴进行检测.在YOLOv5的主干网络中添加坐标注意力机制(coordinate attenti...     

Scene text detection by adaptive feature selection with text scale-aware loss

Since convolutional neural networks(CNNs) were applied to scene text detection, the accuracy of text detection has been improved a lot. However, limited by the receptive fields of regular CNNs and due to the large scale variations of texts in images, current text detection methods may fail to detect some texts well when dealing with more challenging text instances, such as arbitrarily shaped texts and extremely small texts. In this paper, we propose a new segmentation based scene text detector, which is equipped with deformable convolution and global channel attention. In order to detect texts of arbitrary shapes, our method replaces traditional convolutions with deformable convolutions, the sampling locations of deformable convolutions are deformed with augmented offsets so that it can better adapt to any shapes of texts, especially curved texts. To get more representative features for texts, an Adaptive Feature Selection module is introduced to better exploit text content through global channel attention. Meanwhile, a scale-aware loss, which adjusts the weights of text instances with different sizes, is formulated to solve the text scale variation problem. Experiments on several standard benchmarks, including ICDAR2015, SCUT-CTW1500, ICDAR2017-MLT and MSRA-TD500 verify the superiority of the proposed method.

     

改进的RetinaNet目标检测算法

针对经典一阶段目标检测算法RetinaNet难以充分提取不同阶段特征、边界框回归不够准确等问题,提出一个面向目标检测的改进型RetinaNet算法。在特征提取模块中加入多光谱通道注意力,将输入特征中的频率分量合并到注意力处理中,从而捕获特征原有的丰富信息。将多尺度特征融合模块添加到特征提取模块,多尺度特征融合模块包括1个路径聚合模块和1个特征融合操作,路径聚合模块通过搭建自底向上的路径,利用较浅特征层上精确的定位信号增强整个特征金字塔的信息流,特征融合操作通过融合来自每个阶段的特征信息优化多阶段特征的融合效果。此外,在边界框回归过程中引入完全交并比损失函数,从边界框的重叠面积、中心点距离和长宽比这3个重要的几何因素出发,提升回归过程的收敛速度与准确性。在MS COCO数据集和PASCAL VOC数据集上的实验结果表明,与RetinaNet算法相比,改进型RetinaNet算法在2个数据集上的平均精度分别提高了2.1、1.1个百分点,尤其对于MS COCO数据集中较大目标的检测,检测精度的提升效果更加显著。     

基于YOLOv7的交通目标检测算法研究

针对交通场景中由光照、遮挡、目标小以及背景复杂等因素导致目标检测精度低,易出现漏检和误检问题的情况,提出了一种基于YOLOv7的交通目标检测算法;该算法在主干网络中融入多头注意力机制,以增强网络特征学习能力,从而更好地捕获数据和特征内部的相关性;在YOLOv7颈部网络引入协调注意力模块(CA),将位置信息嵌入到注意力机制中,忽略无关信息的干扰,以增强网络的特征提取能力;增加一个多尺度检测网络,以增强模型对不同尺度目标的检测能力;将CIoU损失函数更改为SIoU函数,以减少模型收敛不稳定问题,提高模型的鲁棒性;实验结果表明,改进的算法在BDD100K公开数据集上的检测精度和速度分别达到了59.8% mAP和96.2 FPS,相比原算法检测精度提高了2.5%;这表明改进的算法在满足实时性要求的同时,具备良好的检测精度,适用于复杂情况下的交通目标检测任务。