基于深度学习算法的高分辨率无人机遥感图像自动分割

高分辨率无人机遥感图像自动分割对于图像的目标识别与检测具有重要意义,为提升图像分割精度,提出基于深度学习算法的高分辨率无人机遥感图像自动分割方法。采用直方图均衡化算法增强遥感图像后,构建基于编/解码器架构的深度学习网络语义分割模型,针对增强后的图像,在编码环节中引入残差模块强化对分割目标有效的特征;在解码环节中,采用多尺度融合模块将低层特征的局部细节信息和高层特征的语义信息相融合。同时针对遥感图像内地物类别不均衡的现象,以带权重的交叉熵为模型损失函数,克服模型选择偏好问题,提升模型分割精度。实验结果显示该方法可准确分割遥感图像内不同类型目标,分割精度达到95%以上。     

门控多层融合的实时语义分割

针对语义分割任务中因模型下采样过程中的像素损失而导致的上采样像素难以精确还原的问题,提出一种基于门控多层融合的实时语义分割方法.考虑分割的实时性,采用轻量级模型作为基础网络进行特征信息的提取.为解决像素难以精确还原问题,设计了一种横向连接的门控注意力结构,此结构可以对目标特征进行筛选,并通过横向传递增强上采样特征图信息的多样性,从而提高特征图的还原精度.此外,还提出采用多层融合结构来整合不同网络层的语义信息,利用不同网络层间的语义表达差异对缺失像素进行补充.实验以CamVid和VOC为数据集,以512×512大小的图像为输入,测试结果表明,方法的图像语义分割精度达到72.9%,平均分割速度为43.1帧/s.     

像素级图像融合方法与融合效果评价

图像融合的目的是将同一场景的多幅图像的互补信息合并成一幅新图像,以便更好地完成场景进行监视和侦察等任务,是在多测度空间综合处理多源图像和图像序列的技术。融合图像更适合人的视觉和便于图像的后续处理,如图像分割、特征提取等。介绍了像素级图像融合的几种方法,按空间域和变换域对各种方法进行了分类,并对各种方法进行了比较;融合图像应保留原图像的重要细节信息且不引入虚假信息;介绍了用交叉熵进行图像融合效果评价的方法。     

基于稀疏图像序列的雕塑点自动云三维重构方法

为了提高对雕塑点稀疏图像的点云三维重建的分析能力,提出一种基于稀疏图像序列的雕塑点自动云三维重构方法,基于稀疏散乱点三维重建和锐化模板特征匹配方法进行图像三维重建。采用三维角点检测和边缘轮廓特征提取方法,进行雕塑点稀疏图像三维点云特征检测,对检测的雕塑点稀疏图像点云数据进行信息融合处理,采用梯度运算方法进行特征分解,实现对雕塑点稀疏图像的信息增强和融合滤波。结合局部均值降噪方法进行图像的提纯处理,提高雕塑点稀疏图像轮廓重建能力,采用锐化模板特征匹配和块分割技术,实现雕塑点自动云三维重构。仿真结果表明,采用该方法进行雕塑点自动云三维重构的准确性较高,图像匹配能力较好,且重构输出信噪比较高。     

移动机器人导航中的楼道场景语义分割*

通过深度学习模型对室内楼道环境的视觉信息进行处理,帮助移动机器人在室内楼道环境下自主行走。为达到这个目的,将楼道环境对象分为6类：路、门、窗户、消防栓、门把手和背景,通过图像的语义分割实现对象识别。在对楼道环境的6类对象进行分割的试验中发现,由于“门把手”比起其它对象小很多,影响了对它的识别效果;将6分类模型改为“5+2”分类模型,解决了这个问题。分类模型的基础是全卷积神经网络(FCN),可以初步实现图像的分割。为了提高FCN网络的分割效果,从三个方面进行了试验研究：（1）取出FCN的多个中间特征层,进行多层特征融合;（2）考虑到移动机器人行走过程中视觉信息的时间序列特点,将递归神经网络(RNN)的结构纳入到FCN网络中,构成时间递归的t-LSTM网络;（3）考虑到二维图像相邻像素之间的依赖关系,构成空间递归的s-LSTM网络。这些措施都有效地提高了图像的分割效果,实验结果表明,“多层融合”加“s-LSTM”的结构从分割效果和计算时间方面达到综合指标最佳。     

基于深度特征融合的空间植物图像分割算法

空间植物培养实验作为空间科学的一项重要研究,通常会获得大量的植物序列图像,传统的处理方法多采用人工观察,以供后续的进一步分析。本文提出一种基于多尺度深度特征融合的空间植物分割算法。该方法应用全卷积深度神经网络来提取多尺度特征,并分层次地融合由深层到浅层的特征,以达到对植物进行像素级的识别。分层次的特征融合了语义信息、中间层信息和几何特征,提高了分割的准确性。实验表明该方法在分割准确性方面表现良好,能够自动提取空间植物实验中的有效信息。     

结合双胞胎结构与生成对抗网络的半监督遥感图像融合

针对当前遥感图像融合算法中存在的标签图像难获取和光谱畸变等问题,提出一种采用双胞胎结构的半监督遥感图像融合方法.采用了由生成器和鉴别器组成的生成对抗网络结构,其中生成器包含编码器和解码器.首先,对多光谱图像进行放大并转换到HSV空间;将多光谱图像的V通道和全色图像分别送入编码器中的双胞胎网络后,通过卷积层和多重跳层连接模型来提取图像特征;然后,将获得的特征送入解码器进行图像重构;再利用鉴别器对融合后的V通道图像进行鉴别,从而获得最优融合结果;最后,将融合后的V通道与多光谱图像的H,S通道拼接起来获得最终的融合图像.另外,设计了一种复合损失函数进行模型训练.在QuickBird卫星遥感图像数据集上的实验表明,该方法有效提高了融合图像中的空间细节信息和色彩信息,与对比算法相比,其融合图像在主观视觉质量和客观评价指标上都具有一定的优势.     

基于轻量语义分割网络的遥感土地覆盖分类

高分辨率遥感图像有丰富的空间特征, 针对遥感土地覆盖方法中模型复杂, 边界模糊和多尺度分割等问题, 提出了一种基于边界与多尺度信息的轻量化语义分割网络. 首先, 使用轻量化的MobileNetV3分类器, 采用深度可分离卷积来减少计算量. 其次, 使用自顶向下和自底向上的特征金字塔结构来进行多尺度分割. 接着, 设计了一个边界增强模块, 为分割任务提供丰富的边界细节信息. 然后, 设计了一个特征融合模块, 融合边界与多尺度语义特征. 最后, 使用交叉熵损失函数和Dice损失函数来处理样本不平衡的问题. 在 WHDLD数据集的平均交并比达到了59.64%, 总体精度达到了87.68%. 在DeepGlobe数据集的平均交并比达到了70.42%, 总体精度达到了88.81%. 实验结果表明, 该模型能快速有效地实现遥感图像土地覆盖分类.     

结合稠密特征映射的CT图像肿瘤分割模型

与常规分割对象不同,医学图像中肿瘤组织像素占比小且解剖结构相近于人体狭小组织,不同肿瘤之间差异度不明显,这导致常规分割方法对肿瘤的分割效果低于期望值.因此,为了增强肿瘤特征传递的有效性,提出一种结合高低维稠密特征映射的肿瘤分割模型.首先,模型采用特征3维映射技术改进网络参数,将CT图像聚合成3维序列结构进行硬阈值3维变换,从而建立特征连接并减少不可逆初始特征丢失现象.然后,构建融合特征映射的稠密卷积网络,使用SELU代替ReLU激活函数,激活网络并提升网络优化度,引入负数部分参数避免"死特征"出现,并在每个稠密块后增加一层最大池化层抽象图像特征,减少时间、空间资本消耗.最后,采用特征复现方法进行特征重建,融合通道特征、空间特征提升特征表达能力.实验采用山东省千佛山医院提供的CT图像数据集,在TensorFlow环境下将模型与U-Net等分割模型进行对比,并对模型进行了消融实验.实验结果表明,该模型有效地提升了肿瘤分割的准确度,与已有经典模型相比,在均像素精度、均交并比等性能指标上均取得了更好的效果.     

基于注意计算模型的医学图像模糊连接度分割

用模糊连接度分割图像时,种子点多以聚类分析方法自动给定,本文分析了传统聚类法存在的问题,在人类视觉活动机制的启发下,提出新的完全不同于聚类方法的视觉显著点注意引导下的图像分割方法.将图像特征显著点的定位转化为概率密度估计问题,引入新的注意计算模型并结合Mean-Shift处理得到关键特征点.注意模型的特征地图采用图像灰度的对比度构成,迭代计算高斯邻域显著度.从密度估计的角度定位显著点,克服以往偏生理注意模型对定量描述的能力不足,尤其适用医学模糊图像.新的方法能完全自动地定位种子点,有效地分割模糊医学图像,提高准确率.     

SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness

Image fusion aims to integrate complementary information in source images to synthesize a fused image comprehensively characterizing the imaging scene. However, existing image fusion algorithms are only applicable to strictly aligned source images and cause severe artifacts in the fusion results when input images have slight shifts or deformations. In addition, the fusion results typically only have good visual effect, but neglect the semantic requirements of high-level vision tasks. This study incorporates image registration, image fusion, and semantic requirements of high-level vision tasks into a single framework and proposes a novel image registration and fusion method, named SuperFusion. Specifically, we design a registration network to estimate bidirectional deformation fields to rectify geometric distortions of input images under the supervision of both photometric and end-point constraints. The registration and fusion are combined in a symmetric scheme, in which while mutual promotion can be achieved by optimizing the naive fusion loss, it is further enhanced by the mono-modal consistent constraint on symmetric fusion outputs. In addition, the image fusion network is equipped with the global spatial attention mechanism to achieve adaptive feature integration. Moreover, the semantic constraint based on the pre-trained segmentation model and Lovasz-Softmax loss is deployed to guide the fusion network to focus more on the semantic requirements of high-level vision tasks. Extensive experiments on image registration, image fusion, and semantic segmentation tasks demonstrate the superiority of our SuperFusion compared to the state-of-the-art alternatives. The source code and pre-trained model are publicly available at https://github.com/Linfeng-Tang/SuperFusion.      

基于动作捕捉的汽车座椅坐姿自动化装配方法研究

针对汽车座椅坐姿自动化装配过程存在人体动作干扰等因素,提出基于动作捕捉的汽车座椅坐姿自动化装配方法。结合视觉动态特征分析方法,进行汽车座椅坐姿自动化装配的动作图像采集,对采集的汽车座椅坐姿动作图像进行降噪处理,采用分区域特征匹配方法进行汽车座椅坐姿动作图像的模板特征匹配,提取汽车座椅坐姿动作图像的边缘轮廓特征量,结合模糊像素区域性融合技术实现对汽车座椅坐姿自动化装配过程中的动作捕捉,根据动作捕捉结果进行汽车座椅坐姿的动态调节,实现汽车座椅坐姿自动化装配优化。仿真结果表明,采用该方法进行汽车座椅坐姿动作捕捉的性较高,动态调节能力较好,提高了汽车座椅坐姿自动化装配水平。     

视觉Transformer识别任务研究综述

Transformer模型在自然语言处理领域取得了很好的效果,同时因其能够更好地连接视觉和语言,也激发了计算机视觉界的极大兴趣。本文总结了视觉Transformer处理多种识别任务的百余种代表性方法,并对比分析了不同任务内的模型表现,在此基础上总结了每类任务模型的优点、不足以及面临的挑战。根据识别粒度的不同,分别着眼于诸如图像分类、视频分类的基于全局识别的方法,以及目标检测、视觉分割的基于局部识别的方法。考虑到现有方法在3种具体识别任务的广泛流行,总结了在人脸识别、动作识别和姿态估计中的方法。同时,也总结了可用于多种视觉任务或领域无关的通用方法的研究现状。基于Transformer的模型实现了许多端到端的方法,并不断追求准确率与计算成本的平衡。全局识别任务下的Transformer模型对补丁序列切分和标记特征表示进行了探索,局部识别任务下的Transformer模型因能够更好地捕获全局信息而取得了较好的表现。在人脸识别和动作识别方面,注意力机制减少了特征表示的误差,可以处理丰富多样的特征。Transformer可以解决姿态估计中特征错位的问题,有利于改善基于回归的方法性能,还减少了三维估计时深度映射所产生的歧义。大量探索表明视觉Transformer在识别任务中的有效性,并且在特征表示或网络结构等方面的改进有利于提升性能。     

结合上下文特征与CNN多层特征融合的语义分割

目的 针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙、准确度低的问题,提出结合上下文特征与卷积神经网络（CNN）多层特征融合的语义分割方法。方法 首先,采用选择搜索方法从图像中生成不同尺度的候选区域,得到区域特征掩膜;其次,采用卷积神经网络提取每个区域的特征,并行融合高层特征与低层特征。由于不同层提取的特征图大小不同,采用RefineNet模型将不同分辨率的特征图进行融合;最后将区域特征掩膜和融合后的特征图输入到自由形式感兴趣区域池化层,经过softmax分类层得到图像的像素级分类标签。结果 采用上下文特征与CNN多层特征融合作为算法的基本框架,得到了较好的性能,实验内容主要包括CNN多层特征融合、结合背景信息和融合特征以及dropout值对实验结果的影响分析,在Siftflow数据集上进行测试,像素准确率达到82.3%,平均准确率达到63.1%。与当前基于区域的端到端语义分割模型相比,像素准确率提高了10.6%,平均准确率提高了0.6%。结论 本文算法结合了区域的前景信息和上下文信息,充分利用了区域的语境信息,采用弃权原则降低网络的参数量,避免过拟合,同时利用RefineNet网络模型对CNN多层特征进行融合,有效地将图像的多层细节信息用于分割,增强了模型对于区域中小目标物体的判别能力,对于有遮挡和复杂背景的图像表现出较好的分割效果。     

融合局部特征的图像过渡区提取与阈值化

针对图像过渡区提取与阈值化问题,提出了一种融合局部灰度复杂度和局部灰度差异度的方法。首先生成图像的局部复杂度和局部差异度等局部灰度特征;其次融合这些局部灰度特征构造新的特征矩阵;然后设计了与特征矩阵的均值和标准差相关的自动特征阈值,并提取图像过渡区;最后将过渡区像素的灰度均值作为最优灰度阈值完成图像二值化。实验结果表明,所提方法的过渡区提取质量高,分割效果好,具有合理性和有效性,可作为经典方法的有效补充。     

机器视觉表面缺陷检测综述

目的 工业产品的表面缺陷对产品的美观度、舒适度和使用性能等带来不良影响,所以生产企业对产品的表面缺陷进行检测以便及时发现并加以控制。机器视觉的检测方法可以很大程度上克服人工检测方法的抽检率低、准确性不高、实时性差、效率低、劳动强度大等弊端,在现代工业中得到越来越广泛的研究和应用。方法 以机器视觉表面缺陷检测为研究对象,在广泛调研相关文献和发展成果的基础上,对基于机器视觉在表面缺陷检测领域的应用进行了综述。分析了典型机器视觉表面缺陷检测系统的工作原理和基本结构,阐述了表面缺陷视觉检测的研究现状、现有视觉软件和硬件平台,综述了机器视觉检测所涉及到的图像预处理算法、图像分割算法、图像特征提取及其选择算法、图像识别等相关理论和算法研究,并对每种主要方法的基本思想、特点和存在的局限性进行了总结,对未来可能的发展方向进行展望。结果 机器视觉表面缺陷检测系统中,图像处理和分析算法是重要内容,算法各有优缺点和其适应范围。如何提高算法的准确性、实时性和鲁棒性,一直是研究者们努力的方向。结论 机器视觉是对人类视觉的模拟,机器视觉表面检测涉及众多学科和理论,如何使检测进一步向自动化和智能化方向发展,还需要更深入的研究。     

特征注意金字塔调制网络的视频目标分割

目的 视频目标分割是在给定第1帧标注对象掩模条件下,实现对整个视频序列中感兴趣目标的分割。但是由于分割对象尺度的多样性,现有的视频目标分割算法缺乏有效的策略来融合不同尺度的特征信息。因此,本文提出一种特征注意金字塔调制网络模块用于视频目标分割。方法 首先利用视觉调制器网络和空间调制器网络学习分割对象的视觉和空间信息,并以此为先验引导分割模型适应特定对象的外观。然后通过特征注意金字塔模块挖掘全局上下文信息,解决分割对象多尺度的问题。结果 实验表明,在DAVIS 2016数据集上,本文方法在不使用在线微调的情况下,与使用在线微调的最先进方法相比,表现出更具竞争力的结果,J-mean指标达到了78.7%。在使用在线微调后,本文方法的性能在DAVIS 2017数据集上实现了最好的结果,J-mean指标达到了68.8%。结论 特征注意金字塔调制网络的视频目标分割算法在对感兴趣对象分割的同时,针对不同尺度的对象掩模能有效结合上下文信息,减少细节信息的丢失,实现高质量视频对象分割。     

着装场景下双分支网络的人体姿态估计

目的 人体姿态估计旨在识别和定位不同场景图像中的人体关节点并优化关节点定位精度。针对由于服装款式多样、背景干扰和着装姿态多变导致人体姿态估计精度较低的问题,本文以着装场景下时尚街拍图像为例,提出一种着装场景下双分支网络的人体姿态估计方法。方法 对输入图像进行人体检测,得到着装人体区域并分别输入姿态表示分支和着装部位分割分支。姿态表示分支通过在堆叠沙漏网络基础上增加多尺度损失和特征融合输出关节点得分图,解决服装款式多样以及复杂背景对关节点特征提取干扰问题,并基于姿态聚类定义姿态类别损失函数,解决着装姿态视角多变问题;着装部位分割分支通过连接残差网络的浅层特征与深层特征进行特征融合得到着装部位得分图。然后使用着装部位分割结果约束人体关节点定位,解决服装对关节点遮挡问题。最后通过姿态优化得到最终的人体姿态估计结果。结果 在构建的着装图像数据集上验证了本文方法。实验结果表明,姿态表示分支有效提高了人体关节点定位准确率,着装部位分割分支能有效避免着装场景中人体关节点误定位。在结合着装部位分割优化后,人体姿态估计精度提高至92.5%。结论 本文提出的人体姿态估计方法能够有效提高着装场景下的人体姿态估计精度,较好地满足虚拟试穿等实际应用需求。     

Color image segmentation using automatic pixel classification with support vector machine

Automatic segmentation of images is a very challenging fundamental task in computer vision and one of the most crucial steps toward image understanding. In this paper, we present a color image segmentation using automatic pixel classification with support vector machine (SVM). First, the pixel-level color feature is extracted in consideration of human visual sensitivity for color pattern variations, and the image pixel's texture feature is represented via steerable filter. Both the pixel-level color feature and texture feature are used as input of SVM model (classifier). Then, the SVM model (classifier) is trained by using fuzzy c-means clustering (FCM) with the extracted pixel-level features. Finally, the color image is segmented with the trained SVM model (classifier). This image segmentation not only can fully take advantage of the local information of color image, but also the ability of SVM classifier. Experimental evidence shows that the proposed method has a very effective segmentation results and computational behavior, and decreases the time and increases the quality of color image segmentation in compare with the state-of-the-art segmentation methods recently proposed in the literature.     

环视鱼眼图像处理深度学习研究进展

视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用。传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区,解决这个问题的方法是环境信息感知使用鱼眼镜头,广角视图能够提供整个180°的半球视图,理论上仅需两个摄像头即可覆盖360°,为视觉感知提供更多信息。处理环视图像目前主要有两种途径：一是对图像先纠正,去失真,缺点是图像去失真会损害图像质量,并导致信息丢失;二是直接对形变的鱼眼图像进行建模,但目前还没有效果比较好的建模方法。此外,环视鱼眼图像数据集的缺乏也是制约相关研究的一大难题。针对上述挑战,本文总结了环视鱼眼图像的相关研究,包括环视鱼眼图像的校正处理、环视鱼眼图像中的目标检测、环视鱼眼图像中的语义分割、伪环视鱼眼图像数据集生成方法和其他鱼眼图像建模方法等,结合自动驾驶汽车的环境感知应用背景,分析了这些模型的效率和这些处理方法的优劣,并对目前公开的环视鱼眼图像通用数据集进行了详细介绍,对环视鱼眼图像中待解决的问题与未来研究方向做出预测和展望。