基于改进DeepLabv3+的无人车夜间红外图像语义分割

为了增强无人车对夜间场景的理解能力，针对无人车在夜间获取的红外图像，提出了一种基于改进DeepLabv3+网络的无人车夜间红外图像语义分割算法。由于自动驾驶场景中的对象往往显示出非常大的尺度变化，该算法在DeepLabv3+网络的基础上，通过引入密集连接的空洞卷积空间金字塔模块，使网络生成的多尺度特征能覆盖更大的尺度范围。此外，该算法将编码器模块的多层结果拼接在译码器模块中，以恢复更多在降采样过程中丢失的空间信息和低级特征。通过端到端的学习和训练，可直接用于对夜间红外图像的语义分割。实验结果表明，该算法在红外数据集上的分割精度优于原DeepLabv3+算法，平均交并比达到80.42，具有良好的实时性和准确性。     

基于U-Net的盐体识别方法

卷积神经网络在计算机视觉领域取得重大突破，利用其强大的图像处理能力，将地下沉积盐体的识别问题转化为图像语义分割问题，应用深度卷积神经网络实现盐体地震图像的像素级语义分割.本文在U-Net基础上，增加网络深度并同时引入批归一化和Dropout处理，使得神经网络模型具有更高的可信度和更强的泛化能力.通过实验发现，在卷积层之后引入批归一化处理，并在池化层和叠加层之后引入Dropout可以稳定提升模型对盐体图像的分割性能.     

基于语义目标匹配的三维跟踪注册方法

提出了一种基于语义目标匹配的三维跟踪注册方法。通过改进的单发多框检测(SSD)深度卷积神经网络对图像进行语义分割,获取场景中不同目标的像素级语义分割结果。在求取相机姿态的目标函数时,融合了图像的灰度约束与几何约束对相机的姿态进行估计。所提方法减小了特征点的缺乏或误匹配问题对三维跟踪注册算法性能的影响,且能够适应不同结构的场景。研究结果表明,该方法的误差不超过2.2pixel,基本满足了实时性的要求。     

基于改进U-Net++的CT影像肺结节分割算法

卷积神经网络的语义分割模型未有效利用特征权重信息,导致在医学图像复杂场景中分割边界出现欠分割现象。针对该问题,基于融合自适应加权聚合策略提出一种改进的U-Net++网络,并将其应用于电子计算机断层扫描影像肺结节分割。该模型首先在卷积神经网络中提取出不同深度特征语义级别的信息,再结合权重聚合模块,自适应地学习各层特征的权重,然后将学习得到的权重加载到各个特征层上采样得到的分割图以得到最终的分割结果。在LIDC数据集和重庆大学附属肿瘤医院肺部电子计算机断层扫描数据集上进行了分割实验,所提方法的交叉比在两个数据集上分别可达到80.59%和87.40%、骰子系数分别可达到88.23%和90.83%。相比U-Net和U-Net++方法,该算法有效提升了图像分割性能。本文方法能在肿瘤微小细节上实现精确分割,较好地解决了肺结节向周围浸润性生长时出现欠分割的问题。     

焊缝图像中结构光条纹的检测与分割

为了在复杂噪声环境下从焊缝图像中精确地提取结构光条纹,构建了语义分割与目标检测相结合的深度学习模型用于焊缝图像的检测。为了提高模型的检测速度,在语义分割分支中,通过添加并行下采样模块及缩减卷积核数量的策略对模型进行了优化,并使该分支与目标检测分支的特征提取部分共享权重。针对焊缝图像中结构光条纹与背景像素比例失衡而导致模型分割结果偏向负样本的问题,在损失函数中添加Dice系数来对模型进行修正。经实验验证,该方法在保证实时性的基础上,以较高的精度实现了结构光条纹的检测。     

基于深层残差网络的加速图像超分辨率重建

针对目前卷积神经网络的超分辨率算法存在卷积层数少、模型简单、计算量大、收敛速度慢以及图像纹理模糊等问题,提出了一种基于深层残差网络的加速图像超分辨率重建方法,该方法在提高图像分辨率的同时加快收敛速度。设计更深的卷积神经网络模型来提高精确度,通过残差学习并且使用Adam优化方法使网络模型加速收敛。在原始低分辨率图像上直接进行特征映射,只在网络的末端引入子像素卷积层,将像素进行重新排列,得到高分辨率图像。实验结果表明,在set 5,set 14,BSD100测试集上,所提算法的峰值信噪比与结构相似性指数均高于现有的几种算法,能够恢复更多的图像细节,图像边缘也更加完整且收敛速度更快。     

结合图像语义分割的增强现实型平视显示系统设计与研究

为了提高驾驶员在车辆行驶过程中的安全性,设计了一种结合图像语义分割的增强现实型平视显示(ARHUD)系统。首先,提出一种改进的单发多框检测器网络对道路场景图像进行语义分割,网络前端采用VGG-16提取图像特征,网络后端对获取的特征图进行上采样,从而对特征图进行像素分割。通过对网络的训练,得到场景目标的像素级分类结果,即环境的语义内容信息。随后,通过分析真实场景、光学显示系统、驾驶员之间的关系,将计算机产生的虚拟信息叠加到真实场景,并将显示内容注册到驾驶员视野中,从而提高行车安全。实验结果表明,语义分割算法的准确率能达到77.8%,虚实注册算法处理每帧图像的时间平均为45ms,约22frame·s-1。     

基于扩张卷积注意力神经网络的高光谱图像分类

为了解决训练样本有限情况下高光谱图像分类精度低的问题,提出了一种结合扩张卷积与注意力机制的三维-二维串联卷积神经网络模型。首先,该模型以串联的三维-二维卷积神经网络作为基础结构,利用三维卷积同时提取高光谱图像的空谱特征,并采用二维卷积进一步提取高级空间语义信息;然后,通过引入扩张卷积增大卷积核感受野,构建了多尺度特征提取结构,实现了多尺度特征的融合;最后,利用注意力机制使网络关注重要的空谱特征,并抑制噪声和冗余信息。在两个常用数据集上对本文算法和四种基于深度学习的分类算法进行对比实验,结果表明,所提模型取得了最准确的分类结果,有效提高了训练样本有限条件下的分类精度。     

基于U-net和可见光谱图像的黄瓜褐斑病分割

褐斑病是黄瓜主要真菌性病害之一,适宜条件下,特别是在昼夜温差大及饱和湿度条件下发病迅速,病情加重,导致黄瓜减产,造成经济损失。对黄瓜褐斑病进行病斑分割与提取,可以为后续的病害识别与诊断提供有效依据,具有重要意义。结合黄瓜褐斑病可见光谱图像,利用U-net深度学习网络构建黄瓜褐斑病语义分割模型,实现了病斑分割。首先在采集到的黄瓜褐斑病可见光谱图像中截取病斑较为突出的区域作为样本,共在40幅图像中截取到135个像素区域,区域的像素分辨率为200×200,利用Matlab的Image Labeler工具对样本进行像素标记,分别标记出感病区域和健康区域。然后构建U-net网络,该网络包含46层和48个连接,通过卷积层和线性整流层以及最大池化法来完成病斑特征提取,通过深度连接层以及上卷积层和上线性整流层完成上采样,通过跳层连接来完成复制和剪裁操作,并进行病斑特征融合。利用所构建的U-net网络进行学习训练得到语义分割模型,在135个样本中,随机选取其中96个作为训练样本,剩余的39个作为测试样本,设置迭代次数为240次,L2正则化系数为0.000 1,初始学习率为0.05,动量参数为0.9,梯度阈值为0.05,进行样本训练和测试。经过10次重复训练和测试,结果表明,基于U-net和可见光谱图像的黄瓜褐斑病语义分割模型执行时间平均为46.4 s,内存占用平均为6 665.8 MB,执行效率较高;模型准确率PA为96.23%~97.98%,MPA为97.28%~97.87%,MIoU为86.10%~91.59%,FWIoU为93.33%~96.19%,模型的稳定性较好、泛化能力较强。该研究方法利用较少的训练样本,获得了准确率较高的分割模型,为小样本机器学习提供了参考,同时为其他蔬菜的病斑分割、病害识别与诊断提供了方法依据。     

深度神经网络和高光谱显微图像的二维材料纳米片识别

近年来,二维材料由于其独特的性质而受到了广泛关注。在制备二维层状晶体的各种方法中,机械剥离法获得的薄层二维材料晶体质量高,适用于基础研究及性能演示。然而用机械剥离法从衬底上获得的材料具有一定的随机性,可能包含了少许相对较厚的部分。实现对这些二维薄层材料有效、快速且智能化的表征有利于促进二维材料性能的进一步研究。提出了一种基于深度学习的表征方法,通过搭建的编解码结构的卷积神经网络语义分割算法,可以根据光学显微镜图像进行分割和快速识别二维材料纳米片。卷积神经网络作为深度学习在图像处理领域中的典型算法,能够对光学显微镜图像中的复杂信息进行特征提取。首先采用机械剥离制备MoS₂纳米片样本,通过光学显微镜采集高光谱图像并对样本进行标记,根据样本的厚度范围标记出不同的区域,对标记后的图像进一步处理,包括图像的颜色校准和剪切操作,得到用于网络训练和测试的数据集。针对光学图像中二维纳米薄片存在的低对比度、碎裂等特点,编码时加入残差结构和金字塔池化模型,有助于特征信息的提取;解码时融合编码路径中提取的浅层特征信息,以提高网络分割精度。实验中采用带权重的交叉熵损失函数解决类别数量不平衡问题和采用数据增强扩大数据集。对训练后的网络测试结果表明,模型像素精度为97.38%,平均像素精度为90.38%,均交并比为75.86%。之后通过迁移学习成功地对剥离的单层和双层石墨烯纳米片样本进行了识别,均交并比达到了81.63%,表明该方法具有普适性。通过MoS₂和石墨烯纳米片的识别演示,实现了深度学习在二维材料的光学显微镜图像中的成功应用。该方法有望在更多的二维材料上得到扩展并突破自动动态处理光学显微镜图像的问题,同时为其他纳米材料的高光谱图像处理提供参考。     

An unmanned aerial vehicle identification and tracking system based on weakly supervised semantic segmentation technology

This paper presents an unmanned aerial vehicle (UAV) identification and tracking system aimed at monitoring UAVs based on weakly supervised semantic segmentation. A camera is equipped with a pan–tilt to collect images for semantic segmentation network in real time. The GrabCut+ algorithm and annotation boxes are employed to generate the UAV “pseudo pixel labels” for supervised model learning and reduce labelling costs. A new loss function combining the focus loss function and dice loss function is designed to balance positive and negative samples and improve the segmentation effect. The Mixup method is introduced for model training to prevent overfitting and enhance the generalization ability of the model. The semantic segmentation network outputs the prediction results by a fully connected conditional random field to smooth the target image. Furthermore, a region-based tracking method is proposed to solve the hysteresis problem of the pan–tilt control system and improve the system tracking performance. Finally, an experiment based on a dataset is carried out to prove the effectiveness of the segmentation algorithm with 66.3% mIoU. Considering that 10% of the central area of view is specified as the view centre, a UAV falling in the centre of the field accounts for more than 80% of this view area, demonstrating the real-time effectiveness of the designed UAV identification and tracking system.     

Cellular neural networks for welding arc thermograms segmentation

Machine vision systems are used in many areas for monitoring of technological processes. Among this processes welding takes important place, where often infrared cameras are used. Besides reliable hardware, successful application of vision systems requires suitable software based on proper algorithms. One of most important group of image processing algorithms is connected to image segmentation. Obtainment of exact boundary of an object that changes shape in time, such as the welding arc, represented on a thermogram is not a trivial task. In the paper a segmentation method using supervised approach based on a cellular neural networks is presented. Simulated annealing and genetic algorithm were used for training of the network (template optimization). Comparison of proposed method to a well elaborated segmentation method based on region growing approach was made. Obtained results prove that the cellular neural network can be a valuable tool for infrared welding pool images segmentation.     

基于多视角融合的夜间无人车三维目标检测

为了提高无人车在夜间情况下对周围环境的物体识别能力，提出一种基于多视角通道融合网络的无人车夜间三维目标检测方法。引入多传感器融合的思想，在红外图像的基础上加入激光雷达点云进行目标检测。通过对激光雷达点云进行编码变换成鸟瞰图形式和前视图形式，与红外图像组成多视角通道，各通道信息之间融合互补，从而提高夜间无人车对周围物体的识别能力。该网络将红外图像与激光雷达点云作为网络的输入，网络通过特征提取层、候选区域层和通道融合层准确地回归检测出目标的位置以及所属的类别。实验结果表明，该方法能够提高无人车在夜间的物体识别能力，在实验室的测试数据中准确率达到90%，速度0.43 s/帧，达到了实际应用要求。     

基于多分辨率色彩传递的彩色夜视方法研究

为了获得符合人眼感知的彩色夜视图像,帮助观察者获取丰富的场景信息和舒适的观察效果,提出了一种基于多分辨率色彩传递的彩色夜视处理方法.结合微光与红外图像特点,对二者进行YUV空间拮抗视觉特性的彩色融合之后,采用控向金字塔对彩色融合图像(源图像)和参考图像各颜色通道进行多分辨率分解,计算子带图像的均值和标准方差,通过参考图像与源图像在各子带的方差比调整源图像的子带系数值,再经金字塔重构,最终使微光与红外彩色夜视图像获得类似参考图像的自然感色彩.分析了lαβ、YUV和RGB颜色空间对色彩传递的影响,并确定YUV颜色空间更适于多分辨率分解的色彩传递.相比传统的线性色彩传递方法,本方法不仅使彩色夜视图像拥有更符合真实场景的色彩,还可以提高其细节信息,改善场景感知,提升融合图像目标探测能力.     

Unmanned aerial vehicles assisted rice seedling detection using shark smell optimization with deep learning model

Rice seedling classification using an unmanned aerial vehicle (UAV) images remains a challenging problem that needs to be addressed. It is still a difficult task because it is prone to low temporal and spatial resolution images. Recently, machine learning (ML) and deep learning (DL) models can be employed for several image preprocessing tasks such as classification, object detection, and segmentation. Therefore, this study focuses on the design of shark smell optimization with deep learning based rice seedling detection (SSODL-RSD) on UAV imagery. The presented SSODL-RSD technique recognizes the UAV images into arable land and rice seedlings. To achieve this, the SSODL-RSD technique employs the adaptive Wiener filtering (AWF) technique for the noise removal procedure. In addition, the SSODL-RSD technique exploits the NestNet feature extractor model. Moreover, the SSO algorithm is used for the hyperparameter tuning of the NestNet model. Finally, the long short term memory-recurrent neural network (LSTM-RNN) model is employed for the classification of rice seedlings. The extensive comparative study highlighted the improved outcomes of the SSODL-RSD technique over other existing models.     

Dynamic pixel-wise weighting-based fully convolutional neural networks for left ventricle segmentation in short-axis MRI

Left ventricle (LV) segmentation in cardiac MRI is an essential procedure for quantitative diagnosis of various cardiovascular diseases. In this paper, we present a novel fully automatic left ventricle segmentation approach based on convolutional neural networks. The proposed network fully takes advantages of the hierarchical architecture and integrate the multi-scale feature together for segmenting the myocardial region of LV. Moreover, we put forward a dynamic pixel-wise weighting strategy, which can dynamically adjust the weight of each pixel according to the segmentation accuracy of upper layer and force the pixel classifier to take more attention on the misclassified ones. By this way, the LV segmentation performance of our method can be improved a lot especially for the apical and basal slices in cine MR images. The experiments on the CAP database demonstrate that our method achieves a substantial improvement compared with other well-know deep learning methods. Beside these, we discussed two major limitations in convolutional neural networks-based semantic segmentation methods for LV segmentation.