深度学习精确相位获取的离焦投影三维测量

数字光栅投影三维测量技术,通过离焦投影二值光栅条纹,生成三维测量所需正弦光栅条纹,能够实现超高投影速度,在快速三维测量领域具有极大潜力。但是,二值光栅条纹不可避免地包含高次谐波,导致计算所得相位包含相位误差,进而降低了快速三维测量精度。提出了一种基于深度学习精确相位获取的离焦投影三维测量方法,通过构建含噪声相位到精确相位的端到端深度卷积神经网络,降低高次谐波引入的相位误差,进而实现快速精确三维测量。首先,以理论分析证明所提方法的可行性,并以仿真和实验进一步验证了所提方法的有效性和精确性。与现有快速三维测量方法相比,所提方法在保证测量速度的同时保证测量精度。     

基于数字孪生与迁移学习的结构光条纹图像分析（特邀）

近年来,深度学习技术广泛应用于计算光学三维成像的研究中。在条纹投影轮廓术中,通过训练深度学习网络,可从单幅条纹图像中恢复高精度的相位信息。然而,为了训练神经网络模型,通常需要耗费大量的时间成本和人力成本来采集训练数据集。为了解决该问题：首先,建立数字孪生条纹投影系统,并利用域随机化技术对虚拟照明光栅进行增强,使用计算机进行虚拟扫描,生成大量仿真光栅条纹图像;其次,利用仿真光栅图像对U-Net神经网络进行预训练;最后,引入迁移学习,采用少量真实光栅条纹图像对神经网络进行参数微调。由于U-Net的结构特殊性,提出并分析了“从左至右”“从上至下”“全局微调”等3种U-Net神经网络微调策略。实验结果表明,采用“从上至下”策略微调U-Net“瓶颈”网络模块的方法可获得最佳的迁移学习结果,神经网络的相位预测精度可得到显著提升。相比于使用大量真实数据进行训练,所述方法仅利用20%的数据就可训练神经网络获得高精度的相位重建结果。     

多阶段深度学习单帧条纹投影三维测量方法

深度学习的应用简化了数字条纹投影三维测量的过程,在传统数字条纹投影三维测量技术条纹投影、相位计算、相位展开、相位深度映射的流程中,研究者们已经成功证明了前三个环节以及整个流程结合深度神经网络的可行性。基于深度学习,PDNet (Phase to Depth Network)神经网络模型被提出,用于绝对相位到深度的映射。结合多阶段深度学习单帧条纹投影三维测量方法,通过分阶段学习方式依次获得物体的绝对相位与深度信息。实验结果表明,PDNet能较准确地测量出物体的深度信息,深度学习应用于相位深度映射步骤具有可行性。并且,相较于直接从条纹图像到三维形貌的单阶段深度学习单帧条纹投影三维测量方法,多阶段深度学习单帧条纹投影三维测量方法可以明显提升测量精度,仅需单帧条纹图像输入即可获得毫米级测量精度,且能适应具有复杂形貌物体的三维测量。     

多场景下结构光三维测量激光中心线提取方法

结构光三维测量技术是获得物体三维信息的重要途径,激光条纹中心线提取是影响结构光三维测量精度和速度的关键因素。提出了一种适用于多场景下结构光三维测量的激光条纹中心线提取方法,充分利用图像中激光条纹的几何信息和相关性生成自适应卷积模板,实现激光条纹图像的滤波和增强处理,使激光条纹横截面灰度值满足高斯分布;经灰度加权法实现激光条纹中心线的亚像素精度定位与提取。实验测试结果表明:该方法可实现多场景下形状、材质各异物体的条纹中心线提取,有效克服了激光条纹亮度分布不均、噪声干扰等影响,单幅图像处理时间缩短为0.107 s且相对误差减少到0.076 5%,有效提高了激光条纹中心线的提取精度和速度。     

基于虚拟参考面方法的高反射曲面三维形貌测量

针对常规光栅条纹反射三维形貌测量方法中对实际参考面的需求,提出了基于虚拟参考面方法。在系统标定阶段,通过向标定用平面镜投射一幅特殊标记的棋盘格图像,将其在平面镜另一侧成的虚拟像所在的平面定义为虚拟参考面。根据虚拟参考面上各点与编码光栅条纹相位间的对应关系,经计算可直接得到测量所需的两垂直方向的参考相位分布,从而无需在工件测量前首先对实际参考面进行相位提取操作。与常规光栅条纹反射三维形貌测量方法相比,由于避免了对参考平面测量的需求,本文方法获得的参考相位分布,在保证测量精度的同时提高了测量速度,降低了测量的复杂性,有利于系统的集成化。搭建了光栅条纹反射三维形貌测量系统,采用基于虚拟参考面的光栅条纹反射方法对超精密加工平面镜和组合台阶的表面形貌进行测量,建立相位偏移与被测工件表面梯度的对应关系,由梯度恢复工件表面高度,测量精度达到50μm左右。     

钛合金叶片三维测量中背景去除的两步法研究

基于双频栅线法的三维测量系统因其相位的过程不易受到噪声干扰而被广泛应用于三维轮廓测量领域。针对当测量对象为钛合金叶片时,因叶片主体颜色和参考平面颜色对比度太低而引起的叶片连续相位图与背景图像难以区分的问题,提出两步去除背景法:首先将参考平面预置为黑色背景,以增大参考平面与钛合金叶片的颜色对比度,实现有效区分二者的目的;然后结合Matlab软件中的imcrop图像切割函数,进行有效包裹叶片的变形光栅条纹图像的自动截取,进而运用双频栅线法进行相位展开,最终得到完整的叶片连续相位图。实验结果证明,所述方法不仅可以有效地区分开叶片连续相位图与背景图像,从而将背景图像完整去除,同时也提高了整个三维测量系统解相位的精度。     

π相移技术在钢轨三维面型复原中应用效果分析

在傅里叶变换轮廓术(FTP)中,频谱中的基频分量包含物体的高度信息,基频分量的提取效果对物体三维形貌复原的精度有重要影响。通过π相移技术可以消除背景分量,即零频部分,从而能更好地提取出基频分量,减小测量误差。文中通过计算机仿真对含有噪声的光栅条纹图像进行三维恢复,证实了π相移技术对提高FTP测量精度的作用。并将该方法应用于钢轨表面轮廓的三维复原和测量,为钢轨磨耗和表面缺陷的测量提供有效方法。     

基于三角形分布光栅的相位测量轮廓术

相位测量轮廓术凭借其高精度、非接触的优点在现代生活中受到了极大的重视,但其应用却受到正弦光栅复杂制作工艺的限制。根据相位测量轮廓术的基本原理,提出了基于三角形分布光栅的相位测量轮廓术。同正弦光栅相比,三角形分布光栅的制作工艺相对简单,更具有实用意义。对这两种方法的精度进行了比较和分析,并分别在无噪声的理想情况和有噪声的实际情况下,分析了光栅周期、条纹对比度以及物体最大高度对测量精度的影响。通过计算机模拟与实验表明,基于三角形分布光栅的相位测量轮廓术具有较高的精度和可行性。     

应用三步相移法的三维面形测量

提出一种基于三步非定步相移的三维面形测量方法。首先将投影仪投出的光栅进行预校正,保证投到参考面的条纹为标准的正弦条纹。测量时,由投影仪投影三幅等相移量的光栅到待测物体表面,CCD相机对应采集三帧变形条纹图,由相位计算模型提取相位。最后通过高度映射公式恢复待测物体的三维面形。该方法有较好的抗噪性能,在噪声较大情况下,仍能进行测量,为动态在线测量奠定了基础。模拟及初步实验均验证了该方法的可行性。     

基于正交双频光栅投影的在线三维检测

提出一种用于在线三维检测的正交双频光栅。光栅在原单频条纹正交方向引入一高频条纹,用于提取调制度信息,完成检测过程中的像素匹配。解决了测量中像素匹配和相位计算对光栅频率要求不同的问题。同时高频条纹的引入不影响低频条纹求解相位,在相位求解过程中无需滤除高频条纹,避免了频谱滤波对相位精度的影响。模拟和实验均验证了所提方法的有效性。     

Phase unwrapping based on deep learning in light field fringe projection 3D measurement

Phase unwrapping is one of the key roles in fringe projection three-dimensional (3D) measurement technology. We propose a new method to achieve phase unwrapping in camera array light filed fringe projection 3D measurement based on deep learning. A multi-stream convolutional neural network (CNN) is proposed to learn the mapping relationship between camera array light filed wrapped phases and fringe orders of the expected central view, and is used to predict the fringe order to achieve the phase unwrapping. Experiments are performed on the light field fringe projection data generated by the simulated camera array fringe projection measurement system in Blender and by the experimental 3×3 camera array light field fringe projection system. The performance of the proposed network with light field wrapped phases using multiple directions as network input data is studied, and the advantages of phase unwrapping based on deep learning in light filed fringe projection are demonstrated.     

基于二值神经网络的大场景点云分类

近年随着3维数据采集技术不断发展,大场景 点云数据的获取越来越方便。目前深 度学习网络框架在2维图像处理领 域越来越成熟,而大场景点云是一种3维无规则化的数据,3维卷积神经网络直接处理大场 景3维数据会存在分类精度低和计 算复杂等问题。因此为了有效解决基于深度学习的点云分类任务中存在的计算时间长和分类 精度低的问题,本文提出基于二值 神经网络的大场景点云分类方法,针对不规则的3维点云数据设计特征值计算方法,基于IR -Net二值神经网络处理输入的点云 特征图像,进一步采用Dynamic ReLU激活函数,提高神经网络的计算效率,最后得出点云分 类结果。实验结果表明,所提出 的方法在Oakland数据集上分类精度达到97.6%,在GML数据集中取得 了92.3%和97.2%的分类精度,实验结果证明Dy -ResNet 能够有效提升了点云分类的精度,减少计算的复杂度,并提高了训练效率。     

GPU加速三维面形测量

随着通用计算和图形显示需求的不断增加,图形处理器（Graphics Processing Unit,GPU）在医学、科学计算、图像处理等领域得到了广泛的应用。但它在三维测量领域的应用还只是一个开始。文中基于傅里叶变换轮廓术（Fourier Transform Profilometry,FTP）和三频外差法设计了两套三维测量系统,并利用计算统一设备架构（Compute Unified Device Architecture,CUDA）方法,加速了静态或动态物体的三维重建。在三频外差测量系统中,需要利用高速数字投影模块和相机,同步触发采集小视场表面的12个变形条纹图,然后对图像数据进行处理。实验结果表明:对12幅1 360 pixel1 024 pixel大小的图像进行相位展开运算,GPU方法比CPU方法的效率提高了2 089倍。在基于FTP方法的测量系统中,摄像机只需记录一幅变形条纹图,然后拷贝到显存中,并用CUDA编程的算法进行处理,进而重建出物体的三维面形。基于GPU的FTP方法对一幅1 024 pixel1 280 pixel大小的图像进行计算,其计算时间比CPU方法缩短了27倍。     

Speckle noise removal based on structural convolutional neural networks with feature fusion for medical image

Application of convolutional neural networks (CNNs) for image additive white Gaussian noise (AWGN) removal has attracted considerable attentions with the rapid development of deep learning in recent years. However, the work of image multiplicative speckle noise removal is rarely done. Moreover, most of the existing speckle noise removal algorithms are based on traditional methods with human priori knowledge, which means that the parameters of the algorithms need to be set manually. Nowadays, deep learning methods show clear advantages on image feature extraction. Multiplicative speckle noise is very common in real life images, especially in medical images. In this paper, a novel neural network structure is proposed to recover noisy images with speckle noise. Our proposed method mainly consists of three subnetworks. One network is rough clean image estimate subnetwork. Another is subnetwork of noise estimation. The last one is an information fusion network based on U-Net and several convolutional layers. Different from the existing speckle denoising model based on the statistics of images, the proposed network model can handle speckle denoising of different noise levels with an end-to-end trainable model. Extensive experimental results on several test datasets clearly demonstrate the superior performance of our proposed network over state-of-the-arts in terms of quantitative metrics and visual quality.     

一种改进的噪声图像语义分割方法

在图像的获取和传输过程中,可能会出现噪声, 它不仅破坏了图像的真实信息,而且严重影响了图像的视觉效果。因此, 噪声图像的语义分割成为图像分析中最具挑战性的问题之一。为了提高噪声图像的分割性能 ,本文在分析全卷积网络(FCN)的 基础上,提出一种改进的FCN模型(IFCN)对噪声图像语义分割。该算法采用一种新的中值 池化方法代替卷积神经网络的最大值 池化,可以在去除噪声的同时保留更多边缘信息。在训练整个深度网络时,通过反向传播算 法以一种直接的端到端,像素到像素 的方式映射。实验结果表明,提出的模型在PASCAL VOC2012数据集上对噪声图像语义分割 可以获得比较好的分割效果,准确率mean IU达到86.5%。     

A neural network image reconstruction technique for electrical impedance tomography

Reconstruction of images in electrical impedance tomography requires the solution of a nonlinear inverse problem on noisy data. This problem is typically ill-conditioned and requires either simplifying assumptions or regularization based on a priori knowledge. The authors present a reconstruction algorithm using neural network techniques which calculates a linear approximation of the inverse problem directly from finite element simulations of the forward problem. This inverse is adapted to the geometry of the medium and the signal-to-noise ratio (SNR) used during network training. Results show good conductivity reconstruction where measurement SNR is similar to the training conditions. The advantages of this method are its conceptual simplicity and ease of implementation, and the ability to control the compromise between the noise performance and resolution of the image reconstruction.     

深度学习技术在条纹投影三维成像中的应用

条纹投影（结构光）三维成像是一种广泛使用的三维成像手段。近年来，集成式的三维传感器发展迅速，特别是基于结构光原理的三维传感器件已逐渐成为高端智能手机必不可少的一个重要传感单元。然而随着应用需求的不断增多，人们对条纹投影三维成像这项技术的效率、精度、稳定性等方面的要求也越来越高。同时近年来，深度学习技术的飞速发展已经为光学成像技术的发展开启了一扇新的大门，并且从这扇大门中人们注意到伴随着人工智能概念的引入，条纹投影技术的发展也正在经历着新的突破。首先简要介绍了条纹投影三维成像的基本理论。随后举例分析通过运用深度学习技术，起初基于物理模型的条纹投影技术也可成为一种在“数据”驱动下实现的技术，而且在这种情况下，它展现出了超越传统算法的潜力。最后从神经网络模型、训练数据、训练方法等方面，讨论该领域面临的挑战与未来的研究方向。