基于点云数据的三维目标检测技术研究进展

近年来,随着深度传感器和三维激光扫描设备的普及,点云数据引起了广泛关注。相对于二维图像,点云数据不仅包含场景的深度信息,还不受光照等环境因素的影响,能够更精确地实现目标识别和三维定位。因此,基于点云的三维目标检测技术已经成为智能空间感知和场景理解的关键技术。本文首先介绍了点云数据的特点,并探讨了不同类型的点云特征提取方法;其次,详细阐述了基于体素、点、图以及体素与点混合的点云目标检测方法的原理和发展历程;然后,介绍了常见的室内外点云目标检测数据集和评价指标,并对各类点云目标检测方法在KITTI和Waymo数据集上的性能进行了详细的比较和分析;最后,对点云目标检测技术的研究进展进行了总结和展望。     

频域宽带下视多波束三维声成像算法

为解决下视多波束三维成像声呐跨航向分辨率差、旁瓣级高的问题,提出一种频域宽带下视多波束三维声成像算法。该算法将阵元域回波信号通过二维傅里叶变换直接变换到波数-频率域,之后进行深度向匹配滤波,同时选取带宽内的频点进行频域宽带信号的相位补偿,再进行二维逆傅里叶变换回阵元域,实现跨航向-深度向成像处理。沿航向采用时域合成孔径方法,得到三维图像结果.计算机仿真和海上实验结果表明,相比于常规的下视多波束三维成像声呐处理算法,改进的方法跨航向主瓣变窄,角分辨率明显提高,旁瓣降低10~30 dB。相比于传统基于分块DFT的频域宽带波束形成,改进的频域宽带方法避免了跨航向处理中的时域分块插值和多次变换域,复数加法和乘法次数显著降低。改进的频域宽带下视多波束三维声成像算法可以有效地获取水下三维高分辨图像,抑制虚影,明显改善成像质量。同时,计算效率高,更适合于实时成像系统实现。      

圆合成孔径声呐多点定位运动补偿

圆合成孔径声呐(CSAS)的成像性能受平台运动误差影响而下降,利用单侧回波可估计CSAS基阵的斜距误差,但单侧回波在小测绘带时无法估计升沉误差,针对此问题,提出了一种利用单侧回波信号的声呐平台三维运动估计和补偿方法。首先,对CSAS在不同观测角度的目标回波取极大值获得目标回波的到达时间;其次,基于多个点目标的到达时间建立CSAS三维定位模型;然后利用列文伯格-马夸尔特方法对声呐三维坐标进行估计;最后将位置估计结果与时域反投影成像方法结合实现对目标的成像.仿真结果表明:该方法能精确估计声呐平台运动误差,其空间坐标的估计误差小于仿真信号波长的1/8,从而精确补偿了CSAS在不同空间采样点上的阵元回波时间差,显著提高了目标成像质量。湖上试验结果表明,该算法能够实现对CSAS的运动误差补偿。仿真和试验结果均验证了方法的可行性和有效性。      

基于成像声呐DIDSON的水域内鱼群数量估计方法*

为准确估计整片水域中的鱼群数量,提出一种利用成像声呐进行数量估计的方法。将成像声呐固定在调查船下,并使波束发射方向与船前进方向一致,通过走航调查方式采集水下信息,对采集的数据进行声呐图像构建、噪声去除、目标提取,其中噪声去除采用固定数据窗口的迭代最小二乘法,目标提取采用基于三倍标准差准则的阈值分割法。接着利用扩展卡尔曼滤波结合最近邻的多目标跟踪算法对图像中的个体目标进行一一计数,同时统计声呐扫描过的水域面积,获得目标个数的平均面密度值,最后结合水域占地面积,估算出整片水域中的鱼群数量。利用该方法实现对滴水湖鱼群数量的估计,通过与人工计数结果比较,发现基于声呐图像处理的数量统计方法具有较高精度,两者的统计值相差约10%。     

时域压缩合成孔径超分辨水声成像算法

提出一种针对水下稀疏目标的时域压缩合成孔径声呐成像方法(TC-SAS),实现了水声目标高分辨实时成像。通过多子阵的孔径合成,在时域上构造出成像网格格点到有效孔径内逐帧阵列的格林函数,并给出成像区域散射强度到数据域的映射矩阵;然后利用该区域空域稀疏的先验知识,通过正交匹配追踪的稀疏重构方式,解算出成像区域散射系数矩阵,实现了稀疏目标高分辨成像.同时,针对线性调频信号提出数据缩减的方法,通过对观测数据和字典矩阵同时脉压后截取,减小了数据规模;进一步结合二维矩阵数表查表的方法,以空间换时间,实现了区块实时成像。数值仿真以及湖试试验表明,所提算法能分辨出传统的时延求和算法难以分辨的目标,并且在图像清晰度指标上平均提升4.9 dB.改善了合成孔径声呐的成像质量.      

水下目标亮点拓扑特征提取及自动识别方法

针对水下目标逆合成孔径声呐(Inverse Synthetic Aperture Sonar,ISAS)图像识别问题中观测角度随机多变,目标结构相互遮挡问题,提出一种基于多亮点拓扑矢量特征的ISAS水下目标识别方法。通过分析ISAS成像过程中散射点位置由三维空间向二维成像平面的投影关系,表明了横向定标后的声呐图像中强亮点之间的距离仅由目标散射结构之间的物理距离决定,据此基于强亮点之间的相互距离,构造能稳定描述不同观测角度下目标的拓扑矢量特征。然后通过K-means聚类获取多聚类中心以克服目标结构互相遮挡造成的亮点缺失问题。最终采用最近邻分类器实现目标识别。水池缩比模型实验表明,该方法对于水下目标的识别率达到84.0%。      

可模式识别的水声成像方法

提出一种在自由环境中可以进行模式识别的水声成像方法。利用角域滤波将空间不同入射方向的平面波在阵元域中进行分离,在成像扇面内按要求设计一系列角域带通滤波器,这些滤波器的输出就是从角通带内入射的平面波在阵元域中的快拍数据,可以实现要求输入为阵元域特性数据的目标识别和底质分类等专用的模式识别算法,角域滤波器输出的平面波快拍数据的幅度作为像素值进行水声成像。采用角域滤波的方法可以进行水声成像得到所需要的声图,并且每个像素对应着相应点目标远场平面波入射到接收阵时所产生的快拍数据。仿真和实验数据处理结果表明,采用角域滤波和利用常规波束形成所得到的声图是一样的,并且两种成像方法具有相同的稳健性。      

单光子探测三维点云与可见光图像融合处理算法研究

为了提升光电系统对于目标的探测识别能力,实现单光子探测三维点云数据和二维可见光图像的融合处理,提出了单光子探测成像系统的融合处理算法,采用直接线性变换方法并利用同名特征点的选取和间接平差算法解决了融合处理过程中的参数标定问题。通过实验数据进行融合处理算法验证,实现了分辨率1024×768像素单光子探测三维点云和二维可见光图像的像素级融合处理。实验结果表明,提出的融合处理算法能够有效实现三维、二维图像的融合。     

基于单摄像机和神经网络的三维测量研究

为了实现更为简单的三维测量同时解决传统立体视觉方法中基线的限制问题,提出一种单摄像机微小角度旋转结合神经网络进行三维测量的方法.方法通过单摄像机小角度旋转采集二维图像数据;利用电动平台移动标定板构建三维空间坐标系;基于摄像机的线性成像模型思想,将代表图像坐标和三维坐标映射关系的投影矩阵替换为BP神经网络,得到二维坐标到...     

水下高分辨率声图中小目标的深度网络分类方法

针对声成像数据缺少条件下的水下沉底小目标分类问题,提出一种深度网络分类算法。首先,采用高斯混合模型对声影区统计特性进行建模并提取声图阴影,在此基础上构建仿真数据集和真实数据集。将仿真数据集输入卷积神经网络进行训练,保留其特征提取部分,用于对真实数据集进行特征提取.重建网络分类部分并采用真实数据集的特征向量进行训练。结果表明,所提出的方法分类正确率可达88.24%,与6种对照方法相比平均分类正确率分别提升8.67%,20.47%,19.78%,11.59%,9.01%,11.58%。验证了所提出方法在小样本条件下具有较好对水下沉底小目标的分类能力。其学习曲线收敛到96.25%,仅比验证曲线高5.14%,说明在一定程度上缓解了过拟合问题。将改进的卷积神经网络应用于融合分类器,通过与逻辑回归分类器、支持向量机对目标进行分类并融合决策,正确率为93.33%,可进一步提高算法的正确率和稳定性.      

基于多视角融合的夜间无人车三维目标检测

为了提高无人车在夜间情况下对周围环境的物体识别能力，提出一种基于多视角通道融合网络的无人车夜间三维目标检测方法。引入多传感器融合的思想，在红外图像的基础上加入激光雷达点云进行目标检测。通过对激光雷达点云进行编码变换成鸟瞰图形式和前视图形式，与红外图像组成多视角通道，各通道信息之间融合互补，从而提高夜间无人车对周围物体的识别能力。该网络将红外图像与激光雷达点云作为网络的输入，网络通过特征提取层、候选区域层和通道融合层准确地回归检测出目标的位置以及所属的类别。实验结果表明，该方法能够提高无人车在夜间的物体识别能力，在实验室的测试数据中准确率达到90%，速度0.43 s/帧，达到了实际应用要求。     

平场复用多焦点结构光照明超分辨显微成像

多焦点结构光照明显微技术(multifocal structured illumination microscopy, MSIM)能在50μm的成像深度内和1Hz的成像速度下实现两倍于衍射极限分辨率的提升,相比传统的宽场结构光照明显微技术,具有较大的成像深度和层析能力,更适合应用于厚样品的长时程三维超分辨成像.然而, MSIM存在成像速度慢、图像处理过程复杂等问题.本文提出了一种基于平场复用多焦点结构光照明的快速超分辨显微成像方法和系统(flat-field multiplexed MSIM, FM-MSIM),通过在照明光路中插入光束整形器件,将高斯光束转变为均为分布的平顶光束,提高激发点阵的强度均匀性和扩大视场;通过将每个衍射受限的激发点沿y方向延长,形成新的多路复用多焦点阵照明图案,提高能量利用率,减少扫描步数,进而提高成像速度和信噪比;结合基于多重测量矢量模型的稀疏贝叶斯学习图像重构算法,简化图像重构步骤,在保证空间分辨率的同时实现至少4倍于传统MSIM的成像速度.在此基础上,利用搭建的FM-MSIM系统进行了BSC细胞微管样片和小鼠肾切片标准样片的超分辨成像实验,实验结果证明...     

Automatic target recognition method for inverse synthetic aperture sonar imaging

To address the randomness of target aspect angle and the incompleteness of observed target in inverse synthetic aperture sonar(ISAS) imaging,a method for target recognition is proposed based on topology vector feature(TVF) of multiple highlights. Analysis of the projection relationship from 3 D space to 2 D imaging plane in ISAS indicates that the distance between two highlights in the cross-range scale calibrated image is determined by the distance between the corresponding physical scattering centers. Then, TVFs of different targets, which remain stable in various possibilities of target aspect angle, can be built. K-means clustering technique is used to effectively alleviate effect of the point missing due to incompleteness of the observed target. A nearest neighbor classifier is used to realize the target recognition. The ISAS experimental results using underwater scaled models are provided to demonstrate the effectiveness of the proposed method. A classification rate of 84.0% is reached.     

基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究

建立权重独立的双通道残差卷积神经网络,对可见光与红外频段下的目标图像进行特征提取,生成多尺度复合频段特征图组。基于像点间的欧式距离计算双频段特征图显著性,根据目标在不同成像频段下的特征贡献值进行自适应融合。通过热源能量池化核与视觉注意力机制,分别生成目标在双频段下的兴趣区域逻辑掩码并叠加在融合图像上,凸显目标特征并抑制非目标区域信息。以端到端识别网络作为基础,利用交叉损失计算策略,对含有注意力掩码的多尺度双频段融合特征图进行目标识别。结果表明,所设计的识别网络能够有效地融合目标红外热源物理特征和可见光图像纹理特征,提高了信息融合深度,保留目标热辐射与纹理特征的同时降低了背景信息干扰,对全天候复杂环境下的多尺度热源目标具有良好的识别精度与鲁棒性。     

基于最大和最小光强图像的偏振去雾方法

相对于传统光学探测技术,偏振探测在目标探测、识别方面有着独特的优势。针对雾、霾等天气下图像退化的问题,提出一种利用偏振信息的图像去雾方法,通过获取3个角度下目标的偏振图像,求解出场景目标的斯托克斯矢量,从斯托克斯矢量与穆勒矩阵的关系出发,分析偏振图像光强随着偏振角度的变化规律,获取最大和最小光强下的正交偏振图像,利用偏振滤波和亮通道先验方法分别估算大气光偏振度和其无穷远处大气光强值,最终重构出无雾图像。实验结果表明,在雾霾天气下,利用获取的正交偏振图像能够重构出清晰的图像,且重构图像的平均梯度和边缘强度均提升了约3倍,灰度标准差提升了约88%。     

X射线光场成像技术研究

X射线三维成像技术是目前国内外X射线成像研究领域的一个研究热点.但针对一些特殊成像目标,传统X射线计算层析(CT)成像模式易出现投影信息缺失等问题,影响CT重建的图像质量,使得CT成像的应用受到一定的限制.本文主要研究了基于光场成像理论的X射线三维立体成像技术.首先从同步辐射光源模型出发,对X射线光场成像进行建模;然后,基于光场成像数字重聚焦理论,对成像目标场在深度方向上进行切片重建.结果表明:该方法可以实现对成像目标任一视角下任一深度的内部切片重建,但是由于光学聚焦过程中的离焦现象,会引入较为严重的背景噪声.当对其原始数据进行滤波后,再进行X射线光场重聚焦,可以有效消除重建伪影,提高图像的重建质量.本研究既有算法理论意义,又可应用于工业、医疗等较复杂目标的快速检测,具有较大的应用价值.     

水下无源声呐目标听觉域张量特征提取方法

特征提取是水下无源声呐目标分类识别的关键步骤,提出了一种基于听觉Patterson-Holdsworth耳蜗模型的听觉域张量特征提取方法。将耳蜗模型的滤波器冲激响应视为信号分解的基函数,根据听觉模型非线性尺度或常规线性尺度确定不同通道的中心频率,然后计算出相应通道的增益和带宽,并量化冲激响应的阶数和相位参数,得到信号分解基,再根据信号分解原理得到通道数×阶数×相位数的三阶张量特征,并通过计算测试样本张量特征与训练样本张量特征间的相似性实现了水下无源声呐目标的分类识别。海上实录无源声呐目标的分类识别实验表明,提取的张量特征具有比较好的分类识别性能,听觉模型等效矩形带宽尺度优于线性尺度划分中心频率,能够提高无源声呐的目标指示能力。      

Tensor feature extraction of underwater passive sonar target based on auditory model

Feature extraction is a key step for underwater passive sonar target classification and recognition.A kind of tensor feature extraction method based on auditory PattersonHoldsworth cochlear model is proposed.First,the filter impulse response of the cochlear model is regarded as the basis function of signal decomposition,and the center frequency of different channels is determined according to the nonlinear scale or conventional linear scale of the auditory model.Then,the gain and bandwidth of the corresponding channel are calculated,and the order and phase parameters of the impulse response are quantified to obtain a relatively complete signal decomposition basis.And according to the principle of signal decomposition,the third-order tensor features of channel number-order number-phase number are obtained.Finally,the classification and recognition of the underwater passive sonar target is realized by calculating the similarity between the testing sample tensor feature and training sample tensor feature.The experiment on passive sonar target classification and recognition shows that the extracted tensor features have better classification and recognition performance,and the equivalent rectangular bandwidth scale of the auditory model is better than the linear scale to divide the center frequency,which can improve the target indication ability of passive sonar.