多级层次三维卷积神经网络的牙颌模型分割与识别技术

牙齿分割是计算机辅助口腔正畸治疗的重要技术.针对传统牙齿分割方法因交互操作复杂、手工干预程度高导致分割效率和精度较低的问题,提出一种基于多级层次三维卷积神经网络的牙颌模型自动分割与识别方法.首先利用基于哈希表的八叉树稀疏表达模型对牙颌模型进行标签化预处理;然后采用构建的Level-1网络和Level-2网络,分别实现普通牙齿间类别和高相似度牙齿间类别的区分;最后采用基于深度卷积特征的多级层次分割网络实现牙齿与牙龈以及牙齿间的分割,并利用条件随机场模型对龈缘区及齿间接触区的局部细节特征进行建模与优化.实验结果表明,在自行采集的牙齿数据集上的牙齿识别准确率均维持在0.858以上,单颗牙齿的分割准确率为0.898,与同类分割方法对比,验证了层次特征学习方法具有较高的准确率和鲁棒性,适用于各种不同程度畸形牙患者的牙齿分割,在计算机辅助口腔治疗诊断中具有巨大的应用潜力.     

点云数据在深度学习中表示方法的研究

为了实现在深度学习中能够端到端表示点云模型,提出基于八叉树和K-D树（OctKD）的点云数据表示方法。该方法将无组织的点云转换为体素空间,在体素空间对三维模型进行八叉树剖分,改进了八叉树编码方式;构建节点间的邻接关系,在GPU端并行构建八叉树;为了克服八叉树编码检索效率低的问题,采用三维K-D树索引单个三维空间点。实验结果表明该方法能够真实反映模型本身的细节特征,提高了点云模型的构造时间和检索效率。这种新的数据结构实现将点云转换为卷积神经网络可以接收的数据形式。     

面向三维模型分割的边界感知点云神经网络

为了能够更好地应用深度神经网络学习三维模型的空间特征,获得更好的三维模型分割效果,提出面向三维模型分割的边界感知点云神经网络.首先,采用边界感知的网格点云化方法,将网格分割问题转化成点云标记问题;然后,利用数据切片方法对转化而来的点云数据进行重采样;最后,利用不同大小卷积核的滤波器提取点云数据的空间特征,并将点云标记的结果对应到原网格模型,得到三维模型分割的结果.在ShapeNetCore数据库上的实验结果表明,该方法不仅能够明显地提高分割的准确率,而且具有边界感知的特性,能够有效地避免过分割现象.     

基于八叉树空间分割的NURBS曲面重构方法

对三维模型和点云曲面重构方法进行深入研究,根据应用特点提出八叉树空间分割和N U RBS曲面重构方法。利用八叉树的快速收敛特性对三维实体的点云数据进行分割、精简,采用N U RBS方法对局部网格曲面进行重构;采用八叉树和四叉树相混合的数据结构,渐进地进行网格曲面的重构。存储结构采用扩展式八叉树结构,编码采用8进制前缀编码方法。利用O penG L设计一个实验模型系统验证了该算法的可行性和有效性。     

融合稀疏注意力和实例增强的雷达点云分割

目的 雷达点云语义分割是3维环境感知的重要环节,准确分割雷达点云对象对无人驾驶汽车和自主移动机器人等应用具有重要意义。由于雷达点云数据具有非结构化特征,为提取有效的语义信息,通常将不规则的点云数据投影成结构化的2维图像,但会造成点云数据中几何信息丢失,不能得到高精度分割效果。此外,真实数据集中存在数据分布不均匀问题,导致小样本物体分割效果较差。为解决这些问题,本文提出一种基于稀疏注意力和实例增强的雷达点云分割方法,有效提高了激光雷达点云语义分割精度。方法 针对数据集中数据分布不平衡问题,采用实例注入方式增强点云数据。首先,通过提取数据集中的点云实例数据,并在训练中将实例数据注入到每一帧点云中,实现实例增强的效果。由于稀疏卷积网络不能获得较大的感受野,提出Transformer模块扩大网络的感受野。为了提取特征图的关键信息,使用基于稀疏卷积的空间注意力机制,显著提高了网络性能。另外,对不同类别点云对象的边缘,提出新的TVloss用于增强网络的监督能力。结果 本文提出的模型在SemanticKITTI和nuScenes数据集上进行测试。在SemanticKITTI数据集上,本文方法在线单帧...     

可学习动态分组卷积神经网络的大规模点云分割

针对现有大规模点云语义分割算法提取特征时冗余干扰信息过多,导致神经网络分割性能较差的问题,提出可学习动态分组卷积神经网络架构,高效准确地实现大规模点云分割。对输入点云以分组的方式进行局部几何特征提取,并通过动态筛选和修剪冗余特征通道来减少无用特征信息对神经网络特征识别的干扰,进一步提高网络模型语义分割精度。构建位置编码模块,将点云位置特征映射到高维频域空间,使神经网络充分挖掘点云频域特征信息,增强特征的丰富性。对提取到的局部几何特征和全局单点位置特征进行融合,并构建可学习动态分组卷积神经网络,完成解码得到最终分割结果。实验结果表明,该算法在大规模点云分割数据集S3DIS和SemanticKITTI上的mIoU分别为69.6%和58.3%。与现有点云语义分割方法相比,所提出的网络模型具有更高的分割准确率和较低的参数量。     

基于多尺度动态图卷积网络的3D点云分类

3D点云数据是一种不规则性数据,传统卷积神经网络无法直接对3D点云数据进行处理.对此,提出一种基于多尺度动态图卷积网络的3D点云分类模型.利用最远点采样方法采样3D点云数据集的代表点,降低模型计算复杂度;利用不同尺度的k最邻近节点聚合方式,对图中每一个中心节点的k最邻近节点进行定位;利用边卷积操作对中心节点及其邻接节点的局部属性特征进行提取与聚合用于分类.实验表明,该模型在3D点云分类准确度上,达到了比当前主流模型更高的水平,并且大幅降低了模型生成参数的数量.     

集图卷积和三维方向卷积的点云分类分割模型

现有的深度学习方法在提取点云的局部特征时往往忽略了节点间的位置关系和方向信息，导致不能有效地学习点云的局部特征。为解决这一问题，提出一种集图卷积和三维方向卷积的点云分类分割模型GCN3D。GCN3D模型将图卷积神经网络应用在点云分类分割领域。将点云视作图上的节点，对每个节点求其K近邻，建立局部K近邻邻域内两两节点之间的边，并通过图卷积神经网络参数化边特征以捕捉节点间局部位置关系并更新中心节点特征；使用方向编码模块将节点的邻域划分为八个方位的细粒度的邻域小块，并按照三维空间坐标轴的方向依次将局部邻域结构内的节点特征映射到不同细粒度邻域空间内以提取节点间的方向信息，并且叠加两个方向编码模块增大网络的感受野，提高模型对于稀疏点云数据的鲁棒性并获取局部邻域多尺度特征。在ModelNet40数据集和ShapeNet数据集上分别进行点云分类和点云部分分割的实验。结果表明，相比没有考虑局部特征信息的PointNet,GCN3D模型在ModelNet40数据集上的总体分类精度提高了3.8个百分点，平均分类精度提高了4.3个百分点；在ShapeNet数据集上的平均交并比提高了1.5个百分点。相比其他深度...     

基于八叉树空间分割的三维点云模型密写

针对三维点云模型的信息隐藏,提出一种基于八叉树空间分割的空域密写算法。对经过主成分分析后的三维点云模型建立包围盒,利用八叉树空间分割得到小体元并记录分割过程,通过顶点位移将信息嵌入到小体元内的不同空间位置。实验结果表明,该算法在提取信息时不需要原始模型数据,具有嵌入量高、失真度低的特点,能够抵抗旋转、平移、均匀缩放和顶点重排序攻击,适合于任意网格的三维模型信息隐藏。     

基于多核学习卷积神经网络的稀疏数据推荐

针对当前稀疏数据推荐准确率低的问题,提出一种基于多核学习卷积神经网络的稀疏数据推荐算法.将项目的辅助信息送入卷积神经网络学习特征,将向量在可再生核希尔伯特空间组合,利用多核学习技术增强卷积神经网络的特征学习能力;基于学习的卷积特征集初始化非负矩阵模型,通过非负矩阵模型实现对缺失评分的预测.实验结果表明,该算法有效提高了稀疏数据集的推荐性能,验证了多核学习卷积神经网络的有效性.     

图卷积神经网络在点云语义分割中的研究综述

点云数据蕴含丰富的空间信息,可以通过激光雷达、3D传感器等设备大量采集,被广泛应用于自动驾驶、虚拟现实、城市规划和3D重建等领域。点云语义分割作为3D场景理解、识别和各种应用的基础而受到广泛关注。但不规则的点云数据无法直接作为传统卷积神经网络的输入,而图卷积神经网络可以利用图卷积算子直接对点云数据进行特征提取,使得图卷积神经网络已逐步成为点云语义分割领域的一个重要研究方向。基于此,对图卷积神经网络在3D点云语义分割应用中的研究进展进行综述,根据图卷积的类型对基于图卷积神经网络的点云语义分割方法进行分类,按照不同类别对比分析主流方法的模型架构及其特点,描述几个相关点云语义分割领域常用的公共数据集和评价指标,对点云语义分割方法进行总结和展望。     

室内动态环境下基于网格分割与双地图耦合的RGB-D SLAM算法

为解决室内动态环境下现有RGB-D SLAM（同步定位与地图创建）系统定位精度低、建图效果差的问题,提出一种基于网格分割与双地图耦合的RGB-D SLAM算法。基于单应运动补偿与双向补偿光流法,根据几何连通性与深度图像聚类结果实现网格化运动分割,同时保证算法的快速性。利用静态区域内的特征点最小化重投影误差对相机进行位置估计。结合相机位姿、RGB-D图像、网格化运动分割图像,同时构建场景的稀疏点云地图和静态八叉树地图并进行耦合,在关键帧上使用基于网格分割和八叉树地图光线遍历的方法筛选静态地图点,更新稀疏点云地图,保障定位精度。公开数据集和实际动态场景中的实验结果都表明,本文算法能够有效提升室内动态场景中的相机位姿估计精度,实现场景静态八叉树地图的实时构建和更新。此外,本文算法能够实时运行在标准CPU硬件平台上,无需GPU等额外计算资源。     

牙齿半自动精确分割算法

牙齿分割是数字化牙齿正畸的基础.针对现有的牙齿分割技术自动化程度低、分割不精确的问题,提出了一种牙齿半自动精确分割算法.该算法主要包含3个步骤:首先,手动拾取每相邻2颗牙齿间的一个特征点,利用每颗牙齿两侧的特征点构建局部凹陷感知调和场矩阵,计算模型局部区域的标量场;其次在局部网格上得一系列等值线,利用一种投票机制选取最佳等值线作为牙齿分割线;最后利用一种启发式的特征线提取算法对分割线进行优化,得到精确的龈缘线,实现牙齿的精确分割.实验测试所用数据全部来源于临床扫描数据,结果表明,该算法具有较强的适应性,能够实现牙齿的精确分割,分割精度能够控制在0.1 mm以下,不需要后续过多的手工交互,自动化程度较高,综合提取时间较少,能够满足实际需求.     

对稀疏点云规则化处理的分类卷积神经网络

深度学习作为点云分类的重要方法之一，通常会因为点云的稀疏性、无序性、有限性等特点，导致卷积算子不能充分提取局部空间相关性，直接使用卷积提取点的相关特征将导致特征信息的丢失。为此提出一种经过X变换后的点云分类卷积神经网络：XTNet(convolutional neural network based on X-transform)。XTNet对输入的原始点云数据进行X变换，将它们置换成潜在的规范顺序，抑制点云无序性、稀疏性对卷积操作的影响，避免卷积操作过程中的信息丢失；使用K近邻算法构建局部区域后，使用卷积层提取局部信息；在提取局部特征的同时通过通道扩充增加信息传递、丰富特征；在各局部特征提取模块间设置跳跃连接，进一步减少局部信息的丢失。在标准公开数据集ModelNet40和真实数据集ScanObjectNN中进行了实验。实验结果表明，与目前主流的多个高性能网络相比，XTNet分类准确率提高了0.3～4个百分点，并且拥有良好的鲁棒性和普适性。     

扩展点态卷积网络的点云分类分割模型

目的 点态卷积网络用于点云分类分割任务时,由于点态卷积算子可直接处理点云数据,逐点提取局部特征向量,解决了结构化点云带来的维度剧增和信息丢失等问题。但是为了保持点云数据结构的一致性,点态卷积算子及卷积网络模型本身并不具有描述点云全局特征的结构,因此,对点态卷积网络模型进行扩展,扩展后的模型具有的全局特征是保证分类分割准确性的重要依据。方法 构造中心点放射模型来描述点云逐点相对于全局的几何约束关系,将其引入到点态卷积网络的特征拼接环节扩展特征向量,从而为点态卷积网络构建完善的局部—全局特征描述,用于点云数据的分类分割任务。首先,将点云视为由中心点以一定方向和距离放射到物体表面的点的集合,由中心点指向点云各点的放射矢量,其矢量大小确定了各点所存在的曲面和对于中心点的紧密程度,矢量方向描述了各点对于中心点的包围方向及存在的射线。进而由点云中的坐标信息得到点云的中心点,逐点计算放射矢量构造中心点放射模型,用以描述点云的全局特征。然后,利用点云数据的坐标信息来检索点的属性,确定卷积中参与特定点卷积运算的邻域,点态卷积算子遍历点云各点,输出逐点局部特征,进一步经多层点态卷积操作得到不同深度上的局部特征描述。最后,将中心点放射模型的全局特征和点态卷积的局部特征拼接,完成特征扩展,得到点态卷积网络的扩展模型。拼接后的局部—全局特征输入全连接层用于类标签预测,输入点态卷积层用于逐点标签预测。结果 在ModelNet40和S3DIS（Stanford large-scale 3D indoor spaces dataset）数据集上分别进行实验,验证模型的分类分割性能。在ModelNet40的分类实验中,与点态卷积网络相比,扩展后的网络模型在整体分类精度和类属分类精度上分别提高1.8%和3.5%,在S3DIS数据集的分割实验中,扩展后的点态卷积网络模型整体分割精度和,类属分割精度分别提高0.7%和2.2%。结论 引入的中心点放射模型可以有效获取点云数据的全局特征,扩展后的点态卷积网络模型实现了更优的分类和分割效果。     

基于八叉树结构的三维体素模型检索

随着VR/AR技术发展以及三维模型的广泛应用,实现三维检索具有越来越重要的现实意义.基于模型的检索较好地保留了模型的空间信息和几何特征,其不仅包含模型的表面信息而且还包含模型的内部属性.但是,基于模型的检索往往存在着高存储、高计算的问题.为了解决该问题,本文研究了三维模型预处理及三维模型表示的方法,提出了一种基于八叉树结构的三维体素模型检索方法,即将模型进行体素化处理后提取模型的粗粒度特征和细粒度特征,将两种特征进行融合用八叉树形式表达特征,输入到卷积神经网络中进行训练,最终通过特征的欧氏距离度量实现模型的检索.运用八叉树特征表示法,可以有效地节省体素化存储过程的空间占用量,而且也能保留原始三维网格模型的细节信息.同时考虑到计算性能,本文还在模型体素化的过程中做出一定的改进,通过仅对模型外表面进行体素化,实现了对体素化过程以及数据存储和卷积神经网络训练的优化,大大降低了时间开销.实验中将三维体素模型特征存储在八叉树结构中作为卷积神经网络的输入,结合SOFTMAX代价函数,通过大量的模型训练数据,对该卷积神经网络模型进行训练.与其他同类算法对比,证明了该算法在三维模型检索中的优越性.     

基于上下文强化八叉树网络三维模型语义分割算法

针对三维模型语义分割中上下文特征的学习问题,提出了一种基于上下文强化八叉树网络的三维模型语义分割算法,名为CR-O-CNN(context-reinforced octree convolutional neural network).将基于八叉树的卷积神经网络引入上下文强化网络中,对上下文特征的学习过程进行马尔可夫决策过程的建模,并使用异步优势演员评论家算法对该过程进行优化,通过学习到深层的上下文特征,以提升三维模型的分割结果.在公共数据集ShapeNet上的实验结果表示,所提算法可提升三维模型语义分割的表现性能.     

心内膜散乱点云边界点检测算法研究

针对心内膜散乱点云预处理中的边界点检测,利用截线云理论将散乱点云进行等间隔区域分层,将点云投影至点云切片,得到切片的散乱点集,同时建立链表结构分区存储点云数据;由平面上点的二维坐标定位,提出区域"十"字算法进行切片数据边界点提取,获取切片数据的最外层点,将检测到的边界点存回原始三维数据源,完成预处理过程。实验结果证明,该算法对边界点具有较强的识别能力,能够在快速、有效地简化点云数据的同时保持原始特征的信息,可以提高后续三维建模的精度和速度。     

结合伪标签生成与噪声标签学习的弱监督点云分割

针对当前基于深度学习的点云分割技术对点级别标注训练数据的依赖问题,提出一种基于伪标签生成与噪声标签学习的弱监督点云分割框架.首先,利用点云具有非局部相似性的特点,基于局部-非局部图对点云数据进行建模;其次,基于关系图卷积网络,以半监督的方式为稀疏标注的点云训练集数据生成高质量的伪标签;最后,针对生成的伪标签中存在噪声标签的问题,设计一种利用含噪声标签数据准确训练现有点云分割网络的渐进式噪声鲁棒损失函数.在ShapeNet Part与S3DIS等公开点云分割数据集上的实验结果表明,该框架在推理阶段不增加模型额外运算量的情况下,当使用10%的标签时,在ShapeNet Part数据集上的分割精度与全监督方法相差0.1%;当使用1%的标签时,在S3DIS数据集上的分割精度与全监督方法相差5.2%.     

基于Z曲线和八叉树的高效Hausdorff距离计算方法

为提高计算点云模型之间Hausdorff距离(HD距离)的效率,提出基于Z曲线和八叉树的Hausdorff距离计算方法.首先利用Z曲线和八叉树实现点云模型预处理;然后在八叉树结构中定义了2类邻居(邻居点和邻居节点),并提出基于八叉树的局部搜索,以某一个叶子节点作为搜索的起点,递归地搜索其邻居直到根节点;最后结合模型预处理和局部搜索,给出了算法的实现细节.针对三维高斯随机数据和点云模型进行大量实验,并与经典方法进行对比,结果验证了文中方法的高效性.