组件感知的高分辨率三维物体重建方法

基于体素表示的三维物体重建计算代价会随着体素分辨率的增加呈立方增长.为了缓解这一问题,提出组件感知的三维物体重建方法,将三维物体分解成多个组件,通过预测组件几何结构和组装组件的方式重建三维物体,从而将高分辨率三维物体的重建问题分解成一系列低分辨率组件的重建问题.组件感知的三维物体重建方法使用组件位置预测模块预测所有组件的位置;使用组件特征提取模块融合组件表观特征与组件几何特征生成组件联合特征;使用组件几何结构重建模块根据组件联合特征重建组件的几何形状;最后将所有组件按其位置信息组装成高分辨率的三维物体.实验使用ShapeNet数据集在一个拥有12 GB内存的NVIDIA 1080 Maxwell GPU上进行.对比方法包括一个基于八叉树的高分辨率重建方法、一个基于LSTM的低分辨率重建方法和一个使用编码器-解码器架构的Baseline方法.高分辨率重建结果显示,组件感知的三维物体重建方法能够以较小的计算代价取得满意的高分辨率三维物体重建精度.在低分辨率重建实验上,该方法也取得了更高的重建精度,在13个类别上的平均精度达到了0.618.     

基于混合结构的多视图三维场景重建

基于PatchMatch的多视图高效和高精度三维重建一直是一个挑战性问题。红黑棋盘格模式的传播方式并行计算效率高,但对应的视图选择策略精度较差;基于马尔可夫链的视图选择策略能获取更为准确的匹配结果,但算法并行度较低。为了达成场景重建质量与重建时间的平衡,本文提出了一种基于混合结构的多视图三维重建算法,在第一阶段采用沿行/列并行的传播策略和马尔可夫链式的视图选择策略,得到质量较高的初始深度图,并通过引入多层次处理提升弱纹理区域的重建质量;在第二阶段采用棋盘格式传播方式和基于投票的视图选择策略提高计算效率,缩短重建所需时间。通过在Strecha和ETH3D数据集上进行了大量实验和对比表明,本文算法在不降低计算精度的前提下,计算效率提高2.5倍以上。     

基于多视图的知识感知推荐系统

现在基于知识图谱的推荐方法中,大多采用单一用户或项目表示,存在用户兴趣干扰、信息不完全利用和数据稀疏的问题。本文提出一种基于多视图的知识感知推荐模型（Multi-view Knowledge-aware,MVKA）。首先,该模型在用户-项目图融合注意力机制捕获用户的兴趣表示;引入项目-实体图,设计图注意力网络进行特征提取获取项目的嵌入表示;然后在2个视图之间构造图视角的对比学习方法,最后进行求和和串联操作得到用户和项目的最终表示,并通过内积预测用户对项目的匹配分数。为了验证本文模型的准确性和计算效率,在MovieLens-1M、Book-crossing和Last FM公开数据集上进行了大量的实验,并且与其他传统方法和图神经网络模型相比,AUC和F1值评价指标均有明显提升,说明MVKA模型可显著利用各种信息关系数据来改善知识感知推荐任务。     

面向嵌入式平台多视图立体视觉深度感知

针对目前基于神经网络的多视图立体视觉(multi-view stereo, MVS)深度估计算法存在参数量大、内存消耗严重,难以满足当下低算力嵌入式平台的需求.提出基于MVS2D极线注意力机制与MobileNetV3-Small的MVS深度感知网络(Mobile-MVS2D).该网络采用编码器-解码器的结构,使用MobileNetV3-Small网络进行编码特征提取,对源图像与参考图像之间不同特征层的尺度信息耦合采用极线注意力机制,解码阶段引入SE-Net与跳跃连接扩展解码特征细节,提升预测精度.实验结果表明,提出的模型在ScanNet数据集中在深度图的评价指标中展现较高的精度.在与视觉SLAM结合下可以展现出较准确的三维重建效果,具有较好的鲁棒性.在Jeston Xavier NX上推理精度为Float16尺寸为640×480的图片组,仅需0.17 s, GPU消耗仅需1 GB,能够满足低算力嵌入式平台的需求.     

基于先验知识的单视图三维点云重建算法研究

单幅图像的三维重建是一个不适定问题,由于图像与三维模型间存在的表示模式差异,通常存在物体自遮挡、低光照、多类对象等情况,针对目前单幅图像三维模型重建中重建模型具有歧义性的问题,提出了一种基于先验信息指导的多几何角度约束的三维点云模型重建方法。首先,通过预训练三维点云自编码器获得先验知识,并最小化输入图像特征向量与点云特征向量的差异,使得输入图像特征分布逼近点云特征分布;然后,利用可微投影模块将图像的三维点云表示形式从不同视角投影到二维平面;最后,通过最小化投影图与数据集中真实投影图的差异,优化初始重建点云。在ShapeNet和Pix3D数据集上与其他方法的定量定性比较结果表明了该方法的有效性。     

基于专家系统的二维投影视图的三维实体重建

在分析以往三维实体重建策略的基础上，根据实体投影视图的特征，提出了局部相似的识别策略，将复杂实体视作体素和体素截割体等子体元素的集合，根据视图上搜索到的投影线，对组成实体的子体元素做出判断．本文介绍了实现该重建策略的专家系统，给出了知识库中的框架知识表示形式，并为识别对象提供了相应的框架知识表达方式．实验证明，该策略是方便可行的．     

基于形变模型的多视图三维人脸重建

本文提出了基于形变模型的多视图三维人脸重建方法,将人脸形变模型与同一人脸在不同视点下的多幅图像进行匹配,从而重建出具有较强真实感的三维人脸模型。本文将对基于形变模型的多视图三维人脸重建方法进行详细的阐述,并把实验结果与单视图重建出的三维人脸模型进行了对比,从而体现出多视图重建的优势所在。     

基于多层次多角度分析的网络安全态势感知

精确描述网络系统的安全态势是当前网络安全研究的热点,目前对网络系统安全性的理解和预测,大多进行的是定性方面的分析,并且由于出发点、目的等的不同,很难得到一个让各方都满意的结果。本文在准确感知网络系统安全性相关数据的基础上,提出包括网络安全态势专题评估、要素评估和整体评估的多层次多角度评估模型来对网络系统安全性进行评估,保证了评估结果准确、客观和全面。     

基于多层次语义感知的中文关系抽取研究

关系抽取是构建知识图谱的基础,而中文关系抽取也是关系抽取中的难点问题,现有的中文关系抽取大多采用基于字符特征或者词特征的方法,但是前者无法捕获字符上下文的信息而后者受制于分词质量,导致中文关系抽取的性能较低。针对该问题,提出了基于多层次语义感知的中文关系抽取模型,该模型利用实体间丰富的语义信息来提高实体对关系预测的性能。多层次语义感知体现在以下三个方面：首先,利用ERNIE预训练语言模型将文本信息转化为动态词向量;然后,利用注意力机制增强实体所在句子的语义表示,同时通过外部知识尽可能地消除实体词的中文歧义;最后,将包含多层语义感知的句子表示放入到分类中进行预测。实验结果表明,所提模型在中文关系抽取的性能上优于已有模型,且更具解释性。     

ST-Rec3D：基于结构和目标感知的三维重建

基于视图的三维重建旨在从二维图像恢复出其对应的三维形状。现有方法主要通过编码器-解码器结构,结合二元交叉熵函数及其变形,完成三维重建,取得较好的重建结果。然而,编码器在编码过程中缺乏对输入视图的结构感知能力,造成重建的三维模型几何细节不准确;以二元交叉熵函数为主的损失函数在体素分布不均衡的情况下,目标感知能力较差,导致其重建结果存在断裂、缺失等不完整性问题。针对此类问题,提出了一种具有结构和目标感知能力的三维重建网络(ST-Rec3D),以单视图或多视图为输入,由粗到细地重建出三维模型;结合注意力机制提出了一种具有空间结构感知能力的编码器,即结构编码器,以充分捕捉输入视图中的空间结构信息,有效感知重建物体的几何细节;将IoU损失引入到三维体素模型重建中,在体素分布不均衡的情况下,精准感知目标物体,确保重建物体的完整性和准确性。在ShapeNet和Pix3D数据集上的对比结果表明,ST-Rec3D在单视图和多视图上重建的三维模型的完整性和准确性均优于当前方法。     

基于多视角的高精度三维人脸重建

提出了一种多阶段优化的方法来解决基于多视角图片在未知姿态、表情以及光照条件下的高精度三维人脸重建问题.首先,通过重新渲染合成的方法将参数化模型拟合到输入的多视角图片,然后在纹理域上求解一个光流问题来获取不同视角之间的对应关系.通过对应关系可以恢复出人脸的点云,并利用基于明暗恢复几何的方法来恢复人脸细节.在真实数据以及合成数据下的实验结果表明,文中方法能够恢复出带有几何细节的高精度的三维人脸模型,并且提高了现有方法的重建精度.     

基于增强PyrLK光流法的三维树木骨架重建方法

针对树木骨架重建要求手工交互多、不精确的问题,提出了用增强Pyr LK光流法对树木骨架进行重建,且可以基于多幅图像完全自动化地进行树木建模.首先在传统Pyr LK光流法的基础上加入了特征点的仿射变换和迭代追踪,提出增强Pyr LK光流法,解决了传统Pyr LK光流法不支持特征点旋转和双向匹配验证的问题;其次利用邻域的泛洪和局部点云的拟合进行高速、准确的树木骨架抽取,提出了三维体素泛洪和最小二乘拟合的方法.实验结果表明,文中方法能够快速重建出极具真实感的三维树木骨架模型.     

反射图建模的表面重建算法

提出一种利用单幅图像的灰度估计表面形状的方法．对于一幅图像，使用单隐层小波神经网络建立非线性反射图函数模型，通过神经网络的训练最小化误差函数得到网络权值．利用变分法得到景物最终表面高度值，并引入分级实现降低计算量．以此模型为基础。不再需要预知光源参数．实验结果表明了该方法的有效性，且其在恢复精度上有所提高．     

基于多视图三维重建方法在实验室系统中的应用研究

针对愈渐复杂的实验室系统,采用基于多视图的三维重建方法,实现对实验室系统中设备的结构重建.通过尺度不变特征变换(SIFT)匹配算法进行特征提取和匹配,并利用随机抽样一致性算法(RANSAC)和交叉过滤法降低误匹配率;通过多视图聚簇/基于面片的三维多视角立体视觉算法(CM-VS/PMVS)获取稠密点云;利用PCL泊松曲面...     

一种基于场景图分割的混合式多视图三维重建方法

针对大范围三维重建, 重建效率较低和重建稳定性、精度差等问题, 提出了一种基于场景图分割的大范围混合式多视图三维重建方法.该方法首先使用多层次加权核K均值算法进行场景图分割; 然后,分别对每个子场景图进行混合式重建, 生成对应的子模型, 通过场景图分割、混合式重建和局部优化等方法提高重建效率、降低计算资源消耗, 并综合采用强化的最佳影像选择标准、稳健的三角测量方法和迭代优化等策略, 提高重建精度和稳健性; 最后, 对所有子模型进行合并, 完成大范围三维重建.分别使用互联网收集数据和无人机航拍数据进行了验证, 并与1DSFM、HSFM算法在计算精度和计算效率等方面进行了比较.实验结果表明, 本文算法大大提高了计算效率、计算精度, 能充分保证重建模型的完整性, 并具备单机大范围场景三维重建能力.     

3D Model Reconstruction Based on Process Information

The traditional strategy of 3D model reconstruction mainly concentrates on orthographic projections or engineering drawings. But there are some shortcomings. Such as, only few kinds of solids can be reconstructed, the high complexity of time and less information about the 3D model. The research is extended and process card is treated as part of the 3D reconstruction. A set of process data is a superset of 2D engineering drawings set. The set comprises process drawings and process steps, and shows a sequencing and asymptotic course that a part is made from roughcast blank to final product. According to these characteristics, the object to be reconstructed is translated from the complicated engineering drawings into a series of much simpler process drawings. With the plentiful process information added for reconstruction, the disturbances such as irrelevant graph, symbol and label, etc. can be avoided. And more, the form change of both neighbor process drawings is so little that the engineering drawings interpretation has no difficulty; in addition, the abnormal solution and multi-solution can be avoided during reconstruction, and the problems of being applicable to more objects is solved ultimately. Therefore, the utility method for 3D reconstruction model will be possible. On the other hand, the feature information in process cards is provided for reconstruction model. Focusing on process cards, the feasibility and requirements of Working Procedure Model reconstruction is analyzed, and the method to apply and implement the Natural Language Understanding into the 3D reconstruction is studied. The method of asymptotic approximation product was proposed, by which a 3D process model can be constructed automatically and intelligently. The process model not only includes the information about parts characters, but also can deliver the information of design, process and engineering to the downstream applications.     

基于Matlab的颅面三维重构技术

介绍了一种以Matlab为工具实现颅面三维重构的方法。给出了利用该方法处理医学图像、构造体数据集和三维重构的全过程。提出了完成医学图像三维重构的技术路线、方法和步骤。为医学图像的三维可视化技术提供了一种新的可能。     

基于MATLAB的扑翼飞行器三维重构算法

针对扑翼飞行器工作频率高、翅膀拍打速度快、常规方法难以测量与观察的问题,本文提出一种基于MATLAB平台的利用三维重构算法记录并计算扑翼微飞行器翅膀空间位姿的方法。通过2台高速摄像机记录翅膀的运动规律,并用三维重构算法进行处理即可获得翅膀的空间坐标数据。通过实验与根据运动学计算得到的理论值对比,验证了本方法的可行性。     

基于纹路的三维指纹模型重建算法

三维指纹识别是近几年兴起的一种基于三维指纹模型进行指纹识别的新技术,能够克服传统接触式指纹识别中存在的纹路变形、残留纹路、对手指皮肤状况敏感等缺陷。基于多角度图像的三维指纹模型重建是整个识别过程中的一个关键步骤。提出了一种基于纹路的重建算法,算法重建的指纹模型直接包含纹路与细节点相关特征。相对于已有文献中将指纹表皮作为重建对象,算法重建结果更有助于特征提取等三维指纹识别后续过程。     

利用立体图对的三维人脸模型重建算法

利用人脸正面立体图对重建三维人脸模型。无需三维激光扫描仪和通用人脸模型．获取立体图对并校正后,利用种子像素扩张算法实现图像匹配．种子像素选取算法能使足够数量的种子像素具有可靠视差;还提出了基于视差置信度的扩张算法,降低了视差图中大面积误匹配区域出现的可能性;最后,利用碟状粒子描述和Delaunay三角剖分重建三维人脸模型．实验结果表明,文中算法能够产生光滑逼真的三维人脸模型．