基于旋转投影二进制描述符的空间目标位姿估计

为了实现基于点云的空间目标相对位姿快速估计,提出一种旋转投影二进制描述符(BRoPH)。该描述符首先建立特征点处的局部参考坐标系,然后通过旋转投影局部点云生成不同视角下的密度图像块和深度图像块,最后根据图像块生成特征点的多尺度二进制字符串。针对位姿估计对实时性的要求,在分析BRoPH Hamming距离分布的基础上,提出了基于Hamming距离阈值的特征匹配策略,用于剔除潜在的错误配对,加快位姿估计收敛速度。最后,在基于局部特征描述符位姿估计框架下分别与SHOT描述符和FPFH描述符进行了比较。结果表明:BRoPH描述符在仅需要SHOT和FPFH平均内存1/80的基础上,得到了远高于SHOT和FPFH的平均位姿估计精度,其平均姿态误差小于0.1°,平均位置误差小于1/180 R。此外,基于Hamming距离阈值的特征匹配策略使得BRoPH的位姿粗估计速度加快了7倍,总体位姿估计频率超过7Hz,比SHOT和FPFH分别快3~6.8倍。该方法具有占用内存小、计算速度快、位姿估计精度高和抗干扰能力强等优点,满足基于点云的空间目标位姿估计实时性要求。     

面向喷涂件下挂的机器人 3D 视觉引导策略研究

因悬挂链运送喷涂工件难以严格定位,导致其下挂效率低下,提出一种基于 3D 视觉引导机器人进行喷涂件下挂的控 制策略。 通过实例分割网络 Mask-RCNN 进行训练推理,得到喷涂件实例 MASK,获取经像素对齐并实例分割后的彩色图和深 度图,利用相机内参重建喷涂件三维点云;离线生成喷涂件模板点云,在线生成喷涂件目标点云,经点云初始配准矫正喷涂件的 位姿后,进而通过 ICP 精配准算法实现喷涂件位姿估计;在机器人视觉系统手眼标定之后,进一步通过 5 次多项式插值设计机 器人关节平滑运动轨迹,控制引导机器人进行喷涂件下挂。 实验结果表明,喷涂件位姿估计角度平均误差不超过 10°,在 Z 移 动方向上误差值平均为 6. 83 mm,最小为 0. 02 mm,且在仿真环境和现场环境可引导机器人实现喷涂件自主下挂。     

基于ORB关键帧匹配算法的机器人SLAM实现

针对复杂环境下机器人的同时定位与地图构建(SLAM)存在实时性与鲁棒性下降等问题,将一种基于ORB特征点的关键帧闭环检测匹配算法应用到定位与地图构建中。研究并分析了特征点提取与描述符建立、帧间配准、位姿变换估计以及闭环检测对SLAM系统的影响,建立了关键帧闭环匹配算法和SLAM实时性与鲁棒性之间的关系,提出了一种基于ORB关键帧匹配算法的SLAM方法。运用改进ORB算法加快了图像特征点提取与描述符建立速度;结合相机模型与深度信息,可将二维特征图像转换为三维彩色点云;通过随机采样一致性(RANSAC)与最近迭代点(ICP)相结合的改进RANSAC-ICP算法,实现了机器人在初始配准不确定条件下的位姿估计;使用Key Frame的词袋闭环检测算法,减少了地图的冗余结构,生成了具有一致性的地图;通过特征点匹配速度与绝对轨迹误差的均方根值对SLAM系统的实时性与鲁棒性进行了评价。基于标准测试集数据集的实验结果表明,ORB关键帧匹配算法能够有效提高SLAM系统建图速度与稳定性。     

应用改进迭代最近点方法的点云数据配准

提出了基于点云边界特征点的改进迭代最近点(ICP)方法来提高逆向工程中点云数据配准的效率和精度.首先,提出了基于点云边界特征点的初始配准方法.对点云最小包围盒进行三维空间划分,建立空间网格模型;运用边界种子网格识别及生长算法,从点云边界提取特征点,运用奇异值矩阵分解法(SVD)求出点云的变换矩阵,得到初始配准结果.然后,提出了改进的ICP精确配准方法.对点云对应点赋予权重,剔除权重大于阈值的点,通过对目标函数引入M-估计(M-estimation),剔除异常点.最后,在初始配准的基础上,运用改进的ICP方法精确配准.对经典ICP方法和改进ICF方法做对比实验,结果显示,改进方法的配准效率提高了70％以上,误差减小到0.02％.实验表明,本文方法大幅提高了点云配准的效率和精度.     

基于双目视觉的机械手识别、定位、抓取系统研究

针对多类堆叠工件分类和提取三维位姿困难的问题,对随机摆放规则物体的机器识别、三维定位和自动抓取等方面进行了研究,采用一种基于MLP分类器的视觉算法实现了工件识别。利用识别结果选取合适的透视可变形模板匹配将堆叠工件与背景分离,结合双目视觉中的立体匹配、深度计算和坐标变换完成了三维位姿估计,通过Halcon和Visual Studio联合编程的方式,进行了工件识别定位抓取实验系统的软件开发,设计了实验平台,对矩形工件和圆柱体对象进行了位姿提取和抓取实验。实验结果表明:该系统具有较好的分类效果和较高的识别定位精度,可以满足机器人对工件的在线抓取需求。     

基于双目结构光的工件位姿检测方法北大核心CSCD

面向机器人在柔性上下料中工件放置范围较大、摆放位姿不确定的应用场景,提出了一种基于双目结构光的空间位姿检测系统。基于双目结构光视觉系统获取工件点云数据,通过对Z轴分层遍历寻找工件最上层平面,利用其法向重新建立坐标系来矫正原始点云数据;将最上层点云数据映射转成2D图像,通过图像处理完成多个工件分割并获得工件位置信息进行点云粗配准,再通过ICP精配准得到工件的位姿信息。以检测料框为例进行实验,实验结果表明:视觉系统距检测目标3 m处,仍能输出多个料框的准确位姿信息,可有效提升工业机器人柔性上料的可靠性。     

面向AR辅助维修的3D物体识别技术

3D物体识别与位姿估计是AR辅助维修信息增强的基础,目前的3D物体识别技术在识别准确率、运行实时性和位姿估计准确度上仍然存在不足。以物体识别的实时性和位姿估计的准确性为要求,研究基于纹理点云的局部参考系估计技术和点云全局特征描述符生成与匹配技术,提出融合形状与纹理信息的全局正交对象描述符及其3D物体识别算法,基于蜗轮蜗杆减速器的拆装维修场景进行实例验证。验证结果表明,3D物体识别算法在AR辅助维修场景中具备实际可行性和真实有效性。     

基于机器视觉的工业机器人智能分拣系统设计

为了解决使用传统示教或离线编程方式的工业机器人无法满足复杂分拣环境作业要求的问题,以史陶比尔工业机器人、Kinect深度相机为硬件基础,搭建了基于机器视觉的工业机器人智能分拣系统平台。通过支持向量机(SVM)实现对分拣物体的学习识别,通过基于采样一致性(SAC-IA)粗配准和迭代最近点(ICP)精配准算法实现对物体位姿点云数据的配准。实验结果表明,搭建的智能分拣系统能够识别分拣物体种类并且获取物体的位姿,拓宽了工业机器人的应用领域。     

一种脊柱图像快速重建与配准方法

为提高传统脊柱图像三维重建与配准速度和精度，提出一种基于传统立方体(MC)算法和迭代最近点(ICP)算法的快速重建与配准方法。首先利用双边滤波对CT图像进行预处理，基于区域生长的思想改进MC算法，完成三维重建并获取脊柱三维模型和点云模型。然后采用ISS算法提取脊柱点云关键点，求取关键点的快速点特征直方图(FPFH)，基于采样一致性(SAC-IA)方法完成初始配准，从而改善2片点云的初始位姿。最后通过K-D树加速寻找最近邻点对，并引入基于欧式距离的权重系数改进ICP算法，实现精配准。试验结果表明：重建速度较传统方法提高20%，配准速度较传统统方法从177.8s提高到41.2s，且配准结果平均误差为2.81*10^-1。     

应用摄像机位姿估计的点云初始配准

基于摄像机位姿估计的数学模型,提出了一种检测摄像机位移前后目标图像特征点的方法,通过求解摄像机发生位移前后的相对位姿矩阵来解决应用视觉图像获得点云的初始配准问题。首先,介绍了摄像机位姿估计模型,包括本质矩阵、旋转矩阵以及平移矩阵;然后,介绍了SURF算子的特征点检测、描述和匹配的方法,在此基础上面向双目视觉和单目结构光系统,分别提出了摄像机位移前后目标图像SURF特征点匹配和深度估计模型;最后,分别进行双目视觉和单目结构光系统点云的获取、位移前后目标图像特征点检测匹配和深度估计实验,应用摄像机位姿估计模型求解旋转矩阵和位移矩阵,并对位移矩阵进行统计分析剔除粗差。实验中采用基于点云空间特征点和基于图像的方法进行对比,点云对应特征点均方误差缩小至12.46mm。实验结果验证了方法的可行性,表明本文的点云初始配准方法能较好地获得点云精确配准初值。     

Cult3D在机械产品网上发布系统中的应用

阐述了Cult3D的发展及特点,基于Cult3D平台,开发了起重机零部件网上发布系统,说明了该系统的主要实现技术和特点。     

X3D基于Java的开发工具和浏览器--Xj3D的浅析

本文对基于WEB的交互式三维图形规范X3D（Extensible 3D,可扩展3D）与Java 3D技术的结合Xj3D工具进行了研究,详细阐述了该工具包的结构,各主要组成组件的功能与作用以及各组件之间的相互关系,并给出了Java 3D装载组件装载文件的一种具体实现方法.     

基于Java 3D的机械零件网络动态显示的研究

Java 3D是基于Java平台面向对象的三维图形应用编程接口API,它和JSP、Servlet、数据库技术相结合,在网上实现机械零件的动态显示、浏览。远端客户机通过读取服务器端用户上传的三维图形数据,共享设计信息,实现网络上的协同设计。     

High-resolution X-ray CT for 3D petrography of ferruginous sandstone for an investigation of building stone decay

Diestian ferruginous sandstone has been used as the dominant building stone for monuments in the Hageland, a natural landscape in east-central Belgium. Like all rocks, this stone type is sensitive to weathering. Case hardening was observed in combination with blackening of the exterior parts of the dressed stones. To determine the 3D petrography and to identify the structural differences between the exterior and interior parts, X-ray computed tomography was used in combination with more traditional research techniques like optical microscopy and scanning electron microscopy. The 3D characterization of the ferruginous sandstone was performed with a high-resolution X-ray CT scanner (www.ugct.ugent.be) in combination with the flexible 3D analysis software Morpho+, which provides the necessary petrophysical parameters of the scanned samples in 3D. Besides providing the required 3D parameters like porosity, pore-size distribution, grain size, grain orientation, and surface analysis, the results of the 3D analysis can also be visualized, which enables to understand and interpret the analysis results in a straightforward way. The complementarities between high-quality X-ray CT images and flexible 3D software and its relation with the more traditional microscopical research techniques are opening up new gateways in the study of weathering processes of natural building stones.     

浅谈3D技术在个性化产品定制中的应用

定制个性化的产品已经越来越受到人们的关注与向往,个性化的产品的定制离不开先进的3D技术,在定制过程中,需要综合运用产品测绘、三维扫描、工业设计、3D建模、设计变更与优化、数据处理及转换等技术来把个性化的产品进行呈现,然后通过3D打印技术将产品模型数据打印出来,实现产品的个性化定制。     

应用小波域三维Context模型的视频图像去噪

提出了一种基于三维小波变换和分块Context模型的视频去噪新方法（3DWTBCM）。视频图像序列的各帧之间具有较强的相关性,在三维小波变换域内去噪可以很好地将这种相关性加以利用。根据视频图像三维小波分解域内系数和噪声分布的特征,利用小波系数具有局部相关性对小波系数进行分块,将系数分解成各个局部区域。再将Context模型用于局部块中,按照能量分布将块内的小波系数分成多个子块。对各部分进行能量估计和多阈值估计,获得去噪声最佳阈值,有效地消除噪声。实验结果表明,3DWTBCM的噪声抑制效果明显优于各种2D去噪声方法,和常用的3D去噪声方法,PSNR平均提高1.5dB以上。从视觉效果来看,本文算法在去除噪声的同时,能较好的保留运动图像细节,运动物体显得比较平滑,不存在传统算法中的拖影、闪烁等现象。     

汽车内饰设计中材质交互式设计模块的开发

传统的汽车内饰设计不适应客户的个性化需求,需开发方便客户参与的汽车内饰交互式设计系统,然而主流造型软件3D M ax设计的文件大,无法很好地实现基于网络的交互式设计。以汽车内饰设计中的材质设计为对象,研究一种新型的W eb3D技术方案解决这一问题,开发汽车内饰设计中的材质交互式设计模块。     

基于空间编码投影法测量三维大物体面形

三维图像拼接技术是实现大型物体形貌测量的关键技术。本文在图像控制点约束的基础上,提出了一种实现三维图像拼接的新方法,即将一伪随机空间编码投射到一大型物体表面,然后用CCD在不同视角拍摄不同视场中的物体,利用重叠区域相同的某一窗口特征点进行配准,采用四元组法求取坐标转换矩阵,从而实现大范围自由曲面三维形貌的测量。实验结果表明：基于空间编码的图像拼接新方法,可以实现大尺度三维面形的测量。     

基于X3D技术构建虚拟液压传动实验室

以液压传动虚拟实验系统为例,基于X3D(可扩展3D)的在线液压传动构建了虚拟实验室,分析了关键技术,提出了实现虚拟实验系统的方案。     

3D打印在先进制造技术教学中的应用

随着3D打印的兴起,其应用越来越广泛。将123D Catch软件的照片建模技术和3D打印技术引入先进制造技术课程的教学,既丰富了教学内容,又提高了学生学习的兴趣。