基于增强现实的脊柱微创手术导航系统

针对脊柱微创手术实际的临床导航需求,设计开发了一种基于增强现实的脊柱微创手术导航系统。在术前通过CT对患者脊柱病灶部位进行扫描和重建,将合适的脊柱模型导入Unity-3D平台中并为其添加控制脚本。使用标定球对手术器械进行标定,采用Polaris Vega光学追踪器实时追踪手术器械,建立手术器械与Polaris Vega光学追踪器之间的坐标转换关系,将识别到的手术器械位姿信息实时发送到HoloLens设备中,从而实现手术器械、病灶模型等医疗影像的同步显示。在术中为医生提供3维脊柱病灶影像的可视化显示,帮助医生实现病灶定位和手术器械导航。经过脊柱模型实验测试,系统导航误差小于2.8 mm,可以满足脊柱外科的临床应用要求。     

机器人辅助微创全膝关节置换手术系统

开发了面向全膝关节置换手术的机器人辅助截骨系统,实现了膝关节解剖结构精准建模、术前截骨路径3维规划、图像配准以及术中机器人可视化导航.采用多模态图像融合与主动轮廓模型分割技术实现了包含关节软骨在内的膝关节自动化建模与可视化;在此基础上采用3维交互技术实现截骨路径的术前规划;术中基于自主研发的双目视觉跟踪系统,采集关节骨表面3维点云与术前3维模型进行形状配准,完成图像空间和机器人空间之间的映射;最后通过视觉导航技术引导机器人完成截骨操作.实验结果表明,机器人系统综合定位误差为0.87 mm,截骨操作误差小于1 mm.     

脊柱微创手术机器人研究现状

外科手术机器人是当前机器人研究领域的热点，机器人操作的精确性、稳定性已经得到医疗界及患者的认可。本文以脊柱微创手术为背景，对目前脊柱（骨科）手术机器人的研究现状及未来发展趋势进行分析和论述。     

基于集员滤波的双Kinect人体关节点数据融合

以Kinect为代表的深度图像传感器在肢体康复系统中得到广泛应用.单一深度图像传感器采集人体关节点数据时由于肢体遮挡、传感器数据错误和丢失等原因降低系统可靠性.本文研究了利用两台Kinect深度图像传感器进行数据融合从而达到消除遮挡、数据错误和丢失的目的,提高康复系统中数据的稳定性和可靠性.首先,利用两台Kinect采集患者健康侧手臂运动数据;其次,对两组数据做时间对准、Bursa线性模型下的坐标变换和基于集员滤波的数据融合;再次,将融合后的健康侧手臂运动数据经过“镜像运动”作为患侧手臂运动指令;最后,将患侧运动指令下发给可穿戴式镜像康复外骨骼带动患者患侧手臂完成三维动画提示的康复动作,达到患者主动可控康复的目的.本文通过Kinect与VICON系统联合实验以及7自由度机械臂控制实验验证了数据融合方法的有效性,以及两台Kinect可有效解决上述问题.     

基于主方向傅里叶变换算子的2D/3D分级配准

目前的2D/3D医学图像配准方法的配准精度和效率存在矛盾,配准捕获范围小.为解决这些问题,本文提出一种基于主方向傅里叶变换算子的分级配准方法.首先,提出平面旋转平移不变性算子——主方向傅里叶变换算子.然后,提出基于主方向傅里叶变换算子的模板匹配初始化方法,可避免接近真值的初值需求,并显著扩大了捕获范围.最后,提出基于主方向傅里叶变换算子的分级配准框架,将配准搜索空间从O(n6)降到O(n2),在保证配准精度的情况下大幅提高配准效率.在配准实验中,本文方法的配准精度为0.68 mm±0.28 mm,配准时间为16.87 s±3.77 s,捕获范围大于100 mm.因此,所提出的基于主方向傅里叶变换算子的分级配准方法可以满足2D/3D图像配准在相关临床应用中精度、效率及捕获范围的需求.     

利用3D打印标定球的机械臂与RGB-D相机手眼标定方法

因为彩色镜头和深度镜头不在同一位置,并且深度图像测量精度差、分辨率低、没有颜色纹理信息,传统的手眼标定方法并不适用于RGB-D相机．本文提出一种利用简单低成本的3D打印球作为标定件对机械臂与RGB-D相机进行手眼标定的方法．本方法只需要测量标定件的3D位置信息,避免使用测量不便、精度稍差的姿态信息．文中给出了该方法的封闭解和迭代优化解．100组仿真结果表明,标定精度与RGB-D相机自身测量精度一致;封闭解不需要机械臂与相机时间同步;迭代优化解的标定精度略有提升,误差最大值和误差方差都很稳定．最后,在7自由度的KUKA ⅡWA机械臂和Kinect相机上做了手眼标定实验,结果与仿真实验一致．总之,本文方法简单可靠,可实现机械臂与RGB-D相机之间的快速部署手眼标定．