基于机器学习的头部自由视线追踪方法 及其在电动病床端的应用

头部自由的三维视线追踪具有重要的意义。 针对传统的视线追踪方法存在的精度低、设备复杂和穿戴受限等问题,提 出了一种基于机器学习的单目头部自由的三维视线追踪技术,构建出了两个轻量、高精度、实时的视线追踪模型,分别可进行注 视点估计和注视方向估计。 注视点估计模型首先利用 Dlib 进行人脸特征点定位得到眼睛图像进而进行 PnP 解算得到头部姿 态信息,将两种信息与部分特征点坐标共同输入到多通道卷积神经网络中,并最终估计得到人眼注视点。 注视方向估计网络是 注视点估计网络的简化版本。 将本文所提出的视线追踪技术与电动病床相结合,构建出一套基于眼球驱动的电动病床系统,该 系统允许患者利用眼睛控制电动病床的运作。 实验结果表明:所提出的注视点模型在 MPIIGaze 数据集上的误差为 4. 1 cm,注 视方向估计网络在 ColumbiaGaze 数据集上的误差为 7. 2°,两模型的精度分别比 iTracker 和 UlinFT 提高了 6. 8% 和 2. 7% 。 所构 建的眼球驱动电动病床系统有效地提高了患者的生活水平,满足了患者的诸多需求。     

金字塔光流三维运动估计与深度重建直接方法

针对基于图像序列光流的三维运动估计与深度重建问题,提出一种基于图像金字塔光流的三维运动估计与深度重建直接方法。首先根据光流计算亮度守恒假设和像素点光流与三维空间点运动的对应关系推导出基于图像亮度的三维运动守恒假设;然后借鉴变分原理,通过设计基于L1模型的鲁棒数据项以及图像与运动联合控制的平滑项构造基于变分光流的三维运动估计能量函数;为了应对图像序列中包含的大位移运动及运动遮挡问题,采用图像金字塔分层策略设计三维运动估计模型;最后根据图像三维运动估计结果重建图像中运动物体或场景的深度信息。实验表明,该方法能够较好地应对图像序列中光照变化、多目标大位移运动以及运动遮挡等情况,具有较高的三维运动估计与深度重建精度和较好的鲁棒性。     

基于交叉矢量的视觉-激光测距系统结构参数标定

视觉与三维激光测距组成的测量系统是运动估计与环境建模的主要传感设备。 为了实现测量系统感知数据坐标系的 统一,提出了一种基于空间向量自组合的视觉与三维激光测距系统结构参数标定方法。 主要包括 3 个方面:1)利用平面标定法 求解摄像机内部参数及摄像机坐标系下平面靶标的法向量,利用迭代拟合算法求解激光雷达坐标系下平面靶标的法向量,并构 建两个坐标系下的平面靶标法向量集合;2)根据向量之间夹角大小在平面靶标法向量集合中自主选取交叉向量,建立结构参 数标定目标函数;3)利用非线性优化算法求解最小二乘问题,获得外部参数的最优估计。 通过仿真与实际标定实验验证了方法 的有效性和准确性。 实验结果表明:该方法的反向投影误差小于 30 mm(3σ),满足高精度三维测量的同时还具有高的标定效 率。 所提方法满足传感器融合测量精度的要求。     

三维重构不确定度的两阶估计方法

文中给出一种借助于不确定度传递原理估计三维重构不确定度的方法,该方法同时考虑了相机标定和重构3D点过程中的不确定度传递。相机模型参数既是相机标定过程的输出变量,又是重构3D点过程的输入便变量,因此可将三维重构过程看作一个两阶系统。针对非线性相机模型给出了三维重构过程中不确定度传递的解析表达式。最后,应用蒙特卡罗算法对文中提出的方法做了验证,并给出了一些典型的应用实例。     

基于支持向量机回归模型的视线定位算法研究

针对传统的基于单瞳孔-普尔钦光斑向量和多项式拟合的视线定位方法头动受限的问题,提出一种新的采用单摄像机多辅助光源的基于二维映射模型的视线定位方法.利用4个瞳孔-普尔钦光斑向量构造系统输入特征向量,基于支持向量机回归模型建立注视点映射模型定位视线,解决了视线定位系统的头部运动和系统非线性映射误差问题.实验结果表明:该方法与传统方法相比,可以有效解决传统方法头动受限问题,适应性更强且精度更高,平均定位精度为1.2°     

足部三维测量系统中CCD传感器的全局标定

介绍了足部三维形貌测量系统的原理以及利用测量系统已有的一维运动机构和专用标定组件对测量系统所有CCD进行全局标定的实用方法。建立了基于光平面坐标系、标定坐标系、一维运动机构坐标系和CCD图像坐标系的测量系统模型;在测量系统一维运动机构的控制下,光平面分别对标定组件中两个斜面进行扫描,求取两个斜面上扫描线在光平面坐标系中的交点坐标,并根据光平面坐标系中交点坐标和CCD图像坐标系中交点坐标的对应关系,采用坐标映射方法建立光平面与CCD图像坐标系之间的坐标转换关系;确定了基于坐标系之间转换参数的优化目标函数,并根据标定块的标称值和实际测量结果,利用POWEL直接优化方法对坐标系之间的转换参数进行了优化。测量结果表明,单个CCD重复测量误差＜0.062 5%;4个CCD测量值相对误差＜0.365%。实验结果表明,所述全局标定方法减小了一维运动机构、光平面和足支撑玻璃平板之间安装调节误差以及CCD等器件非线性带来的影响,且简便、实用、不需要其它精密标定仪器,可以对测量系统进行现场标定。     

基于单应性矩阵的线结构光测量快速标定方法研究

针对线结构光三维测量中的测量系统标定问题,对相机成像与畸变模型、单应性矩阵模型、线结构光移动扫描等方面进行了研究,对现有的线结构光测量系统标定方法的特点进行了归纳,提出了一种基于单应性矩阵的线结构光测量快速标定方法。利用机械辅助装置,使标定板和结构光平面平行并且共面,避免了多次调整位置,实现了线结构光三维测量系统的快速标定;利用标定板对扫描过程中单帧时间间隔内线结构光测量模块的位移量进行了计算,完成了对被测物整体扫描后全局点云的拼接;利用移动平台对单应性矩阵和测量点云数据的准确性进行了测试。研究结果表明:该方法能够快速建立线结构光测量系统的测量模型,标定过程简单、高效,能够满足有一定精度要求的三维扫描。     

相位高度的显函数模型及其标定

由于传统的相位轮廓术(PMP)使用的相位高度模型参数存储空间大,标定计算成本高,本文由绝对相位与深度坐标的关系推导出相位差高度模型的显函数模型,并提出了一种基于未知标定平面的灵活标定方法。该模型只需9个非共线的像素数据即可计算出模型的15个参数,降低了计算量,节约了内存空间。提出的标定方法无需精密运动台,标定板无需覆盖整个测量范围,无需知道位置姿态,降低了标定成本,提高了标定的灵活性。对提出的模型和标定方法分别进行了仿真和实验,仿真结果验证了相位高度显函数模型的正确性和标定方法的有效性。对提出的模型和标定方法在实际的结构光系统中进行了实验,用标定后的系统对实际物体进行了测量,结果表明三维曲面具有较高的质量,证明了提出方法的可行性。     

视觉辅助下的激光振镜模型参数分步标定

激光振镜内部结构较为复杂,如何对其进行高效、准确的标定一直都是基于激光振镜相关应用的核心问题。提出了一种基于模型参数分步式求解的激光振镜扫描系统标定算法。根据振镜扫描系统物理模型各参数对出射光光路产生的影响将其划分为影响出射光方向的参数和影响出射光位置的参数两类,并分别给出了求解方向参数与位置参数的优化模型。此外,分析了入射光方向偏差对现有反射镜偏转角度估计算法造成的影响,提出了相应的估计算法。以建立的系统模型为基础进行了模拟标定实验,模拟实验结果表明该算法具有良好的稳定性。利用标定好的实际振镜扫描系统完成了平面靶圆中心与空间闭合三维曲线的投影定位实验;靶圆中心的定位投影误差在0.5 mm左右,实际激光曲线与目标空间曲线在像平面内的位置偏差的均方根误差为0.42 pixel。     

二维和三维视觉传感集成系统联合标定方法

为了解决激光雷达三维深度与摄像机二维图像信息融合的关键问题,建立二者的映射关系,提出了一种基于平面实体特征匹配的三维激光雷达与摄像机集成系统的联合标定方法.首先在三维激光雷达与摄像机系统模型的基础上,提取靶标平面在激光雷达和摄像机坐标系中的平面特征,利用平面特征约束求解两坐标系之间的旋转矩阵和平移向量的初值,为了降低噪声影响,使用Levenberg-Marquardt算法优化结果.分别进行了计算机仿真和在自制的集成传感系统上的标定实验,残差深度比达到0.2％,并使用标定结果对激光点云和摄像机图像进行数据融合,验证了该方法的准确性和有效性.     

一种新型工业内窥系统的设计与实现

作为NDT技术的分支，内窥技术从创建开始就一直在工业探伤、质量控制、产品评估等领域发挥着重要的作用。针对传统内窥技术所存在的无法定量测量和检测可达性差等缺陷，这里介绍的系统将立体视觉技术、图像处理技术等先进技术与内窥技术相融合，从硬件和软件两方面入手，研制开发出一套新型的基于立体视觉的内窥图像分析系统，实现了图像显示、深度测量和三维重建等创新性的功能。系统对我国自行研制新型内窥技术，提高工业内窥探伤和故障检测的水平，有着积极的推进意义。     

三维机器视觉测量系统的标定模型研究

针对单幅二维数字图像计算三维坐标信息的三维机器视觉测量系统,建立了相应的摄像机标定模型和激光三角测距标定模型,为三维机器视觉系统走向实用奠定了基础。     

Virtual reflected-light microscopy

Research on better methods to digitally represent microscopic specimens has increased over recent decades. Opaque specimens, such as microfossils and metallurgic specimens, are often viewed using reflected light microscopy. Existing 3D surface estimation techniques for reflected light microscopy do not model reflectance, restricting the representation to only one illumination condition and making them an imperfect recreation of the experience of using an actual microscope. This paper introduces a virtual reflected-light microscopy (VRLM) system that estimates both shape and reflectance from a set of specimen images. When coupled with anaglyph creation, the system can depict both depth information and illumination cues under any desired lighting configuration. Digital representations are compact and easily viewed in an online setting. A prototype used to construct VRLM representations is comprised only of a microscope, a digital camera, a motorized stage and software. Such a system automatically acquires VRLM representations of large batches of specimens. VRLM representations are then disseminated in an interactive online environment, which allows users to change the virtual light source direction and type. Experiments demonstrate high quality VRLM representations of 500 microfossils.     

应用灭点标定的立体视觉自由曲面三维重建

为了实现对自由曲面的三维空间数据的测量与重建,建立了立体视觉自动测量系统,并对该系统的非线性标定及立体图的匹配方法进行了研究.基于灭点理论法进行了系统的非线性标定,采用投射光斑法增加自由曲面的图像特征;提出了一种基于方向和距离约束的分片排列编码方法,对投影光斑进行排列编码.分别在左右图像上根据彩色点的位置关系自动确定一个初始匹配点和4个匹配方向,然后对其余点按照分片排列法进行自动排列编码.对石膏像的面部进行了三维测量和重构实验,实验结果表明:像物尺度比为0.08 mm/pixel时,空间点三维坐标测量的均方差为0.05 mm, 可以达到亚像素级测量精度;基于方向和距离约束的分片排列编码法,可以准确地进行投影点的编码, 并能够快速、有效地实现彩色图像特征点的全自动匹配.     

基于最小二乘支持向量机的汽车ABS控制研究

为使防抱死制动（ABS）更加智能,提出了一种基于最小二乘支持向量机（LS－SVM）的汽车防抱死制动控制方法。在分析道路试验数据的基础上,提出了以车轮速度峰值连线斜率估计车身速度的方法,进而计算车轮参考滑移率;在分析车辆模型的基础上,设计了基于车身减速度的路面辨识方法,提高了控制方法的适应性;以车轮参考滑移率和角加速度为输入,以控制信号为输出,设计了具有路面辨识能力的LS－SVM ABS控制系统,实现了基于支持向量机的控制。参照国家标准,在不同条件下进行道路试验,试验结果表明,该控制方法具有良好的制动效果和自适应性。     

立体视觉和三维激光系统的联合标定方法

双目立体视觉和三维激光扫描是移动机器人环境探测与建模的常见传感测量方法。为实现两个系统的数据融合应用,必须为二者的测量坐标系建立数学关系,即对其进行传感器之间的位姿联合标定。为此提出了一种基于三维特征点距离匹配的联合标定新方法,设计了一种镂空棋盘格作为标定板。使用双目立体相机提取棋盘格角点三维坐标信息,使用激光测距雷达扫描获取镂空区域中心点三维坐标,最终通过最小化两组特征点的理论与实际测量距离的平方差获取两传感器坐标系之间的旋转矩阵和平移向量。进行的联合标定测量实验结果表明了该方法的准确性和可靠性。     

基于BP神经网络的双目视觉系统摄像机标定

利用人工神经网络对复杂非线性映射关系的强大逼近能力，对双目视觉三维测量系统中的摄像机进行隐式标定。通过高精度的数控移动工件台获取密集的样本数据，并在神经网络训练过程中采用贝叶斯正则化方法。实验表明，神经网络具有很好的推广能力，标定后的系统具有很高的三维测量精度。     

基于一维靶标的多摄像机现场全局校准

基于一维靶标特征点共线的特点,提出一种多摄像机全局校准方法.以其中一个摄像机坐标系为基础,建立全局坐标系,称该摄像机为基础摄像机.在基础摄像机与待校准摄相机前将一维靶标无约束摆放至少两次.计算每个摆放位置一维靶标所在空间直线在图像中的消影点.结合一维靶标点共线的特点,分别求解全部一维靶标点在两个摄像机坐标系下三维坐标.通过两个摄像机坐标系下一维靶标对应特征点的三维坐标求解待校准摄像机坐标系到基础摄像机坐标系的转换矩阵,采用非线性优化方法求解转换矩阵的最优解.当摄像机多于两个时,通过两两摄像机校准的方式完成多摄像机全局校准.该方法不需要高精度外部辅助设备、简单灵活、实用性强.试验证明该方法灵活方便,切实可行.     

Stereo vision for 3D measurement: accuracy analysis, calibration and industrial applications

This paper evaluates the accuracy of different camera calibration and measurement methods used in 3D stereo vision with CCD cameras. These methods are evaluated by means of several precision tests, determining their error limits under specified conditions of operation. To check the precision of such systems, a CMM and some calibration objects, such as grids, plates, spheres, etc. are used. Two practical applications are described: a cost-effective system for the measurement of free-form surfaces, able to generate CAD models and measuring programs for CMMs. The system aims to reduce some difficulties associated with stereo vision and to speed up the traditional digitizing process. The other application involves car frame measurement. A new automatic measuring system has been developed, allowing contactless car frame measurement through two rotating CCD cameras.     

人工立体视觉仿真系统的建立和应用

为了对人工立体视觉中各个环节进行验证,提出了开发人工立体视觉仿真系统的思路.以开放图形库OpenGL为工具,架设虚拟相机,设置虚拟物体,拍摄虚拟图像,在虚拟的图像上采集数据,并根据数据的相关性进行虚拟物体重建,最后将重建物体与原始物体进行比较,验证整个系统或某测试模块的准确性.应用结果表明,该仿真平台可以用于立体视觉研究中的测试和模拟.