基于双目立体视觉的机器人定位系统设计与实现

针对传统工业机器人预先示教或单目视觉引导应用的局限性,提出一种基于双目立体视觉的机器人定位系统设计,获取目标物体在空间中的三维信息。该系统设计基于ABB机器人执行系统,使用TCP触碰标定板的方式完成双相机的标定,采用SIFT斑点算法获取工件的特征,结合Opencv3.4.1库,基于图像特征点对左右相机获得的图像进行立体匹配,得到物体的三维点坐标,引导机器人实现抓取。     

基于多相机的人脸姿态识别

主动形状模型(ASM)算法被用来进行人脸特征点的精确定位,然后在多相机测量的图像中进行特征点的立体匹配,利用双目视觉和相机三维测距技术可以确定人脸特征点的空间三维位置,从而利用这些特征点的相对位置确定出人脸的姿态。实验结果显示,用该方法进行人脸姿态识别能取得比二维识别更高的精确度。     

基于双目视觉的物体尺寸测量系统

提出了一种基于双目视觉的物体尺寸测量系统,用于非接触式测量物体尺寸。该系统采用张正友棋盘标定法进行双目相机标定,并利用标定参数对采集的图像进行校正。通过采用图像分割技术和角点检测算法获取待测物体的特征点。通过立体匹配算法对校正图像进行处理,得到视差图。根据三角形相似性原理计算特征点的三维坐标,计算出物体尺寸的信息。实验结果表明,该系统具备较高的测量精度,具有一定的实用性和应用前景。     

基于双目视觉的人手定位与手势识别系统研究

提出了一种新的人手特征点提取方法,该方法将人手的质心作为匹配点,根据双目视觉定位数学模型计算目标位置信息,同时通过图像分割获取人手轮廓,利用轮廓凸包点特征来识别不同手势.在此基础上,研究设计了一种光学人手定位与手势识别系统,该系统在实时定位空间人手三维位置的同时,能够识别出相应的手势,可将其作为虚拟手的驱动接口,实现对虚拟物体的抓取、移动和释放操作.     

单目主动摄像头真实三维重建

由于单目摄像头尺度缺失,导致鲁棒位姿估计结果不准确,为此提出单目主动摄像头真实三维重建方法.通过融合机器人的控制信息和尺寸信息,得到单目相机的位置信息,利用位置信息计算出等效基线,根据变基线等效双目策略理论获取精度更高的深度估计;采用GoDec-RANSAC算法排除样本点中的局外点,估计鲁棒位姿;通过获取的位姿,估计最后一帧图像与第一帧图像之间的相对位姿,得到全局位姿估计,完成单目主动摄像头真实三维重建.仿真实验结果表明,该方法能够准确的估计鲁棒位姿.     

基于双目立体视觉的目标物测距研究

为了获取目标物体在空间中的三维信息,本文在双目立体测量原理的基础上,采取OpenCV和Matlab相结合的方法,设计了一个基于双目立体视觉的目标物体测距系统。该系统采取张定友棋盘标定法,使用Matlab内置的工具箱完成双目相机标定,采用SGBM(Semi-Global Block Matching)立体匹配算法在VS2017环境下结合Opencv3.4.1库,对左右相机获得的图像进行立体匹配,生成视差图,将二维空间点重投影到三维空间中,实现二维坐标到三维坐标的转换,即可得到物体的三维点坐标。最终实现通过鼠标点选被测物体视差图后输出选定的空间三维坐标。实验结果显示,该系统的测量精度较高,并且在140 cm距离的测量精度最高。     

基于格雷码和多步相移法的双目立体视觉三维测量技术研究

传统的被动式双目立体视觉三维测量技术,具有操作简单,使用灵活方便,相机标定技术成熟的优点,但是对于特征点稀疏图像,寻找匹配点困难,匹配精度低。编码结构光测量方式通过向待测物体投射特定的编码图案,获取编码图像进行解码求解物体的三维信息,具有着测量精度高,速度快的优点,但是存在着投影仪标定精度低,实现难度大的缺点。提出了将双目立体视觉和编码结构光相结合的三维测量方法,在完成双目校正的基础上,向待测物体投射格雷码图案和多步相移图案,给予被测物体容易识别和可控制的特征信息,最后求取物体的三维信息。而且通过实验论证了投射多步相移图案比起4步相移图案,测量精度更高,能够更好的体现物体细节。     

点状特征柔性物体三维运动捕获方法

针对具有点状特征的柔性物体,提出了一种三维运动捕获方法.首先,该方法利用两个标定的高速摄像机拍摄柔性物体的运动视频,并对图像进行立体校正;然后,采用DOG （Difference Of Gaussian）算法获取点状特征的位置,并提取特征点极值;其次,在一定范围的窗口上搜索匹配对,匹配左右图像的特征点;再次,通过三角测量法进行三维重建;最后,利用搜索策略进行时间序列上的匹配,实现动态柔性物体的三维运动捕获,并计算空间坐标、速度、加速度参数.实验结果表明,相比于采用sift算法匹配特征点捕获柔性运动物体的方法,本方法精度更高.     

射频技术辅助的三维视觉识别系统

在基于视觉的物体识别领域,单目视觉识别技术往往只能获得物体片面信息,而多目视觉识别技术的运算复杂度较高.随着物联网技术的普及,无源超高频射频识别技术已经大规模应用于物体的标识上,具有的读取速度快、读取距离远的优势.本文提出一种通过先验信息辅助视觉识别的通用方法,提高物体识别的速度和准确性.通过识别射频识别标签,从数据库读取准确的特征信息辅助图像识别物体.通过摄像头采集物体的图像、视频信息后传输给控制模块,控制模块从数据库获取射频识别先验信息后以相机标定算法对图像进行矫正处理,对目标物体进行定位,从而复现物体的三维图像.传统的边缘检测和目标检测技术需要两个及以上的摄像头才能对物体进行三维识别,所提方法只需使用一个摄像头即可获取物体三维位置.针对边缘检测的改进中通过结合射频识别标签中准确的物体几何信息和像素信息来确定滤波窗口的权重,进行标定真实边缘和潜在边缘;针对目标检测的改进中在原始的Faster R-CNN的RPN架构上引入了特征金字塔,使得特征提取时语义更强.最后两种不同视觉识别方式的实验结果证明了所提方法的有效性,所提方法具有更高的识别定位精准度、更低的算法复杂度和更快的识别速率,可以更加准确可靠地对物体特性进行检测及形状、方位的判断.     

乒乓球的三维运动轨迹重建

主要基于图像序列对乒乓球的运动轨迹进行三维重建,并对乒乓球运动形态进行分析.首先对采集的图像进行立体校正,利用颜色识别和改进的霍夫圆检测算法提取出序列图像中乒乓球的圆心坐标;然后根据前后帧图像的特征点坐标差值在时间序列上匹配特征点;最后,利用三角测量法对匹配的特征点进行三维重建,并计算出乒乓球不同时刻的速度和加速度,实现了动态物体的三维运动重建.实验结果表明该三维运动重建方法提高了特征提取的准确性,有效地实现了时间序列上的匹配,获得了物体的三维运动数据.     

基于双目立体视觉三维重建系统的研究与设计

基于双目的立体视觉方法,介绍了一套由双工业CCD构成的立体视觉系统,设计了一套切实可行的三维重建系统方案,其中包括图像获取模块,基于OpenCV的摄像机标定系统,SIFT算法实现特征点提取与立体匹配,深度信息计算,OpenGL三维模型重构几大模块.系统各模块经过试验测试和验证,能够通过两幅图像恢复出物体三维可见表面几何形状,充分发挥了OpenCV函数库的功能,基本上能满足三维重建目标的要求,尤其对城市景观的三维重建有较大应用价值.     

一种针对拍摄物体三维重建的全视角立体成像方法

为了实现被拍摄物体的三维重建,设计了一种单相机-圆柱-锥形反射镜面共轴的全视角立体成像系统结构,并提出了系统中物点与全视角图像中像点的投影映射方法.被拍摄物体通过圆柱-锥形反射镜的2次反射成像在相机获取的图像中形成具有全视角信息的环行立体像对,立体像对中符合外极线约束的像点对与相应物点存在对应关系,在投影变换基础上进行立体像点对匹配后,根据图像中像点对的坐标位置可得出相应物点的三维坐标值.最后在3DSMAX构造的虚拟装置上进行仿真实验,实现了拍摄物体的三维重建和全视角浏览,验证了算法的有效性.     

三维立体混合特征地图的构建

本文介绍了双目视觉的基本原理和空间点重建。利用双目视觉传感器获取了环境特征点的三维坐标,建立起了环境几何特征的立体地图,同时将这些特征角点局域窗口的灰度信息作为图像特征信息一并保存,建立起包含环境几何特征和图像特征的混合地图。     

基于胶囊内窥镜图像的肠胃道三维重建技术

为了改进胶囊内窥镜观测的准确性和真实性,提出了基于胶囊内窥镜序列图像的胃肠道三维重建的方法.首先利用SIFT算法提取前后两幅序列图像中尽可能多的对应特征点;计算获取各特征点在成像面上的二维坐标;进一步利用8点算法计算胶囊内镜运动变化的旋转矩阵和平移矢量.进而计算得到每个特征点的相对三维坐标和世界三维坐标;然后,采用Delaunay三角剖分算法对各三维点进行网格化,并完成场景的三维重建.实验表明相机与被测点距离在100 mm之内时,得到的深度误差小于1 mm;距离250 mm内时,相对误差在3％之内.说明所提出的算法是可行的.     

物体三维图像运动重建算法仿真

在运动图像准确识别问题的研究中,在物体运动过程和背景较为复杂的情况下,物体的形变程度存在很大的随机性和不确定性,很难运用精确的形状基数量对非确定的形变加以约束.传统的非刚体物体三维图像重建算法中均为假设物体的形状基个数已知,没有运动物体形变复杂时,形状基参数估计错误带来的重建特征点缺失,影响三维图像重建真实性和重建清晰度.为解决上述问题,提出了一种散乱特征点碰撞的物体三维运动重建算法,运用动态图像序列中恢复的特征残缺的三维物体结构,在极小的特征空间内,通过散乱特征点间的碰撞联系,建立较为准确的补偿特征,对形状基估计不准进行补偿,弥补由于形状基估计不准带来的物体重建特征缺失、物体重建效果差、鲁棒性不强,不清晰的弊端.     

基于双目结构光视觉的煤流量测量研究

在常规的双目视觉系统中,常用的加速稳健特征和尺度不变特征转换匹配算法对图像质量要求高,针对煤炭这种颜色纹理比较单一的场景应用时容易失效,且需要消耗大量的计算资源,难以保证实时性;激光雷达在进行煤流量测量时,有效视场范围较小,对应的测量点数较少,扫描频率也较低,在带式输送机运行速度较快时,精度会大幅降低。针对上述问题,提出一种基于双目结构光视觉的煤流量测量方法,将线结构光引入双目视觉系统,利用线结构光的约束,将图像特征点匹配简化成左右2幅图像行之间的匹配。在保证双目系统相机光轴平行度的基础上,采用对应行匹配计算三维坐标点,提高采样频率和分辨率,进而提高煤流量测量精度,降低测量系统对光照和环境的依赖。点云获取：利用线结构光凸显煤料截面曲线,提取煤料截面中心线的图像坐标,利用双目相机获取左右煤料截面线结构光图像,建立双目结构光三维重建模型,左右图像中心线坐标构成匹配点对参与计算煤料截面三维坐标,实现点云的实时获取。煤流量计算：利用空载胶带截面点云和负载胶带截面点云,结合获取煤料点云,利用微元法对煤料三维点云进行采样,分别利用均匀网格化法和三角网格化法求取单位时间内的煤料体积,实现带式输送机煤...     

结合YOLO的ORB双目图像匹配方法研究

针对双目视觉中ORB(Oriented Fast and Rotated Brief)图像匹配算法准确率不高以及会出现不同物体之间特征点错误匹配的问题,提出一种将YOLO(You Only Look Once)目标检测算法和ORB算法结合的双目图像匹配方法.该方法首先使用YOLO的卷积网络提取图像特征,并采用多尺度预测目标区域坐标和类别信息,以解决小目标与多目标识别不准的问题;接着,使用FAST(Features from Accelerated Segment Test)算子检测特征点和BRIEF(Binary Robust Independent Elementary Features)算子描述特征点,并利用ORB算法进行粗匹配;最后用去误匹配算法判断并去除不同类别和位置信息目标框中的匹配点.实验结果表明,该方法在单目标、双目标和多目标双目图像中的匹配准确率相较传统ORB匹配算法精度都有所提升.     

基于双目立体相机的室外场景三维重建系统设计

摘要：三维重建是图像处理、计算机视觉、计算机图形学的一个重要研究领域,双目视觉通过模拟人眼处理景物的方式可以获取目标物体的三维信息,具有非接触、速度快、精度高、自动化程度好等诸多优点,可以大大提高工业生产效率,已经成为人们研究的热点。在传统的基于双目立体视觉的三维重建系统基础上进行了方法和算法的改进与创新,并根据具体应用场合拓展了系统功能。硬件选用Stereolabs公司的二代ZED双目立体相机套件,配合该套件提供的软件开发工具包（ZED SDK）,使用NVIDIA推出的通用并行计算架构CUDA,很大程度上优化了三维重建的运行效率;针对立体匹配过程噪声及原有视图引入误差等问题,利用插值法和数学形态学平滑方法进行处理,引入了视差图修复与细化环节;采用更为合理的特征点提取方法,优化了深度值计算环节。在实验室环境下,对整体系统进行了性能测试,结果表明,算法稳定高效,系统重建效果好,性价比高。     

基于双视角的可见外壳三维重建研究

针对双目视觉重建方法在三维重建过程中步骤繁琐与重建效果不理想的问题,文中提出了一种基于双视角下可见外壳的三维重建方法。该方法主要借助平面镜成像原理,在不同视角拍摄包含物体与其成像的两幅图像,并根据成像原理确定物体之间的位置关系。通过相机与周围物体的运动关系求得相机参数,实现相机自标定。然后根据阈值分割及区域生长算法处理边缘信息得到目标轮廓,通过可见外壳方法计算侧影轮廓线,连接轮廓线形成重建模型。该方法通过自适应可见外壳种子体素生长在不了解物体先验知识的情况下完成重建。文中对比文献"基于图像轮廓的三维重建方法"中的单视角重建物体方法,提出了双视角重建物体模型方法。实验结果表明,双视角重建方法简单实用,生成的三维模型准确真实。     

基于形变模型的多角度三维人脸实时重建

摘 要：采用人脸特征点调整三维形变模型的方法应用于面部三维重建,但模型形变的计 算往往会产生误差,且耗时较长。因此运用人脸二维特征点对通用三维形变模型的拟合方法进 行改进,提出了一种视频流的多角度实时三维人脸重建方法。首先利用带有三层卷积网络的 CLNF 算法识别二维特征点,并跟踪特征点位置;然后由五官特征点位置估计头部姿态,更新 模型的表情系数,其结果再作用于 PCA 形状系数,促使当前三维模型发生形变;最后采用 ISOMAP 算法提取网格纹理信息,进行纹理融合形成特定人脸模型。实验结果表明,该方法在 人脸重建过程中具有更好的实时性能,且精确度有所提高。