基于三维深度卷积神经网络的车间生产行为识别

传统的依赖视频监控的人员行为管理方式费时且易产生疏漏,难以适用复杂的生产制造环境,为了实现更加有效的人员行为管理,针对生产车间工作人员行为识别与智能监控问题,提出一种基于人体骨架信息的生产行为识别方法。基于三维深度视觉传感器采集人体骨架关节位置数据,用标准化重构方法对骨架关节数据进行归一化处理,合成人体行为的时空特征RGB图像。在此基础上构建深度卷积神经网络模型,进行时空域的生产行为识别。最后通过CUDA GPU加速环境下面向MSR-Action3D数据集和自建验证数据集NJUST3D进行实验验证,说明所提方法具有较高的准确率和实用价值。     

基于多模型级联的双目视觉铸件缺陷检测方法

为了解决铸件表面缺陷检测以及缺陷位置的三维定位问题,采用双目视觉系统获得图像,依靠三角测量法获得点云数据,基于正态分布变换配准方法实现工件的三维定位。通过多模型级联解决少样本和样本比例失衡情况下的表面缺陷检测,结合无监督模型的编码解码方式,依靠正样本训练获得对缺陷图像进行修复的网络模型,将修复后的图像与原始图像进行差异分析获得缺陷位置;使用MASK-RCNN模型进行监督模型训练,获得一体化检测分割模型,直接定位缺陷位置及类别。此外还将运动机构的物理坐标系、双目成像的工件坐标系以及平面图像的坐标进行换算,得到多个坐标系的转换关系,实现了平面缺陷的位置信息映射到三维工件的空间中。实验表明提出的双目视觉系统在工件成像以及检测方面具有良好的效果。     

面向人机交互的手势指向估计方法

针对人机共融环境中机器人与人之间的交互问题,提出了一种面向人机交互场景的手势指向估计方法,通过人体指向手势,以实现机器人对工作平面上指向目标点的信息交互。首先,基于RGB-D相机与VICON人体动作捕捉系统,构建时间同步的视觉指向手势位姿数据集,其中的每个样本包含人体指向手势的RGB-D图像和指向手势的位姿真值;其次,提出融合语义与几何信息的指向手势位姿估计多层次神经网络模型;然后,设计融合位置点误差ΔP和方向角度误差Δθ的射线近似损失函数,并基于构建的数据集,对指向手势位姿估计模型进行训练;最后,在实验室环境中进行了人机交互实验与模型验证。实验结果表明,在距离相机5 m的范围内,指向手势检测的平均精度为98.4%,指向手势位姿的平均位置误差为34 mm,平均角度误差为9.94°,进而实现工作平面上的手势指向目标点的平均误差为0.211 m。     

基于视觉伺服的3D微定位控制

分析了基于全局显微视觉的视觉伺服定位控制方法。推导了G型体视显微镜的成像模型,结合图像视觉伺服和立体视觉理论,建立了3D微定位视觉伺服控制模型。在自主研制的微操作系统上进行了3D视觉伺服微定位试验,并分析了影响视觉伺服定位控制精度的误差因素,通过标定获得重要的控制参数。试验结果表明:采用3D微定位伺服控制模型的定位误差为±(3～4)μm,定位精度和稳定性能满足微定位的要求。     

接触式交互感知的人体三维坐姿姿态估计

针对视觉姿态估计方法受覆盖遮挡等干扰,提出一种基于座椅面压力图像的人体三维坐姿姿态估计方法,建立坐姿时 座椅面体压分布与人体三维姿态之间的跨域联系。 设计了一套基于压力-视觉的坐姿训练系统,将阵列式压力传感器嵌入在座 椅面中感知坐姿变换,利用时间戳实现压力图像和双目视觉图像的同步匹配。 采取双边滤波消除压力图像的尖峰噪声;依靠 OpenPose 姿态估计、三角测量等手段从双目视觉图像中提出 19 个三维关键点;为提高姿态估计精度,提出随机梯度下降最小化 损失函数的方法来优化三维关键点坐标,并利用 3D 高斯滤波器进一步生成 3D 关键点置信度图。 设计一个基于多层卷积神经 网络的压力-视觉跨域深度学习模型,以连续的多帧压力图像作为模型输入,包含三维关键点坐标及其置信度图的 3D 姿态估计 结果作为监督对模型进行训练。 算法依靠椅面上的阵列传感器接触感知坐姿时的压力分布,就能够准确的估计包含 19 个人体 关键点的三维坐姿姿态,在验证集上测试,19 个关键点平均误差 9. 7 cm。     

显微视觉控制的微型机电转子引线自动化焊接

构建由三自由度纳米平台和显微视觉系统组成的微操作系统,利用纳米平台的特征在视觉空间的运动误差对视觉空间和纳米平台进行局部标定,在此基础上构造优化方程,对视觉空间和图像空间进行全局标定。利用标定的转换矩阵替换卡尔曼滤波器方程中的系数矩阵,用修改后的卡尔曼滤波器控制特征运动,以提高系统的定位精度。利用高压气流定位引线,解决了引线因柔性而定位困难的问题。实验结果表明,系统全局标定后,利用基于位置的视觉控制方法控制特征运动,其定位精度可达27μm,利用卡尔曼滤波器控制特征运动,精度可达5.4μm。气流定位方法可以将引线定位在电阻焊的电极下方。     

NAO的单目视觉空间目标定位方法研究

为了实现单摄像头工作的双足机器人NAO的视觉定位,采用单目视觉技术,建立一个空间点定位模型。根据摄像机的小孔透视模型,将图像中的二维坐标通过几何关系映射为机器人坐标系中的三维坐标,实现NAO基于单目视觉技术对空间目标定位。进行了定位实验,实验结果误差在允许范围之内,验证了该定位方法的实际可行性。     

基于Kinect的全向移动平台视觉伺服控制研究

针对移动机器人的交互控制进行研究,利用Kinect相机获取的人体特征点信息用于全向移动平台的视觉伺服控制中。首先,对完整约束下的移动平台构型进行设计,构建平台的正逆运动学模型;其次,分析基于图像的视觉伺服控制模型,得到图像空间中特征点与笛卡尔空间平台的运动关系;再次,对伺服控制系统进行设计,提出交互中特征点的提取及选取方式,给出雅可比矩阵的深度值估计方法,讨论偏差的增益值组合对平台运动的影响;最后,选择符合条件的一组增益值对上述控制算法进行仿真,分析仿真结果,验证了控制算法的可行性。     

基于特征匹配的螺柱视觉识别方法研究

提出了一种基于特征匹配的螺柱视觉识别方法。该方法将螺柱识别与定位过程分为两步:训练和识别。在训练阶段,完成螺柱样本特征库的建立;在识别阶段,检测待识别图像中螺柱的类型和位姿数据,为分拣提供准确的螺柱类别及抓取位置信息。实验结果表明,该方法能够对视场范围内任意摆放螺柱实现准确识别与定位。     

基于单目视觉的仓储物流搬运AGV累积误差检测方法研究

双轮差速驱动搬运AGV在实际运动过程中,由于传感器读数误差和机械传动误差会产生运动累积误差,针对该问题,文中提出一种基于单目视觉的误差检测方法。首先采用基于栅格分割、聚类的方法提取二值图像中的定位块并使用平均值算法计算定位块的中心点;然后根据定位块中心点的相对位置关系建立误差检测计算模型;最后通过实验对本方法进行验证,位置和航向角检测结果误差分别小于1 mm和1°,证明所述方法具有较高的检测精度。该方法对硬件要求低,具有较高的实用价值。     

基于3-CCD显微视觉的高精度靶位姿控制

针对高功率激光物理装置中的靶自动准直实验平台,提出了一种基于三路显微视觉的高精度靶位姿控制方法。该方法采用基于图像的显微视觉控制策略,通过对送靶机构的主动运动控制,实现了图像雅可比矩阵的在线自标定;利用增量式PI控制方法对送靶机构进行控制,实现靶的快速定位及姿态调整。本文对比了基于图像的显微视觉控制和之前研究中所提出的基于位置的显微视觉控制两种方法。其中,基于图像的控制方法靶的定位误差为0.07μm,姿态调整误差为0.02μrad;而基于位置的控制方法靶的定位误差为0.16μm,姿态调整误差为0.07μrad。实验结果表明:基于图像的显微视觉控制方法对系统中的运动学误差、视觉标定误差等因素具有较好的鲁棒性,靶定位及姿态调整的精度高且稳定性好。     

基于时空张量融合的人体骨架行为自适应识别方法

针对人体行为的空间复杂性和时间差异性问题,提出了一种基于时空张量融合的人体骨架行为自适应识别方法。 首先 充分利用人体行为骨架序列的帧内空间关系和帧间时间关系,构建相邻帧时空特征张量;其次通过计算相邻帧时空特征张量的 差异性获取关键相邻帧时空特征张量并组成行为时空特征张量;之后利用行为时空特征张量的空间特征差异和多尺度时间卷 积构建行为时空特征张量自适应注意力机制,完成行为时空特征融合;最后,使用深度随机配置网络根据行为时空特征融合张 量识别人体行为。 使用 NTU RGB-D 数据集进行实验仿真,识别准确率达到 84. 57% ,并且设计相应的系统进行实际应用验证, 结果表明本文所提方法是一种适合应对人体行为空间复杂性和时间差异性问题的人体行为识别方法。     

基于稀疏直接法和图优化的移动机器人SLAM

针对目前移动机器人同时定位和三维稠密地图构建算法中存在的计算复杂、实时性差的问题,提出一种基于RGB-D数据的实时的同时定位与地图构建(SLAM)算法。首先提取RGB图像中的FAST特征点,并计算特征点的3D位置,接着采用直接法最小化光度误差来估计相机的位姿变换,然后根据位姿变换的大小提取关键帧。为了减小移动机器人运动过程中的累积误差,提出基于词袋模型的闭环检测方法,并采用通用图优化(g2o)框架进行位姿图优化。实验结果表明,所提算法能够大大提高SLAM系统的实时性,并构建稠密化的三维环境地图。     

星箭对接环抓捕点单目视觉导航方法

星箭对接环是空间飞行器上普遍存在的结构,常在空间非合作抓捕任务中作为位姿测量与抓捕固定的特征部件。采用对接环空间圆特征进行视觉测量可以计算圆心位置,但圆心并非对接环实体结构,无法直接作为抓捕导航点。考虑对接环轮廓在图像中的几何不变特征,提出一种基于最短路径原则的环上抓捕点单目视觉导航方法,并给出了抓捕点导航参数计算模型。同时针对视觉测量中复杂目标环境的测量图像,提出了一种类圆轮廓提取方法,处理过程包括了图像中轮廓的分割、筛选与组合。通过数字仿真试验和半实物仿真试验进行验证,结果表明本方法能够有效剔除噪声轮廓,对接环上抓捕点测量准确稳定,抓捕点位置计算误差小于1 mm,角度误差小于0.5°。     

基于支持矢量机回归的机器人视觉系统定位精度

如何提高工业机器人视觉系统在不确定性动态环境中的定位精度是机器人完成复杂任务的一个关键技术问题.针对采用单摄像机的机器人和基于位置的视觉伺服控制存在的精度问题,提出一种将基于模型控制方法和基于智能计算方法相结合的方法,以面向小样本原理的支持矢量机回归来构建控制系统误差校正模型,应用该模型对机器人末端在同一个平面上的定位...     

基于误差注意力的晶圆制造数据异常检测

针对晶圆制造数据异常检测过程中异常特征提取难度大且检测效率不高的问题，提出了一种基于误差注意力的晶圆制造数据异常检测方法。在保持数据分布不变的前提下，将晶圆制造数据转化成灰度图像，根据与正常样本的误差对灰度图像生成基于位置的柔性注意力图，增加误差特征的显性表达并略去冗余特征；利用深度学习神经网络LeNet-5模型将注意力图进行卷积训练，得到异常检测的最优化模型。采用晶圆制造数据集与现有方法进行对比，所提方法耗时缩短160%、F2-Score提高3%，证明了所提方法的有效性。     

空间目标天基双星立体天文定位

为了提高天基光学传感器观测空间目标的定位精度,基于天文定位原理,提出了一种天基空间目标双星立体天文定位方法.首先,根据光学载荷固有参数,分析了空间目标在光学传感器上成像特性,选择阈值质心法精确提取目标在二维像平面上位置.接着,基于目标到观测传感器全链路坐标投影变换关系,建立了地球惯性坐标系下目标的观测矢量模型.然后,结合最小二乘法准则,建立了双星立体天文几何定位模型,完成空间目标从二维图像信息到三维空间信息的投影变换.最后,搭建地面实验生成了含空间目标的星空图像,并完成了定位算法验证和误差仿真分析.实验结果表明:当定位模型中没有误差时,定位精度可达10-5 m;当同时存在卫星位置误差、卫星姿态误差、卫星轨道误差、相机安装误差和图像处理误差时,定位误差分布为均值为零,标准差为114.62 m的高斯分布,基本满足定位需求.本文的研究工作可为天基空间目标的高精度检测定位提供参考.     

基于双目视觉的工件空间定位方法研究

本文基于双目视觉原理,设计实现了一种对特定工件空间定位方法。首先对双目视觉系统进行标定,根据标定结果进行图像矫正,使用基于区域的立体匹配算法求取视差图,结合特征点对应视差值和标定结果对图像进行三维重构,获得工件表面的高度位置信息;根据工件特征,通过拟合获得的工件一组同轴圆的圆心三维坐标,确定工件在摄像机坐标系下的位置和姿态,实现工件的空间定位。     

基于SURF特征的汽车轮毂型号识别

提出了一种基于SURF特征与神经网络相结合的方法,实现了对多种型号轮毂的识别.首先,将所有采集的样本图像分成训练集、验证集和测试集;然后,将所有样本图像缩放至合理大小并进行转灰操作;提取所有样本图像的SURF特征并导入到搭建好的神经网络中进行训练、验证和测试,通过神经网络强大的学习能力,从对大量特征数据的学习过程中获得一个最佳的识别模型.该方法可以以最少的样本图像获得一个能准确识别轮毂型号的识别模型.另外,该方法鲁棒性好、抗干扰能力强,能满足自动化生产线实时性的要求.     

基于单应性矩阵的机器人视觉伺服系统研究

针对在视觉伺服过程中采用图像雅克比矩阵方法时遇到的对目标深度信息的求取等问题,并为了进一步扩大机器人的运动空间,设计了一种基于单应性矩阵的视觉控制器应用于视觉伺服控制系统。通过摄像机针孔模型求解出该单应性矩阵后,对其进行了奇异值分解,得到了机器人控制器的输入,从而实现了对机器人的控制;该控制策略运用Matlab/Simulink仿真软件,并结合在机器人学领域中被广泛采用的机器人工具箱,构建了基于图像的视觉伺服系统仿真模型,并选取一长方体表面上的4个角点作为目标物体进行了仿真抓取实验。研究结果表明,该视觉控制器使整个控制系统具有较强的稳态特性和较高的控制精度,图像特征点从当前位置运动到了期望位置,误差最终收敛于零,具有较好的控制效果。