基于Kinect传感器的机器人室内环境检测方法

针对移动机器人室内环境检测问题,提出了一种基于Kinect传感器的目标物体检测方法.利用Kinect传感器采集的视频图像和深度数据来实现对机器人工作环境中已知特征目标物体和完全未知目标物体的检测及定位.对于已知特征目标通过颜色特征分析来完成检测,而对于完全未知的物体则通过深度地面消除算法和提取深度图像的轮廓来进行检测.利用传感器成像模型对检测出的目标区域进行三维空间定位,从而获取目标物相对于机器人的空间位置信息.基于移动机器人平台进行实验,结果表明,该方法能够有效地实现室内环境信息的检测及定位.     

一种基于ResNet网络特征的视觉目标跟踪算法

针对复杂场景下目标容易丢失的问题,提出了一种基于深度残差网络（ResNet）特征的尺度自适应视觉目标跟踪算法.首先,通过ResNet提取图像感兴趣区域的多层深度特征,考虑到修正线性单元（ReLU）激活函数对目标特征的抑制作用,在ReLU函数之前选取用于提取目标特征的卷积层;然后,在提取的多层特征上分别构建基于核相关滤波的位置滤波器,并对得到的多个响应图进行加权融合,选取响应值最大的点即为目标中心位置.目标位置确定后,对目标进行多个尺度采样,分别提取不同尺度图像的方向梯度直方图（fHOG）特征,在此基础上构建尺度相关滤波器,从而实现对目标尺度的准确估计.在视频集OTB100中与其他6种相关算法进行了比较,实验结果表明,所提算法取得了较高的跟踪成功率和精确度,能够较好地适应目标的尺度变化、背景干扰等复杂场景.     

融合深度信息的雾霾情况下显著性目标提取

雾霾天气造成的低分辨率、低对比度给目标检测带来了很大的困难,为此本文提出了一种融合了深度信息的视觉显著性目标检测方法.首先,根据暗原色原理对雾霾场景中的深度信息进行提取;同时,提取图像的亮度、方向等底层视觉特征,构造基于不同视觉特征的显著图;然后,将所有的显著图进行合并,并利用最大类间差法对感兴趣的目标进行检测与提取.实验结果表明,本文提出的算法可以在雾霾天气下可靠地检测出感兴趣的目标,可在雾霾天气下辅助驾驶员进行交通路面的显著性目标检测.     

基于改进MMAS算法的堆垛机货物拣选路径优化

提出了一种基于改进最大最小蚁群算法(MMAS)的货物拣选路径优化算法.首先建立堆垛机货物拣选路径最短化的数学模型,然后利用改进的MMAS对其求解获得临时优化路径,最后融合2-opt策略进行局部调整获得最优拣选路径.实验结果表明,本算法可有效克服蚁群算法易陷入局部最优的不足,且较之遗传、粒子群等算法缩短了货物的拣选路径,提高了仓库作业的效率.     

保持空间准确度与时间一致性的深度估计算法

为提高深度图的准确度,提出了一种基于图割的深度估计算法. 利用平均亮度 梯度联合匹配测度函数代替单像素亮度匹配,并考虑邻近像素深度相关性改变图割网络结构,提高深度估计的空间准确度;采用前一时刻同位置像素的深度约束当前时刻像素的深度值,使估计的深度图在时间上保持一致. 提出的算法考虑了深度图的空间、时间特征,可以提高深度图的准确度. 实验结果表明,与传统的基于图割的深度估计算法相比,新算法估计的深度图更加准确.     

基于优化预测定位的单阶段目标检测算法

针对单阶段多边框检测(SSD)算法中存在目标定位不准确和小目标检测精度不高的问题,提出基于优化预测定位的单阶段目标检测算法EL-SSD. 通过双向加权特征金字塔将原SSD预测特征图特征融合,对输出特征图进行特征位置信息解码后进行特征通道权重再分配,提升了特征语义信息,捕获了跨通道位置信息. 通过构建分类置信度及额外的定位置信度级联聚类对预测框进行非极大值抑制,提高在检测阶段对选择目标的定位精度. 实验结果表明,EL-SSD算法在PASCAL VOC2007上的平均检测均值达到79.8%,比原SSD算法提高了2.6%. 在COCO数据集上的精度达到29.4%,比原SSD算法提高了3.5%,在检测图片上的目标定位效果及小目标检测效果明显优于SSD, 适用于需要高定位性能的实时应用场景.     

基于Efficient-Net的轮胎X光片缺陷检测技术研究

为解决传统深度学习网络模型在轮胎X光瑕疵图像检测上识别率低、准确性差的问题,基于特征金字塔网络FPN提出一种多级特征提取网络TWFPN并将其与Efficient-Net目标识别网络融合,得到高度融合语义和细节信息的瑕疵特征向量并改进检测算法流程;通过融合背景信息的检测算法对模型识别结果进行重新判定,得到最终的瑕疵类别和位置信息。对6种轮胎缺陷类型X光图片进行测试表明,改进检测算法显著提高了模型的识别精度,具有良好的应用前景。     

基于改进SSD模型和自适应滤波算法的水面漂浮物目标检测跟踪方法

水面漂浮物严重破坏河道景观和水生态环境,通过摄像头实施河湖可视化监管以改善河湖面貌,已成为积极落实“河湖长制”政策的重要技术手段。但由于河流环境复杂多样,存在水波扰动、动态光影和强光反射等诸多噪声问题,现有方法难以满足水面漂浮物实际管理需求。本文结合单帧检测与多帧滤波,提出了一种基于深度学习的水面漂浮物目标智能检测跟踪方法。在单帧检测中,删除5*5及以下低分辨率特征图,通过特征求和方式增强76*76高分辨率特征图以提升SSD检测算法在小尺度漂浮物目标的检测精度;在多帧滤波中,基于时空相关性和运动信息构建自适应滤波AF算法框架,计算视频帧中帧与帧之间的关联性,根据漂浮物目标的空间位置的变化幅度自适应删除偏离运动轨迹的漂浮物目标检测结果,以降低漂浮物跟踪漂移;在信息融合阶段,通过特征对比融合检测和滤波信息,实现检测信息和跟踪信息动态互补,并以不同检测跟踪场景数据集进行训练与验证。结果表明：在简单水面场景下中心位置误差为8个像素点时该方法的检测跟踪精度达到100%,成功率面积为0.94,平均速度达到17.27FPS,计算复杂度为7.18Billion;在复杂水面场景下中心位置误差为10个像素点时该方法的跟踪精度和成功率面积分别为93.24%和0.81,平均速度和计算复杂度分别为15.02FPS和8.76Billion,在复杂环境下兼顾了检测跟踪精度和效率。     

基于RGB-D相机的视觉里程计实现

针对移动机器人在未知环境中的自身定位问题,提出了一种基于RGB-D相机的移动机器人运动轨迹估计方法.首先,提取当前图像的ORB特征并与关键帧进行特征匹配;然后,采用结合特征匹配质量和深度信息的PROSAC算法对帧间运动进行迭代估计;最后,提取关键帧并利用g2o求解器进行局部优化,得到关键帧位姿的最优估计,进而得到机器人的运动轨迹.实验结果表明:与RANSAC+ICP算法相比,该方法能有效提高移动机器人的定位精度.     

基于人工路标的机器人视觉定位研究

自定位和位置估计是自主移动机器人最重要的能力之一。根据摄像机透视映射原理,确定内外参数来推算机器人位置。基于实验分析,提出了一种人工路标方案。通过建立以RGB的值域范围为分割点,分层实现彩色图像的目标与背景分离,从而完成了图像标志的识别。试验表明基于人工路标信息的视觉定位系统能够有效识别出机器人,实现反馈机器人的当前位置。     

3D混杂场景中机械臂自主分拣小目标的方法

为解决机械臂在大小目标共存的3D混杂场景中无法利用3D视觉传感器直接感知分布于操作视场范围内的小目标这一难题,提出一种基于"固定安装的全局Kinect深度相机"与"安装在机械臂末端执行器上的移动相机(手眼相机)"相结合的视觉系统混合配置方法.固定的全局Kinect深度相机用于感知并获取视场范围内的大目标点云,进而识别估计其位姿,然后借助路径规划技术引导机械臂到达大目标的上方,启动手眼相机近距离获取小目标的图像;离线阶段获取小目标的CAD模型,虚拟2D相机在以目标中心为球心的虚拟球表面的不同位姿和不同半径处拍摄目标的一系列二维视图,并且储存在目标的3D形状模板数据库中;在线阶段从真实手眼相机拍摄的场景图像中基于图像金字塔分层逐一搜索匹配,找到与目标模板相匹配的所有实例并计算其二维位姿,经过一系列转换后得到在相机坐标系下的初始三维位姿,应用非线性最小二乘法对其进行位姿修正.由ABB机械臂和微软Kinect V2传感器以及维视图像公司的工业相机进行位姿估计精度实验和混杂目标分拣实验,利用棋盘标定板来测定目标真实的位姿.实验结果表明,位置精度0.48 mm,姿态精度0.62°,平均识别时间1.85 s,识别率达到98%,远高于传统的基于特征和基于描述符的位姿估计方法,从而证明了提出方法的有效性和可行性.     

基于空间约束的自适应单目3D物体检测算法

引入无须先验模版匹配的3D目标检测算法,通过简化消失点（VP）计算和改进角点提取等步骤,提出一种自适应的单目3D物体检测算法. 针对复杂场景下VP 计算易受干扰的问题,根据室内场景中世界坐标系、相机以及目标物体之间的空间关系,建立目标、相机偏航角与VP之间的约束模型,提出一种基于空间约束的 M 估计子抽样一致性（MSAC）消失点计算方法;为了提高3D框的估计精度,在VP透视关系的基础上,提出一种自适应估计3D框角点的方法,通过建立目标3D轮廓线与2D框的空间约束关系,实现目标物体的3D框快速检测. 相关数据集的实验结果表明,所提方法相比于其他算法不仅在室内场景下具有估计精度高、实时性好的优势,而且在室外场景实验下也具有更好的精度和鲁棒性.     

一种基于小波分解的纸币污损检测算法

为提高清分系统中纸币污损检测的准确率,减少撕裂和笔迹等污损对检测的影响,提出了一种基于小波分解的污损检测算法.采用仿射变换和小波变换进行纸币图像配准,运用Kirsch算子提取图像边缘信息,通过计算边缘强度差提取出纸币图像的污损特征,将纸币图像划分为若干个固定大小子区域,通过对每个区域的污损特征统计来判断该区域是否存在污...     

旋转框定位的多尺度再生物品目标检测算法

针对传统目标检测算法未考虑实际分拣场景目标物形态尺度的多样性,无法获取旋转角度信息的问题,提出基于YOLOv5的改进算法MR²-YOLOv5. 通过添加角度预测分支,引入环形平滑标签（CSL）角度分类方法,完成旋转角度精准检测. 增加目标检测层用于提升模型不同尺度检测能力,在主干网络末端利用Transformer注意力机制对各通道赋予不同的权重,强化特征提取. 利用主干网络提取到的不同层次特征图输入BiFPN网络结构中,开展多尺度特征融合. 实验结果表明,MR²-YOLOv5在自制数据集上的均值平均精度(mAP)为90.56%,较仅添加角度预测分支的YOLOv5s基础网络提升5.36%;对于遮挡、透明、变形等目标物,均可以识别类别和旋转角度,图像单帧检测时间为0.02~0.03 s,满足分拣场景对目标检测算法的性能需求.     

堆叠散乱目标的6D位姿估计和无序分拣

针对目标散乱堆叠场景下的机器人分拣问题,建立一种从目标筛选、识别到6D位姿估计的无序分拣系统。利用局部凸性连接方法将Kinect V2相机采集的堆叠散乱目标点云数据分割成单独的点云子集,定义抓取分数从中筛选出最上层未被遮挡的目标作为待抓取目标,保证机器人分拣目标时能从上至下进行抓取;针对不同种类目标的分拣需求,基于匹配相似度函数对三维目标进行识别并定位抓取点;融合截断最小二乘-半定松弛算法和最近点迭代算法,建立目标6D位姿估计模型,保证目标点云和模型点云重合率低情况下的精确配准。在自采数据上进行目标6D位姿估计实验以及机器人无序分拣实验,结果表明：提出的6D位姿估计方法相较于流行的几种方法,可以更快速、精确地获取目标的6D位姿,均方根距离误差<3.3 mm,均方根角度误差<5.6°;视觉处理时间远小于机械臂运动的时间,在实际场景中实现了机器人实时抓取的全过程。     

结合空间上下文算法的道路场景法线区域分割

针对道路场景检测忽略法线属性的问题,为了加强对空间上下文和边缘信息的利用,提出结合空间上下文算法的道路场景法线区域分割方法,将道路场景识别为路面和障碍物分别对应的水平区域和竖直区域. 在交叉熵损失函数的基础上添加障碍物增强损失,改善训练过程不同分类的权重分配,提高小区域障碍物识别率. 提出上下文改进算法优化位置关联图的矩阵计算方式,减少空间复杂度提高运算效率. 嵌入边缘上下文模块削减噪声并强化主要边缘,加强边缘信息的利用. 在自建数据集和Cityscapes数据集的实验结果表明,与主流的语义分割方法相比,本研究方法加强网络特征提取能力,能有效提高对道路法线区域的分割准确度,相较Deeplab, 交并比提高了2.1%,能简单有效地实现避障任务.     

电力工作人员面部疲劳状态识别系统研究

疲劳状态检测对于保护电力工作人员的安全具有重要作用。深度学习虽然已经成为面部疲劳状态检测方面的重要方法,但是其检测结果的准确性还需要提高。针对这一问题,提出了一种新的电力工作人员疲劳状态识别系统。该系统通过对采集到的视频图像使用人脸检测算法确定电力场景中工作人员的面部位置,利用YOLOv4-tiny目标检测算法提取眼睛部位的视觉特征,建立检测模型,以提升视觉特征的辨别能力;采用PERCLOSE准则分析眨眼频率并结合打哈欠的频率和瞌睡点头频率来判断电力场景中工作人员是否疲劳。实验结果证明了所提的基于深度学习的疲劳状态识别方法的有效性。     

基于Transformer的低质场景字符检测算法

为了提升低质场景文本图像的文字检测和识别性能,提出一种基于Transformer的字符级场景文本检测算法。依据场景文本行中的字符顺序,设计基于Transformer的编码-解码结构,能够输出每个字符检测框的坐标以及排序预测。根据匈牙利算法的思想,设计了基于字符检测框坐标及排序损失的损失函数,以提高匹配检测结果的准确性。在3个字符级标注的场景文本数据集上的场景字符检测、场景字符识别的相关实验结果表明,所提算法能够取得较好的性能,在多个评价指标上均优于对比算法。     

特征金字塔多尺度全卷积目标检测算法

基于区域建议网络构建一种特征金字塔多尺度网络结构,并结合全卷积操作完成微小目标与类别无关目标的检测. 为了提升图像中微小目标的检测精度,构建基于侧链接融合的3层金字塔结构网络,充分利用语义级别比较低的图像卷积特征. 为了提高类别无关的图像目标检测鲁棒性,提出特定的非极大值抑制算法,在重叠目标过滤时消除冗余目标窗口,并对目标窗口进行位置精修. 在PASCAL VOC 2007、PASCAL VOC 2012以及古代绘画数据集上的实验结果表明：所提算法对于微小目标、多尺度目标检测及种类无关的目标检测的检测精度高于已有算法.     

Student’s t滤波框架下的信息融合算法

针对多传感器系统的观测噪声为非高斯噪声的问题,通过Student’s t滤波框架和四元数特性相结合,以无迹变换计算Student’s t加权积分函数,设计基于Student’s t分布的无迹四元数滤波算法,作为局部滤波算法. 利用拉格朗日乘子法计算最优融合权重系数,通过线性加权融合的方式,对各局部滤波结果进行融合. 采用基于四元数的目标姿态运动模型进行仿真,利用3个星敏感器同时对同一目标进行观测,通过与已有的鲁棒无迹Student’s t滤波（RSTUF）算法对比,验证所提算法的有效性. 仿真结果表明：所提算法在对目标姿态的估计精度、滤波收敛速度及收敛后的数值稳定性方面均高于RSTUF算法;通过多个观测信息互补,提高了估计精度及容错性.