智能家庭中一种基于本体的机器人服务认知机制

为增强机器人提供不同类型服务的能力,针对智能家庭环境中的服务机器人提出一种基于语义网规则语言的机器人分类服务推理方法。利用本体技术建立智能家庭的本体模型,通过该模型集成来自不同数据源的数据,消除设备之间的异构性。根据智能家庭机器人服务系统的服务特点划分服务类型,利用历史上下文信息生成服务规则库。通过推理引擎匹配实时的上下文信息与服务规则实现机器人的服务推理。智能家庭背景下的系统运行试验结果表明,机器人服务推理方法能够完成智能家庭环境中不同类型的服务推理,从而进一步提高机器人服务的智能性。     

基于3D运动历史图像和多任务学习的动作识别

针对使用深度传感器采集的深度图像序列,在3D运动历史图像的基础上提出一种基于Gabor特征提取和多任务学习的人体动作识别方法。为了解决基于轮廓特征对运动历史图像不能充分表达的问题,引入Gabor滤波器组对3D运动历史图像进行特征提取;为了刻画在不同时间维度上人体动作的变化过程,引入时域金字塔对动作视频进行划分;最后,为了挖掘动作识别任务间的相关性,采用多任务学习训练动作分类模型。实验结果表明,该方法可有效提高动作识别的准确率。     

基于AR动态图像的人体动作识别方法

传统算法在三维影像转化为二维数据的程序运算过程中错误率较高,故提出了基于AR动态图像的人体动作识别技术.对AR动态图像中的人体动作图像进行预处理,通过摄影设备采集人体数据信息,以此构建人体特征三维模型,并标记此模型中的各节点,通过AR技术使三维人体模型做出不同动作,同时进行三维动态跟踪识别,将这些动作所涉及的数据记录下来,以此实现人体动作识别.设计实验进行验证并与传统方法进行对比,证明所提方法能够实现人体动作识别,充分体现了 AR动态图像算法的优越性.     

家庭服务机器人知识图谱的构建与应用

为提高服务机器人对家庭环境中事物语义信息的准确获取与认知,提出了一种家庭服务机器人知识图谱的构建方案并进行了家庭服务的应用测试。 首先,针对家庭服务应用需求,构建了适用于家庭环境的领域本体,并采用结构化的方法表征家庭场景下环境、人物、服务等知识以及物体的语义属性,将其存储在关系型数据库中。 在此基础上,根据领域本体将知识库的结构化数据进行数据映射和知识抽取,完成知识图谱的构建,并针对典型家庭服务的应用需求进行了测试。 实验结果表明,构建的知识图谱能够有效地帮助服务机器人准确地获取家庭环境中事物的语义信息,检索得到服务所需的知识,从而保障其智能化地执行家庭服务。     

基于卷积神经网络的人体动作识别方法

针对较小数据集识别时的过拟合和误差传递问题,提出了一种基于卷积神经网络的常见人体动作识别方法.该方法首先利用经典雷达信号处理方法对人体动作回波进行预处理,生成人体动作的时频图像;然后构建卷积神经网络(CNN),并以时频图作为CNN输入数据对网络参数进行训练;最后利用网络公开数据集对所提方法进行了实验验证.实验结果表明,构建的CNN能够准确识别4类不同的人体动作,准确率不低于97%.     

基于GMM的人体运动姿态的追踪与识别

随着人工智能等技术的兴起,利用机器视觉对视频中运动目标进行追踪与识别在工业、交通、医疗和运动训练等领域都得到应用.对视频中人体运动姿态进行准确快速的检测,是目前一个热门的研究方向.本文采用改进的混合高斯背景模型(GMM)算法对视频每帧图像进行前景提取,通过帧间差分法分析得出不同差值对应的学习率,从而实现对背景模型更准确的更新,进而得到一个精确的二值化的前景图像;并将生成二值图像由更新后的像素与高斯B均值比较,得到背景或前景图像;再对处理后视频图像进行比对,利用Shi-tomasi算法提取图像特征点并进行追踪,获取运动目标轮廓并绘制出边缘,经过SVM训练实现对走、跳、跑3种人体运动姿态的实时追踪和识别.     

基于先验的动作视频关键帧提取

针对运动视频关键帧提取结果运动表达能力差的问题,以健美操运动视频关键帧提取为例,将先验语义引入到视频片段分割和关键帧提取特征提取等过程中,提出基于先验的运动视频关键帧提取算法。该算法采用韵律特征和动作节拍连续性等先验知识,将健美操动作视频分解成不同长度的动作视频片段,并利用Hog人体分类器从每一帧图像中识别出人体边界框;通过人体模板将人体边界框分割为16个运动块,并采用光流法计算每个运动块的基本运动方向;通过比较运动块基本运动方向的差异实现了动作视频关键帧提取。实验证明,该方法在保证关键帧视频压缩的情况下,具有更好地动作概括力。     

室内环境中人穿携物品归属关系自主学习框架

为了满足机器人个性化服务需求,使机器人可以根据不同的服务对象来选择专属物品进行任务的推理和规划,需要服务机器人具备自主获取人穿携物品与人的归属关系的能力. 针对家庭环境下人穿携物品与人的归属关系获取问题,提出人穿携物品归属关系自主学习框架. 采用基于物品检测模型SSD与人体姿态估计模型OpenPose相结合的人穿携物品检测定位方法,实现人穿携物品检测. 利用基于迁移学习的卷积神经网络提取物品特征,通过后端分类器完成物品实例属性识别,使用人脸检测与识别模型MTCNN完成服务对象身份识别. 通过归属关系自主学习策略,完成归属关系的自主学习. 实验结果表明,提出的人穿携物品归属关系自主学习框架能够准确、高效地完成归属关系的学习,有效排除环境干扰因素对归属关系学习的影响,具有良好的准确性和鲁棒性.     

基于视觉的工业机器人异常动作检测方法研究

工业机器人的突发故障引发的安全问题时有发生。传统的基于数据分析的故障诊断方法存在传感器数据易受干扰,机器人通讯协议不统一,监测系统嵌入在执行系统内部相互影响等问题。提出一种基于机器视觉的工业机器人故障动作检测方法。对工业机器人作业视频进行实时分析,采用图像分割技术分离工业机器人本体并采用图像哈希技术生成工业机器人姿态编码,结合序列模式分析技术检测工业机器人异常动作并进行预警。不依赖于工业机器人通讯协议,以非接触式的方式对工业机器人进行实时监控,具有易于部署和成本低的特点。基于自主构建的工业机器人仿真视频数据集进行了实验研究,结果表明提出的方法可准确识别工业机器人异常动作,精确率和召回率均为100%。     

基于家庭环境下的目标识别方法

对于服务机器人在家庭环境中寻找目标物这一问题,提出了一种将无线射频识别(RFID,radio frequency identification)与视觉相结合的方案,并利用尺度不变特征转换(SIFT,scale-invariant feature transform)算子进行识别,此方案能保证机器人更快速、准确地找到目标物。     

自然场景下果实目标的识别和定位

通过分析目前果蔬图像中识别果蔬对象存在的问题,研究了果蔬采摘机器人视觉中的两大难题:识别果蔬和定位果蔬.在此大背景下,研究提出了一种结合多种颜色特征和纹理特征进行分割的方法,有效解决果蔬目标和背景颜色差异较小时的果蔬对象识别问题.同时,提出一种全新的理念解决果实被部分遮挡时中心点和采摘点确定问题.另外,为了克服已有的类球形果蔬的定位方法不能适用于偏斜下垂生长的果蔬定位、不能有效定位叠加的多个果蔬的不足,利用几何校正方法,研究提供一种能够适应于偏斜下垂生长的果蔬定位的方法,能有效定位叠加的多个果蔬.经实验证明,效果良好.     

基于傅里叶与局部特征结合的人体姿态识别方法研究

为了提高对人体姿态的识别,提出了一种以人的姿态序列图像的轮廓为特征,包括轮廓的外接矩形的宽高比、形状复杂性变化率、离心率以及傅里叶描述子相结合的人体行为识别方法。首先运用自适应的混合高斯背景建模和形态学结合的方法,利用Canny算子进行边缘检测,实现目标人体轮廓的特征提取。然后采用基于质心边缘距傅里叶描述子与k-means聚类算法与SVM分类器结合的方法,对目标人体轮廓的参数建立具有13个特征值的一维的特征向量,并和RBF神经网络的分类效果进行对比。实验表明,SVM进行分类较为准确,且不需要进行多次的迭代训练,速度较快、识别性能也很好,相比于RBF神经网络而言。运用该方法可以让人体行为识别的正确率在91%以上,该方法简单可行。     

新的时空特征点检测方法

提出了基于累积差熵的时空特征点检测算法。首先利用周期性时空检测方法检测视频的关键特征点;然后提出了视频累积差熵的概念,用累积差熵作为特征点的评价准则;以该准则为基础,选择具有累积差熵大的特征点作为关键点,并对关键视频进行聚类,得到关键视频的原型特征。实验结果表明:本文方法可以简单有效地去除非运动信息得到的关键点,可以较好地用于动作识别、表情识别等视频分析领域。     

一种在复杂背景彩色图像中划分手部图像的方法

对面部和手部图像进行正确定位是当前图像处理领域中的重要课题 .在机器人手势识别实验中 ,我们试图利用一个BP神经网络对连续手势进行识别 .由于实时性的要求 ,我们希望找到一种尽量简单的图像划分方法 .本文通过对采集到的彩色图像进行色度变换和色调过滤 ,成功的实现了从复杂背景的彩色图像中划分出手部图像 ,并提取其轮廓以供处理 .作为计算机图像识别的预处理过程 ,这种划分方法算法简单 ,易于实现 ,十分适合于实时彩色图像的划分与识别 .     

Place recognition based on saliency for topological localization

1 INTRODUCTIONLocalization is fundamental in the domain ofmobile robot navigation. Current localizationmethods based on camera can be mainly classifiedas geometric and topological . Topological methodsuse an adjacent graphin replace of exact coordinateto represent environment . For this reason, theyare dominant inlocalization based on monocular vi-sion[1]. In general , these topological approachesare based on either landmark detection or place rec-ognition.For landmark detection, mobile …     

一种改进dueling网络的机器人避障方法

针对传统增强学习方法在运动规划领域,尤其是机器人避障问题上存在容易过估计、难以适应复杂环境等不足,提出了一种基于深度增强学习的提升机器人避障性能的新算法模型。该模型将dueling神经网络架构与传统增强学习算法Q学习相结合,并利用两个独立训练的dueling网络处理环境数据来预测动作值,在输出层分别输出状态值和动作优势值,并将两者结合输出最终动作值。该模型能处理较高维度数据以适应复杂多变的环境,并输出优势动作供机器人选择以获得更高的累积奖励。实验结果表明,该新算法模型能有效地提升机器人避障性能。     

基于多特征融合的人体动作识别

提出复杂环境下基于特征融合的日常动作、突发异常(摔倒)行为检测方法. 利用人的姿态、姿态变化速率特征、人的位置变化特征表征人的运动状态,通过合成简单的姿态事件并结合特征来表达具有复杂时空关系的运动事件. 该方法计算复杂度小,对目标大小的变化具有较好的鲁棒性,在智能交互、服务机器人自主服务系统中具有实用价值.      

基于VR的家庭机器人建模

为了缩短研制周期和降低开发成本,引入虚拟样机模型来设计家庭机器人仿真系统．利用三维实时场景建模技术在SGI工作站上建立虚拟家庭环境和虚拟家庭机器人的实体模型,推导了差速移动机器人的运动学模型,并完成了家庭机器人在虚拟家庭环境中漫游的仿真试验．结果表明,将虚拟现实和机器人学相结合是机器人研究的一种有效手段．     

变电站机器人视觉伺服系统研究

变电站巡检机器人替代人工巡检变电站设备,主要是机器人携带CCD摄像仪和红外成像仪,在固定点对目标设备的状态进行检测。由于机器人的定位误差和机器人本体自由度的误差,会造成机器人到固定点取图像时巡检目标偏移甚至丢失。采用Adaboost图像识别分类方法和光学成像原理组成视觉伺服控制系统,对机器人进行调整,使巡检目标保持在图像的中心位置。实验结果表明,机器人视觉伺服系统能有效避免机器人定位和自身误差带来巡检目标偏移和丢失的影响。