一种改进的CAMSHIFT手势跟踪算法

在基于视觉的手势分析中 ,手势跟踪是一个关键环节 .从实时性的角度考虑 ,提出了一种改进的CAMSHIFT(ContinuouslyAdaptiveMeanShift)算法 ,实现了对动态手势的实时跟踪 .实验表明 ,该算法快速准确可靠 ,并且较好地处理了跟踪过程中大面积肤色干扰及手势被遮挡等问题 ,对复杂场景的检测与跟踪也取得了较好的效果 .同时 ,该算法还适用于其它具有特定颜色目标的跟踪 .     

OpenCV在体感遥控中的应用

利用Intelnet跨平台计算机视觉库OpenCV和微软VisualStudio 2010构建体感遥控器的软件开发平台。以OpenCV为基础,结合自定义算法和函数,开发利用人体手势识别来控制不同设备的体感遥控器。该设计采用基于codebook背景模型的运动检测方法对手势定位,以改进的CamShift算法和Kalman滤波器进行手势跟踪,进而对手势分割和识别。研究利用单目摄像头下对单手手势识别,以红外线和无线通信方式对目标区域和设备进行非接触控制。给出软件设计的基本思想,用OpenCV实现算法的具体过程和关键代码。该方案目标跟踪快、检测效率高、实时性好,为下一步在嵌入式系统中实施此方案打下一定基础。     

基于核相关滤波的TLD跟踪算法的研究

对TLD跟踪算法进行改进,以提高在跟踪目标发生尺度变化或被遮挡时的跟踪性能. 首先使用KCF跟踪器替代TLD算法中原有的中值光流跟踪器,并在特征提取时增加目标的Lab颜色特征,在寻找目标位置时引入尺度估计,在模型更新阶段引入跟踪状态判别机制,通过设定跟踪器中输出响应最大值阈值、APCE阈值及检测器中随机蕨分类器阈值来判断跟踪器跟踪结果的可靠性,改善跟踪器在尺度变化、出现遮挡、光照变化等情况下的跟踪效果. 针对TLD算法中的检测器,为了减少大量无意义的窗口,提升算法在存在遮挡时的精确性,在检测之前使用Kalman滤波预估出目标位置,在预估位置周围使用改进的级联分类器更精准地定位目标,改进的级联分类器的前两级仍采用方差分类器和随机蕨分类器,第三级则采用改进的KCF跟踪器. 在OTB-50数据集上的实验结果分析表明,该算法跟踪性能优于其他算法,能够满足实时性.     

一种改进的CAMSHIFT手势跟踪算法

在基于视觉的手势分析中，手势跟踪是一个关键环节、从实时性的角度考虑，提出了一种改进的CAMSHIFF(Continuously Adaptive Mean Shift)算法，实现了对动态手势的实时跟踪．实验表明，该算法快速准确可靠，并且较好地处理了跟踪过程中大面积肤色干扰及手势被遮挡等问题，对复杂场景的检测与跟踪也取得了较好的效果．同时，该算法还适用于其它具有特定颜色目标的跟踪．     

一种多特征融合的复杂场景动态目标跟踪算法

针对传统目标跟踪算法在目标形变、遮挡或光照变化等复杂场景下容易丢失目标的问题,提出了一种融合多特征的复杂场景动态目标长时间视觉跟踪算法,该算法基于跟踪学习检测(TLD)框架,首先,利用高斯二阶滤波器提取跟踪目标在不同方向的纹理信息,通过纹理信息采用Hessian矩阵计算图像曲面的主曲率,融合主曲率与RGB颜色信息建立目标特征概率直方图模型;然后,使用融合多特征的Mean Shift算法替代TLD框架中的光流法,降低跟踪模块的计算复杂度;最后,采用P-N学习策略构建快速级联检测器,实现跟踪失败时准确检测并重新初始化跟踪器快速修正跟踪结果.在OTB-50公开数据集和煤矿井下巷道视频上进行动态目标跟踪测试.结果表明:所提算法能够实现目标形变、遮挡或光照变化等复杂场景动态目标长时间跟踪,具有较高的鲁棒性和跟踪精度.     

复杂背景下的实时手势分割算法及其硬件实现

在分析肤色的信息特征和手势的运动特性基础上,构建一种基于肤色集、运动集、模糊手势集的手势分割及跟踪算法并采用硬件实现.该算法对颜色空间建立肤色集和对视频流空间建立运动集,通过模糊运算得到模糊手势集,其中加入跟踪算法和背景实时更新,克服了复杂背景和光照因素的干扰.整个算法在现场可编程门阵列(FPGA)上实现,利用流水线和并行处理技术实现了手势的实时分割和跟踪.实验结果表明,该方法有较好的准确性、实时性和鲁棒性,在系统时钟100 MHz时,对640×480分辨率的图像可实现100帧/s的处理速度.     

迁移学习融合双HOG特征的目标跟踪

目标跟踪是计算机视觉的关键技术之一,应用于模式识别、自动控制等领域. 深度学习的跟踪算法具有良好的性能,但在快速运动情况下,低层HOG特征易受影响,跟踪性能较弱. 提出一种结合线下训练深度特征的鲁棒跟踪方法. 通过线下训练VGG模型,线上构造双HOG特征并进行最优选择,将线下训练提取的特征迁移到线上,与最优HOG特征响应融合. 首先,线下逐层训练VGG网络,卷积层负责提取卷积特征. 然后,在线提取当前帧目标区域的HOG特征,并分解为HOG1和HOG2,对其进行滤波处理,选择最优特征. 最后,融合卷积特征响应和HOG最优特征响应得到特征响应图,预测目标的新位置. 在OTB-2013、OTB-2015基准数据集上与其他6个算法对比. 结果表明,该方法在处理快速运动、背景混乱、形变等跟踪方面具有良好的性能.     

基于改进的YOLOV4的手势识别算法及其应用

针对基于特征提取的手势识别算法准确率低和速度慢的问题,提出了一种基于改进YOLOV4的手势交互算法.利用数据增强的方法解决了手势数据较少的问题,同时优化YOLOV4的网络模型,改变原特征图分辨率使其能够检测到更完整的手势特征,通过K-means算法重新计算先验框的尺寸以提高对不同大小手势的识别率.将该方法与原始的YOLOV4以及Faster R-CNN算法在不同的手势数据集上进行手势识别对比,并进行了手势交互实验.实验结果表明,基于YOLOV4的改进算法手势识别准确率更高,并且能识别复杂场景下的手势,检测速度可以达到32.3帧/s,能够满足实时要求.     

基于FPA-VVRKFA的手势表面肌电信号识别

表面肌电(Surface Electromyography,sEMG)信号直接、客观地反映了人体肌肉的活动情况,其作为一种便捷的无侵入式肌电检测方法,被广泛地应用于人体动作识别领域.针对表面肌电信号的手势识别问题,提出了一种基于时域特征和向量正则核函数逼近方法(Vector-Valued Regularized Kernel Function Approximation,VVRKFA)的手势识别方法.首先,对MYO臂环采集到的sEMG数据进行活动段检测以提取出活动段;随后,从活动段信号中提取平均绝对值、波形长度、过零点数、均方根和Willison幅值等五个时域特征;最后,应用VVRKFA分类器对提取到的sEMG进行分类识别,同时采用花授粉算法(Flower Pollination Algorithm,FPA)优化分类器参数以保证最佳分类能力.实验结果表明提出的方法在手势动作模式识别上取得了较高的准确率.     

无人机视觉导航着陆地标实时检测跟踪方法

以改进的中值流跟踪算法为核心,基于上下文信息相关性特点,提出了一种适用于无人机视觉导航定点着陆的着陆地标实时检测跟踪方法。以SURF-Bo W特征来描述样本图像,基于支持向量机(SVM)进行离线分类器训练,用于准确的识别目标,完成跟踪目标初始化。之后,利用改进后的中值流跟踪算法进行目标跟踪,保证目标跟踪的可靠性、完整性。最后,基于相邻2帧目标相似性原则与线下训练的分类器,设计目标再搜索算法,保证在目标丢失或目标跟踪失败的情况下,仍然能够快速地找回目标,使得整套算法能够长时间准确地跟踪目标。实验结果表明,该算法在目标尺度变化、光照变化及运动模糊等情况下,都能够实时、稳定地跟踪目标。     

Hand gesture tracking algorithm based on visual attention

In the majority of the interaction process, the operator often focuses on the tracked 3D hand gesture model at the "interaction points" in the collision detectionscene, such as "grasp" and "release" and objects in the scene, without paying attention to the tracked 3D hand gesture model in the total procedure. Thus in this paper, a visual attention distribution model of operator in the "grasp", "translation", "release" and other basic operation procedures is first studied and a 3D hand gesture tracking algorithm based on this distribution model is proposed. Utilizing the algorithm, in the period with a low degree of visual attention, a pre-stored 3D hand gesture animation can be used to directly visualise a 3D hand gesture model in the interactive scene; in the time period with a high degree of visual attention, an existing "frame-by-frame tracking" approach can be adopted to obtain a 3D gesture model. The results demonstrate that the proposed method can achieve real-time tracking of 3D hand gestures with an effective improvement on the efficiency, fluency, and availability of 3D hand gesture interaction.     

基于Kinect骨骼跟踪技术的人机交互

基于Kinect提供的深度信息和骨骼跟踪技术进行手势识别,利用手势代替鼠标实现人机交互.首先,引入以人体为参考系的人体坐标系统,将手势位置通过坐标系变换映射到计算机屏幕,实现计算机屏幕上光标的位置显示和跟踪.其次,研究计算机操作系统响应鼠标事件的工作模式,设计固定的手势静态及动态工作模式,通过一定的映射关系将特定的一组手势与计算机系统基本操作指令进行对应.并定义状态机,根据手势状态触发系统操作事件,从而达到对计算机系统的体感控制.实验表明,该人机交互系统自然、合理、有效.     

基于人体手臂关节信息的非接触式手势识别方法

为了实现在复杂环境中对连续动态手势的识别,以人体固有的手臂关节之间的约束关系及特定手势在三维空间的运动轨迹为特征,提出了一种非接触式手势识别方法. 首先,通过Kinect传感器获取人体手臂关节的三维数据;然后,对手势轨迹进行分割,并将具有三维空间特征的手势轨迹转化为一维的手势轨迹;最后,将手势预判断过程与改进的动态时间规整( dynamic time warp, DTW)算法相结合,实现对动态手势的快速高效识别. 实验结果表明:该方法对具有时空连续特征的动态手势识别率较高,在复杂背景和不同光照环境中都有较强的鲁棒性.     

方向直方图对手势图像鲁棒性的仿真

通过利用图像的方向直方图作为手势的特征向量来进行手势的分类和识别,这种方法不仅简单而且计算速度快,同时对于图像光线和形状的变化具有较强的鲁棒性。通过仿真,证明了此方法在手势识别的过程中(当手势在不同光线和手势平移变化时)对于手势图像的变化具有很强的鲁棒性。     

基于Kinect深度和骨架信息的指尖检测方法

为克服指尖检测方法易受不同光照、复杂背景和手腕信息的影响,提出了一种基于深度和骨架信息的指尖检测方法.首先对Kinect获取的深度图像进行中值滤波和形态学闭操作处理,以消除噪声和填充空洞; 接着通过骨架跟踪得到的右手关节点锁定用户并进行手势分割; 然后在计算手心和最高指尖点位置的基础上,利用Freeman链码提取手势左右轮廓; 最后根据指尖点之间的轮廓曲线特征提取其他指尖点.实验结果表明,该方法具有良好的指尖检测效果,且对光照、背景和手腕信息鲁棒.     

Sign Language Synthesis in Multi-function Perception Machine

ＳｉｇｎＬａｎｇｕａｇｅＳｙｎｔｈｅｓｉｓｉｎＭｕｌｔｉ┐ｆｕｎｃｔｉｏｎＰｅｒｃｅｐｔｉｏｎＭａｃｈｉｎｅＸＵＬｉｎＧＡＯＷｅｎ（徐琳）（高文）（Ｄｅｐｔ．ｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＨａｒｂｉｎＩｎｓｔｉｔｕｔ...     

深海载体姿态检测系统的设计与实现

针对惯性测量器件在深海的特殊应用场合,设计并实现了一套功耗低、精度高、实时性好的深海载体姿态检测系统。系统主要由上位机控制界面、高清视频光纤传输系统和姿态检测单元组成,由姿态检测单元运行低运算负荷的数据融合算法。经测试,能够对载体姿态信息进行实时准确跟踪。