基于sEMG的特征包络线提取与动作识别研究

针对表面肌电信号模式识别在康复器械以及智能假肢中的应用问题,通过平方调解法来提取多通道sEMG特征包络线,以提高手指动作识别速率与正确率;首先将手指动作采集实验获取的表面肌电信号进行平方处理,再经低通滤波形成包络线;利用幅值乘方法对不同的动作类型的包络线进行处理并形成学习用的教师样本标签,最后通过BP神经网络完成动作的识别分类;实验结果显示,屈拇指、屈食指、屈中指、屈无名指、屈小指和屈五指这6种动作的平均识别正确率为94.93%,每次动作识别的平均延时为50.7 ms。     

基于改进型BP神经网络的手部动作识别

对手部动作进行模式识别,首先将采集到的肌电信号进行降噪处理,选择时域分析法中的方差算法对采集信号进行特征提取。将特征信号进行归一化处理,实验发现普通BP神经网络分类器出现学习速率慢,泛化能力较差,不同动作识别准确率差别较大等问题。针对以上问题,提出了一种改进型BP神经网络,将神经网络输入数据进行人工升维处理,并对网络学习速率慢的原因进行理论推导,然后引入交叉熵代价函数并对其进行正则化处理,以提高网络的泛化能力以及网络的识别准确率。实验结果表明,改进型BP神经网络的学习速率、泛化能力以及动作分类的准确率均优于普通网络,识别准确率平均为94.34%。     

基于肌电信号和姿态信号的手势识别

针对仅利用手臂表面肌电(EMG)信号难以准确识别手指动作的问题,提出了将手指关节的姿态信号与表面EMG信号融合用于识别手指姿势的方法。利用MYO手环同步采集手臂的8组肌电信号,同时利用姿态传感器采集手指运动时的三维角度信息。采用滑动平均能量法,依据采集到的原始EMG信号进行活动段检测,提取出执行有效动作过程中的相关信号,并分别采用绝对值均值(MAV)和标准差(SD)对该部分的肌电信号和角度信号提取特征。将提取的特征值作为SVM多类分类器的输入,用于识别手势动作。实验结果表明:融合手指角度信号可有效提高手指动作的识别率,整体识别率达到99. 3%。     

基于多传感器融合的动态手势识别研究分析

研究利用三类传感器（表面肌电仪、陀螺仪和加速度计）信号的特点进行信息融合,提高可识别动态手势动作的种类和准确率。将动态手势动作分解为手形、手势朝向和运动轨迹三个要素,分别使用表面肌电信号（sEMG）、陀螺仪信号（GYRO）和加速度信号（ACC）进行表征,利用多流HMMs进行动态手势动作的模式识别。对包含有5个运动轨迹和6个静态手形的识别实验结果表明,该方法可以有效地从连续信号中识别动态手势,三类传感器组合使用获得的全局平均识别率达到92％以上,明显高于任意两个传感器组合和仅采用单个传感器获得的平均识别率。实验表明该方法是一种有效的动态手势识别方法,并且相较于传统的动态手势识别的方法更具有优势。     

基于小波理论的sEMG的处理方法

文章选取时域分析法对表面肌电信号的提取其特征值,意在于能够得到能较好地表征肌电信号的特征向量,使得之后的分类器能够有效地对表面肌电信号进行分类识别。在对信号进行识别分类识别时,所设计的小波神经网络可以将各动作信号特征值转化为线性组合,简化动作的分类识别过程。     

针对上肢高位截肢者的肌电假肢设计

给出了一种基于人体表面肌电信号控制的上肢假肢系统,服务于基于靶向肌肉神经移植术的高位截肢者.通过解析人体肌电信号包含的动作意图控制假肢的运动.系统包括假肢的机械结构、控制系统的硬件和算法.假肢的机械结构包括肘关节、腕关节和手部.控制系统的硬件包括主控板、驱动板和肌电采集模块.模式识别算法采用基于贝叶斯原理的线性分类器,通过在线实时训练,得到需要的线性分类器参数.根据得到的分类器模型,对采集到的肌电信号进行在线实时识别,并根据识别的结果实时控制相应假肢关节的运动.系统样机在健康受试者身上进行了测试,效果良好.     

表面肌电信号采集电路的设计

表面肌电信号是一种伴随肌肉活动的生物电现象,其采集电路设计的关键在于从强大噪声背景中提取微弱信号并进行高增益放大;通过分析表面肌电信号的特点和电路模型,设计了包含隔直和初级放大器、50Hz陷波器、高通和低通滤波电路三大部分的采集电路;该电路共模抑制比不小于115dB;输入阻抗大于100MΩ;增益为86dB;采用专用芯片UAF42的陷波器工频滤波衰减约30dB;将其应用于假肢手的控制系统中,通过神经网络进行动作模式识别,共识别了6个手部动作模式,识别成功率在95%以上。     

基于小波包与支持向量机的复杂信号模式识别

为很好地识别神经和肌肉的功能状态,针对表面肌电信号的非平稳特性,提出了采用小波包变换的方法对原始肌电信号进行分解,并提取其频段系数的最大奇异值构建特征矢量.利用"一对一"的分类策略和二又树构建多类支持向量机分类器,经训练后可以有效地对前臂8种动作的表面肌电信号进行识别,8种动作的平均识别率达到99.375%.实验结果表明,支持向量机分类器的识别率明显优于传统的BP神经网络、Elman神经网络和RBF神经网络分类器,且鲁棒性好,并具有良好的泛化推广能力.     

非线性PCA在表面肌电信号特征提取中的应用

针对表面肌电信号的特点,提出了一种应用非线性主分量分析(PCA)提取表面肌电信号特征的新方法.该方法在表面肌电信号滤波的基础上,采用非线性PCA方法完成数据压缩,将多路表面肌电信号转换为一维的特征数据主元,并以主元曲线的形式输出特征提取结果.本文采用基于自组织神经网络的非线性PCA对手臂尺侧腕伸肌和尺侧腕屈肌的两路表面肌电信号进行主元提取,试验结果表明,四种手部运动模式(握拳、展拳、腕外旋、腕内旋)对应的表面肌电信号利用该方法处理后,得到的主元曲线具有很好的类区分性,依据所得主元曲线的形状特征可以有效地进行手部动作类别的识别.     

适用不同Brunnstrom等级患者基于表面肌电信号的动作识别方法

针对不同患病程度的脑卒中患者运动意图识别率低的问题,提出了一种适用于不同Brunnstrom等级患者基于表面肌电信号（sEMG）的动作识别方法．首先将所有等级患者sEMG数据进行融合,使用tsfresh库提取特征,然后基于随机森林（random forest,RF）模型筛选特征,并利用筛选的特征训练动作分类模型．进一步,通过研究动作和康复等级的关系,确定了康复评估动作并设计了康复等级自动评估算法．为了验证所提方法的有效性,在24例患者sEMG数据上进行了测试,实验结果表明所提方法能够将9种动作和6类康复等级的平均识别精度分别提升至89.81%和94%．基于所提方法构建的手部康复机器人系统能够实现康复等级自动评估．     

基于人工神经网络对sEMG信号的手势动作识别

针对利用表面肌电信号(sEMG)对手势动作的肌电信号的研究较少和sEMG信号处理过于复杂的问题,提出了利用人工神经网络和sEMG信号对人的手势动作进行识别研究,引入了MYO硬件设备对新的手势动作sEMG信号采集.利用MYO从手臂上获取每一个手势动作的sEMG信号,提取信号特征值,作为算法的训练数据和测试数据.采用人工神经网络中的反向传递神经网络算法来进行对4种不同手势动作分类,对应目标手指识别率在90.35%.研究结果可以被用来做临床诊断和生物医学的应用以及用于现代硬件的发展和更现代化的人机交互的发展.     

A versatile interaction framework for robot programming based on hand gestures and poses

This paper proposes a framework for industrial and collaborative robot programming based on the integration of hand gestures and poses. The framework allows operators to control the robot via both End-Effector (EE) and joint movements and to transfer compound shapes accurately to the robot. Seventeen hand gestures, which cover the position and orientation controls of the robotic EE and other auxiliary operations, are designed according to cognitive psychology. Gestures are classified by a deep neural network, which is pre-trained for two-hand pose estimation and fine-tuned on a custom dataset, achieving a test accuracy of 99%. The index finger’s pointing direction and the hand’s orientation are extracted via 3D hand pose estimation to indicate the robotic EE’s moving direction and orientation, respectively. The number of stretched fingers is detected via two-hand pose estimation to represent decimal digits for selecting robot joints and inputting numbers. Finally, we integrate these three manners seamlessly to form a programming framework.We conducted two interaction experiments. The reaction time of the proposed hand gestures in indicating randomly given instructions is significantly less than that of other gesture sets, such as American Sign Language (ASL). The accuracy of our method in compound shape reconstruction is much better than that of hand movement trajectory-based methods, and the operating time is comparable with that of teach pendants.     

基于Kinect的指尖检测与手势识别方法

针对基于视频的弯曲指尖点识别难、识别率不高的问题,提出一种基于深度信息、骨骼信息和彩色信息的手势识别方法。该方法首先利用Kinect相机的深度信息和骨骼信息初步快速判定手势在彩色图像中所在的区域,在该区域运用YCrCb肤色模型分割出手势区域;然后计算手势轮廓点到掌心点的距离并生成距离曲线,设定曲线波峰与波谷的比值参数来判定指尖点;最后结合弯曲指尖点特征和最大内轮廓面积特征识别出常用的12个手势。实验结果验证阶段邀请了6位实验者在相对稳定的光照环境条件下来验证提出的方法,每个手势被实验120次,12种手势的平均识别率达到了97.92%。实验结果表明,该方法能快速定位手势并准确地识别出常用的12种手势,且识别率较高。     

基于手机手势识别的媒体控制界面

提出一种能够识别通过手机示意的自然手势、进而控制媒体播放的通用型人机界面。用户通过挥动个人的手机表达操作意图,由手机内置三轴加速度传感器获取相应的手势数据,采用动态时间弯曲等多种算法对用户的手势进行识别,实现对多媒体播放的通用控制。实验结果表明,该界面对手机的几种通用手势均能获得较高的识别率,能在实际应用中对媒体进行简单、方便的控制。     

基于Leap Motion的动态手势识别

动态手势识别作为人机交互的一个重要方向，在各个领域具有广泛的需求。相较于静态手势，动态手势的变化更为复杂，对其特征的充分提取与描述是准确识别动态手势的关键。为了解决对动态手势特征描述不充分的问题，利用高精度的Leap Motion传感器对手部三维坐标信息进行采集，提出了一种包含手指姿势和手掌位移的特征在内的、能够充分描述复杂动态手势的特征序列，并结合长短期记忆网络模型进行动态手势识别。实验结果表明，提出的方法在包含16种动态手势的数据集上的识别准确率为98.50%；与其他特征序列的对比实验表明，提出的特征序列，能更充分准确地描述动态手势特征。     

Recognizing human gestures in videos by modeling the mutual context of body position and hands movement

In our days, due the evolution of high-speed computers, the old Human–Computer Interface (HCI) legacies based on mouse and keyboard are slowly becoming obsolete and cannot be accurate enough and respond in a timely manner to the flow of information today. This is why new ways of communicating with the computer have to be researched, the most natural one being the use of gestures. In this paper, a two-level architecture for recognizing human gestures from video frames is proposed. The architecture makes use of several feed-forward neural networks to compute the gestures based on the Haar-like features of body, hand and finger as well as a stochastic-free context grammar that is employed to comprise the mutual context between body pose and hand movement. Trained and tested on 10 gestures (Swipe Right, Swipe Left, Swipe Up, Swipe Down, Horizontal Wave, Vertical Wave, Circle, Point, Palm Up and Fist) the over 94 % accuracy of the system surpasses the current state of the art and compared with a system with no mutual context between body position and hand movement our proposed architecture shows an increase in accuracy with up to 7 %.     

A new hand finger movements’ classification system based on bicoherence analysis of two-channel surface EMG signals

Neural Computing and Applications - In this study, two-channel surface electromyography (sEMG) signals were used to classify hand finger movements. Bicoherence analysis of the sEMG signal recorded...     

A USER-DEPENDENT EASILY-ADJUSTED STATIC FINGER LANGUAGE RECOGNITION SYSTEM FOR HANDICAPPED APHASIACS

Unlike sign language, which usually involves large-scale movements to form a gesture, finger language, suitable for handicapped aphasiacs, is represented by relatively small-scale hand gestures accessible by a mere change of the bending manner of a patient's fingers. Therefore, we need a system that can tackle the specificity of each handicapped aphasiac. We propose a system that fulfills this requirement by employing a programmable data glove to capture tiny movement-related finger gestures, an optical signal value-parameterized function to calculate the finger bending degrees, and an automatic regression module to extract most adequate finger features for a specific patient. The selected features are fed into a neural network, which learns to build a finger language recognition model for the specific patient. Then the system can be available for use by the specific user. At the time of this writing, the achieved average success rate was 100% from unbiased field experiments.