基于SSVEP_SSA融合的混合脑机接口研究

针对目前基于体感选择性注意范式的脑机接口控制指令数少,信息传输率低等缺点,提出了一种全新的多模态混合脑机接口系统。该系统融合稳态视觉刺激(SSVEP)和体感选择性注意范式(SSA),在外部视觉和体感刺激的作用下,诱发大脑产生稳态视觉电位和事件相关去同步现象。同时,为了解决传统脑电信息特征提取中需要大量先验知识等问题,引入深度学习算法对混合脑机接口信息进行意图解码,该方法将多通道的时域信息转换成具有时-频-空域三维特征的二维特征图。对8名受试者的离线实验显示,平均识别准确率达到81. 35%,确认了所提出的基于SSVEP_SSA融合的多模态混合脑机接口是可行的,实现了脑机接口(BCI)系统的指令集扩展和高精度解码。     

基于非侵入式脑-机接口的机器臂控制系统

本研究旨在设计实现一套基于非侵入式脑-机接口的脑控机器人系统,使其能够根据用户意愿在三维空间完成机器臂的操控。在构建的脑控机器人系统中,结合了DENSO公司生产的6轴机器臂与15目标的稳态视觉诱发电位脑-机接口。通过自主设计的可视系统界面,用户只需注视以一定频率闪烁的目标块即可完成对机器臂输出动作命令的控制。实验中所有受试者均能通过意愿控制机器臂完成整个抓取任务,完成任务的平均时间为116.64±26.31秒。实验结果显示所构建的稳态视觉诱发电位脑-机接口能够对机器臂进行精确且鲁棒地控制,表明所构建的脑控机器人系统允许用户在未知环境下实现实时操控机器臂的目标。     

基于改进共空间模式与视觉反馈的闭环脑机接口

为提高脑卒中等神经损伤患者在下肢康复训练过程中的主动参与度,设计了基于人体下肢运动想象与视觉反馈的在线闭环脑机接口,并建立了基于互相关熵诱导度量与子频带分析的改进共空间模式算法,提高人体下肢运动意图的识别率。针对运动想象脑电信号信噪比低和难以精确识别等问题,在传统共空间模式算法基础上,利用互相关熵诱导度量准则改进其目标函数,实现了目标函数中距离项属性的动态调整,降低对噪声的敏感性,提高算法鲁棒性;利用脑电信号不同频段蕴含信息不同的特点,使用9个子频带滤波器对信号进行滤波,对每个子频带信号分别提取特征,并进行特征融合,建立基于互相关熵诱导度量与子频带分析的改进共空间模式算法。其次,基于人体下肢运动想象的脑控试验范式,收集下肢运动想象(空想、脚动和腿动)的脑电数据,采用支持向量机(SVM)建立分类模型,优化设计模型参数。在上述研究基础上,建立了以改进共空间模式为特征提取算法,SVM为分类器的脑机接口。进而,在被试执行运动想象的同时,通过虚拟现实场景中虚拟人物的肢体动作给予用户视觉反馈,构建了闭环的脑机交互系统。通过试验验证了改进共空间模式算法的有效性和闭环脑机接口的可行性,初步实现了闭环脑机交互接口。     

基于表情辅助的假手脑控方法

针对传统纯意念运动想象脑控范式和稳态视觉诱发脑控范式存在范式训练难度高、设备集成复杂及高成本、不易随身携带等问题,借助表情辅助脑电信号适应性广、识别率高和易于便携化系统集成的优势,提出了基于表情辅助的假手脑控方法;研究构建了一种基于表情辅助的假手便携可穿戴脑控系统,包括硬件选型设计与系统组建,及表情辅助脑电信号分类识别算法和假手控制算法的设计研究与软件模块开发等,实现提眉、皱眉、左撇嘴和右撇嘴4种辅助表情脑电信号的检测识别,对应完成假手的手指张开、手指闭合、手腕内旋和手腕外旋4个动作的控制,并进行在线实验验证。结果表明：基于表情辅助的假手脑控方法不仅优于传统的稳态视觉诱发脑控范式（去掉了系统中原所必须的稳态视觉诱发器）,而且优于纯意念运动想象脑控范式,平均在线识别与控制准确率高于85%。     

基于运动想象脑电的机器人连续控制系统研究

脑-机接口(BCI)旨在提供人脑和外部设备之间沟通的桥梁。目前,基于运动想象脑电信号的机器人控制系统主要是离散控制,而连续控制对于用户和环境的自然交流至关重要。基于此,设计了一种基于运动想象脑电的机器人二维连续控制系统,受试者进行运动想象时,发送给机器人的控制信号同时包含水平方向和垂直方向的控制信号,可以控制机器人在二维平面内运动。系统采用便携式脑电设备采集受试者运动想象时的脑电信号,经特征提取和转化后用来控制虚拟光标和机器人。实验中,首先通过一维和二维的虚拟光标控制任务来提高受试者控制机器人的能力;然后将光标控制和机械臂控制相结合,使得机械臂运动与光标移动同步;最终受试者通过运动想象脑电控制机械臂完成连续抓取任务。6名受试者在该系统上进行了多次实验,二维连续控制机械臂对4个目标的抓取成功率达到85%。     

基于局部视觉的特定工件移动机械臂动态抓取方法

机械臂操作动态工件在分拣、上下料等作业场合有着广泛的需求。针对特定型号工件的移动机械臂动态抓取问题，提出一种基于特定工件ID编号识别和机械臂抓取位姿预测的运动工件鲁棒抓取方法。该方法选取AprilTag视觉标签来标记工件，通过图像采集、自适应阈值处理、连续边界分割、四边形拟合、快速解码等数据处理过程，获取局部视野下运动工件的ID、位置和姿态，实现工件的初次定位。结合移动机械臂的运动规划工艺策略，对特定型号目标工件的抓取位姿进行计算，实现抓取时刻的工件位姿预测。搭建了动态抓取实验平台进行了视觉标签ID识别、工件定位、动态目标抓取实验。结果表明，所提出的移动机械臂动态抓取方法，可以准确识别特定型号工件，并能够对不同运动速度的特定工件进行鲁棒抓取，抓取成功率平均值约为98%。该方法在智能产线的移动机械臂上下料等场景有着广泛的应用价值。     

基于双目视觉定位的机械臂智能抓取控制研究

随着科技的发展，机械臂开始往更加智能化、自动化的方向发展，单单依靠传统的通过示教器执行单一指令的机械臂已远远不能满足各类复杂的生产和服务。为了让机械臂更加智能化和科技化，通过赋予其双目视觉感知模块和智能控制系统，对机械臂智能抓取控制进行研究。采用HSR-Co605协作机械臂，基于双目视觉相机在ROS系统进行仿真建模、运动规划、障碍物规避等试验；在复杂环境下实现了机器人双目视觉模块自主识别定位物体，同时对周围障碍物进行避障规划，实现机械臂自主运动规划及智能抓取操作。在不同场景下进行了智能抓取试验，并对其试验结果进行了分析，为后续机械臂能更好地适应复杂的工作环境以及产业化发展提供参考。     

基于Kalman滤波的移动机械臂动态抓取研究

针对机械臂在交通路锥自动取放系统中的抓取问题,对系统运动过程中路锥位置的预测、机械臂的抓取策略等方面进行了研究。提出了一种基于Kalman滤波与位置伺服的路锥动态抓取方法,建立了路锥的相对运动模型,采用Kalman滤波算法对路锥位置进行了预测,以补偿系统动态抓取的滞后;采用矢量积法构造了机械臂的雅克比矩阵,从而建立了基于路锥位置伺服的运动控制模型;在此基础上,论述了路锥在不同距离时机械臂的两个运动阶段,提出带速度补偿的抓取方法,使得机械臂可以在移动过程中完成对路锥的抓取;通过所搭建的实验平台,对所提方法进行了验证。研究结果表明:该方法能够有效地提高机械臂的路锥跟踪精度,避免了动态抓取时机械臂与路锥间的直接碰撞,使整个抓取过程更加平稳。     

基于体感电刺激诱发P300的脑机接口

基于视听刺激诱发P300信号是目前脑机接口普遍使用的范式,然而众多病患存在视听功能障碍,无法由视听刺激获得稳定准确的P300信号,传统的P300脑机接口存在诸多局限性,因此,设计了一种以空间体感电刺激作为新范式的P300-脑机接口系统。实验采集了15名健康受试者注意不同手指电刺激时的脑电信号,仅对单一导联的数据进行分析处理,得到分类准确率和信息传输速率。结果显示,所有受试者可以成功诱发出P300特征信号,潜伏期在300ms附近;所有受试者的平均分类正确率达到77.96%±5.04%,高于随机水平(25%);信息传输速率最高可达15.97 bit/min。实验结果表明,采用基于空间位置的体感电刺激诱发P300的脑机接口系统,可以获得稳定的P300特征信号,是一种新的诱发模式;此外,仅采用一个导联的数据,即可达到较好的分类正确率和信息传输速率,方便用户使用。     

基于小波和神经网络的视觉诱发电位识别方法

在基于瞬态视觉诱发电位的脑机接口研究中，通过视觉诱发电位信号的提取与识别产生脑机接口控制信号。采用累加平均和小波滤波提取强噪声背景下微弱的视觉诱发电位。在小波变换域求取特征向量，将特征向量输入感知器进行视觉诱发电位模糊识别，产生脑机接口控制信号。实验表明，小波变换域特征向量提取方法能有效地实现信号的去噪、降维和特征提取，基于神经网络的模糊识别算法能比较准确地识别视觉诱发电位，有利于提高脑机接口的通讯率。     

面向智能轮椅脑机导航的高频组合编码稳态视觉诱发电位技术研究

针对目前基于低频稳态视觉诱发电位的脑-机接口(Steady state visual evoked potential-brain-computer interface,SSVEP-BCI)系统存在目标数目少、刺激时间长、易诱发疲劳和癫痫等不足导致的系统稳定性不高、信息传输率低问题,提出高频组合编码稳态视觉诱发电位(Combination coding-based high-frequency SSVEP,CCH-SSVEP)范式,通过n个稳态高频排列组合实现刺激编码,理论上可呈现nn个刺激目标,解决单频率呈现目标数量受限的问题;同时,针对组合刺激编码产生的变频脑电信号时序特征,提出基于改进的希尔伯特-黄变换(Improved Hilbert-huang transform,IHHT)的变频脑电信号特征提取与局部频谱极值目标识别方法,针对经验模态分解(Empirical mode decomposition,EMD)在变频脑电信号处理应用中的端点和停止准则优用问题,分别对比优选端点切线预测法和固定筛选10次停止准则,提出广义过零点(Generalized zero-crossing,GZC)算法计算瞬时频率,并在应用中通过差异化组合优化选择频率刺激编码,最终提高了目标信号的辨识效率,从而提升CCH-SSVEP的通讯传输速率和可靠性;再利用高频SSVEP(高于25 Hz)的刺激闪烁融合效应,提高使用者的舒适度,降低诱发疲劳和癫痫的可能。将该方法应用于智能轮椅脑-机导航控制中,通过3个基本频率的对比试验(低频传统SSVEP范式呈现3个目标和高频CCH-SSVEP范式呈现6个目标)验证该方法的技术优势,保障了基于高频组合编码稳态视觉诱发电位的智能轮椅导航高效无损功能实现。     

基于LabWindows/CVI的单关节机械臂随动控制研究

基于LabWindows/CVI对单关节机械臂随动控制系统进行了设计。以交流伺服电机、伺服驱动器、控制器和编码器构成控制系统硬件部分;基于LabWindows/CVI编写上位机控制软件,DMC1410运动控制卡编写下位机控制软件,共同构成控制系统软件部分。以编码器检测机械臂旋转角度,并将信号反馈到上位机与指令信号求差作为控制器输入信号,以控制器输出信号作为伺服驱动器驱动信号控制伺服电机运动,从而实现位置闭环控制。对所设计的控制系统进行了实验验证,结果表明,机械臂能够精确的跟随指令信号,位置跟随误差小于0.5°。     

复合肢体想象动作脑-机接口中黎曼核支持向量机递归特征筛选方法

相对于传统的想象动作脑-机接口,复合肢体想象动作脑-机接口有效提升了指令复杂度,具有更好的中风后康复治疗潜力,但当前较低的识别精度限制了其临床应用。为提升复合肢体动作想象相关脑电信号特征的特异性并降低不同通道间的信息混淆,提出了一种基于脑电流形特征信息刻划的黎曼核支持向量机递归特征筛选方法(Riemann kernel support vector machine recursive feature elimination, RKSVM-RFE)。采集了10位被试在进行想象7种不同肢体部位动作时的脑电信号数据,利用RKSVM-RFE方法进行特征优化和建模,对脑电数据对应的运动意图进行识别。结果显示,基于所提方法的平均识别正确率达到了77%,相比于经典的CSP方法提高了近7%,并且能够消减近50%的脑电信息采集通道,可有效降低系统复杂性。研究结果为基于想象动作脑-机接口的康复技术发展提供了新的思路,值得进一步发展。     

SSVEP-BCI抗自由眨眼稳定性的ANFIS方法

针对伪迹干扰下脑机接口稳定性问题,以自由眨眼动作下稳态视觉诱发脑机接口的稳定性为切入点,进行了稳态视觉诱发脑电信号去眼电伪迹(electroculography,简称EOG)研究。提出了一种基于自适应神经模糊推理系统(adaptive neuro-fuzzy inferency system,简称ANFIS)的无眼电电极下脑电信号眼电伪迹的自适应消除方法并进行实验,验证该方法对自由眨眼动作下稳态视觉诱发脑机接口稳定性的提高。该伪迹消除方法通过自适应神经模糊推理系统逼近眼电信号源至眼电伪迹的非线性变换函数,达到消除脑电信号中眼电伪迹的目的。算法通过前额叶区脑电信号获得替代性眼电信号源,经延时处理后,输入自适应噪声消除器中以消除各通道脑电信号中的眼电伪迹。通过自由眨眼动作下稳态视觉刺激实验,对该伪迹消除方法中各参数及函数的选择进行了研究,并将该方法与经典滤波和传统独立成分分析(independent component analysis,简称ICA)进行对比,证明了该方法在消除眼电伪迹的情况下保留了稳态视觉刺激的有效信息,识别正确率较经典滤波相比最高提高了6.25%,较传统ICA相比最高提高10%,保证了稳态视觉诱发脑机接口在自由眨眼动作下的稳定性。     

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。     

机器人平滑抓取移动物体的运动规划方法

结合机器视觉和运动规划方法,对动态环境中移动物体的平滑抓取进行了研究。设计了一种运动物体跟踪算法,能够实现无障碍环境下移动物体的平滑抓取;针对环境中存在动态障碍物的情况,设计了一种基于排斥矢量的动态避障算法,与运动物体跟踪算法相结合,实现了机器人先避障后平滑抓取;基于机器人操作系统（Robot operating system,ROS）框架,在5自由度的KUKA Youbot机械臂平台上实现了无障碍环境下对传送带上物体的平滑抓取,以及动态障碍物环境中的平滑抓取,试验结果验证了所设计算法的优越性。     

基于阵列式触觉传感器的操作意图实时感知

针对协作型机器人,自主研发了一款柔性阵列式触觉传感器,将其封装为可感知人手抓握姿态与力大小的触觉手柄,提出一种基于卷积神经网络(CNN)的可区分人手松抓握、紧抓握与无意间触碰触觉手柄3种模式状态的方法,识别准确率达到98.2%。提出一种可变导纳控制策略,利用人手抓握手柄状态,实时调节机械臂虚拟阻尼,基于此触觉手柄可实时感知人手局部变换姿态,准确估计操作者操作意图,并将局部感知信息传输给机器人控制其运动,以UR协作型机器人为实验平台,以触觉手柄为感知输入并进行人机交互实验,对机械臂运动精度做了评价。实验表明触觉手柄具有良好的意图感知能力。     

机械臂控制实验系统研究

针对机械臂在教学实验方面的应用相对欠缺这个问题,介绍了一种实验用多自由度机械臂计算机控制系统。系统由上下位机两级组成,下位机实现关节电机伺服控制、机械臂运行参数自动检测及与上位机的通信。上位机通过视频图像识别技术来规划运动路径,下传命令至下位机,实现自动循迹、工作状态实时显示、指定颜色或形状物体自动抓取等功能。实验结果表明,该系统达到了预期功能。     

基于形状记忆合金驱动的柔性机械臂研究

提出了一种基于形状记忆合金(SMA)弹簧驱动的柔性驱动模块,柔性驱动模块能够实现三维空间弯曲变形运动。以柔性驱动模块为模块单元,模块化组装了四关节柔性机械臂。基于SMA电阻变化特性,建立了SMA电阻自反馈控制系统,开展了柔性驱动器变形的参数化分析。进一步建立了柔性机械臂的多模态运动控制系统,实现了柔性机械臂的空间蜷缩抓取运动,通过实验验证了柔性机械臂灵活的空间运动能力。     

基于运动捕捉下的7R机械臂的实时控制

针对7自由度机械臂的冗余度导致机械臂反解的复杂性引起的延迟性控制问题,提出一种新的人机交互的控制方式。设计一种将Optitrack运动捕捉系统与Robai7R机械臂数据间无隙链接、传输的方法,在Win7系统下,利用 Microsoft Visual Studio的成员VC来建立相应的服务器与客户端,通过数据处理算法使不同系统数据之间相互转化并实时传输;与传统的机械臂逆运动学求解的方法相比,采用一种综合的方法,将运动捕捉系统中不同人臂位置信息反解为机械臂关节角,并得出解析解,减小了控制系统的运算量,实现机械臂的实时控制,实时满足试验者与Robai7R机械臂的同步运动;通过人机同步连续达点运动及远程抓取试验,验证了该方法的有效性,取得了满意的效果。