采用多尺度注意力机制的远程监督关系抽取

针对目前大多数关系抽取模型中局部特征及全局特征利用不充分的缺点,该文提出一种采用多尺度注意力机制的远程监督关系抽取模型。在词语层面,通过在池化层构建权重矩阵来衡量词语与关系的相关程度,从而捕捉句子中重要的语义特征;在句子层面,采用注意力机制将预测关系与句子进行相关性比较,获得句子级别的重要信息。模型在NYT数据集上平均准确率达到78%,表明该模型能够有效地利用多尺度特征,并且提高远程关系抽取任务的准确率。     

融合注意力机制的对抗式半监督语义分割

图像语义分割任务是计算机视觉领域重要研究课题之一。当前基于全卷积神经网络的语义分割算法存在像素之间缺乏关联性、卷积核感受野小于理论值、人工标记数据集标签成本大等问题。为了解决上述问题,提出了一种融合注意力机制的对抗式半监督语义分割模型。将生成对抗网络应用到图像语义分割中,增强像素点之间的关联性;提出模型在生成网络中加入自注意力模块和多核池化模块以对长距离语义信息进行融合,扩大了卷积核感受野;在PASCAL VOC2012增强数据集和Cityscapes数据集上进行了大量实验,实验结果证明了该方法在图像语义分割任务中的有效性和可靠性。     

基于动态掩蔽注意力机制的事件抽取

事件抽取(event extraction)是自然语言处理(natural language processing,NLP)中的一个重要且有挑战性的任务,以完成从文本中识别出事件触发词(trigger)以及触发词对应的要素(argument)。对于一个句子中有多个事件的多事件抽取任务,提出了一种注意力机制的变种——动态掩蔽注意力机制(dynamic masked attention network,Dy MAN),与常规注意力机制相比,动态掩蔽注意力机制能够捕捉更丰富的上下文表示并保留更有价值的信息。在ACE 2005数据集上进行的实验中,对于多事件抽取任务,与之前最好的模型JRNN相比,Dy MAN模型在触发词分类任务上取得了9. 8%的提升,在要素分类任务上取得了4. 5%的提升,表明基于Dy MAN的事件抽取模型在多事件抽取上能够实现领先的效果。     

基于双重注意力机制的远程监督中文关系抽取

相比于传统有监督的中文关系抽取方法，基于远程监督的方法可极大地避免训练语料匮乏的问题，因此得到了广泛关注。然而，远程监督方法的性能却严重受困于构建语料过程中引入的错误标签，因此为缓解噪声数据所带来的影响，提出一种基于双重注意力机制的关系抽取模型。该模型可通过双向门限循环单元（Bidirectional Gated Recurrent Unit，BI-GRU）网络获取训练实例的双向上下文语义信息，并利用字符级注意力机制关注实例中重要的语义特征，同时在多个实例间引入实例级注意力机制计算实例与对应关系的相关性，以降低噪声数据的权重。在基于互动百科构建的中文人物关系抽取语料上的实验结果表明，该模型相比于单注意力机制模型可有效利用实例中所包含的语义信息并降低错误标签实例的影响，获取更高的准确率。     

融合注意力机制和BiLSTM的人机交互语言训练系统研究

为提高英语语言训练的准确性,提出一种基于注意力机制和BiLSTM的对话意图识别方法及系统。首先,构建本人机交互对话语言训练系统框架;然后重点对系统中的自然语言理解模块和对话管理模块进行设计。其中,搭建基于融合注意力机制的语言理解模型,从而提高对语言意图识别的能力,提出基于槽框架和状态机的对话管理方法,以提高系统对话的灵活性和可扩展性;最后对构建的语言理解模型、对话管理方法及人机交互的语言训练系统进行测试。结果表明：基于融合注意力机制的英语课程训练语言理解模型对语义信息获取的准确率达到了96.1%;基于槽框架和状态机的对话管理方法适应性强、维护简单、可扩展性好;基于人机交互的语言训练系统所有功能模块都能正常运行,能满足英语自主训练的要求。     

融合注意力机制和BiLSTM的人机交互语言训练系统研究

为提高英语语言训练的准确性,提出一种基于注意力机制和BiLSTM的对话意图识别方法及系统。首先,构建人机交互对话语言训练系统框架;然后重点对系统中的自然语言理解模块和对话管理模块进行设计。其中,搭建基于融合注意力机制的语言理解模型,从而提高对语言意图识别的能力,提出基于槽框架和状态机的对话管理方法,以提高系统对话的灵活性和可扩展性;最后对构建的语言理解模型、对话管理方法及人机交互的语言训练系统进行测试。结果表明：基于融合注意力机制的英语课程训练语言理解模型对语义信息获取的准确率达到了96.1%;基于槽框架和状态机的对话管理方法适应性强、维护简单、可扩展性好;基于人机交互的语言训练系统所有功能模块都能正常运行,能满足英语自主训练的要求。     

基于注意力交互机制的层次网络情感分类

目前关于商品评论的深度网络模型难以有效利用评论中的用户信息和产品信息.提出一种基于注意力交互机制的层次网络(HNAIM)模型.该模型利用层次网络对不同粒度语义信息进行提取,并通过注意力交互机制在层次网络中通过捕捉用户、产品中的重要特征来帮助提取文本特征.最终将用户视角下的损失值和产品视角下的损失值作为辅助分类信息,并利...     

基于类卷积交互式注意力机制的属性抽取研究

在基于深度学习的属性抽取研究中,注意力机制是常用的模型之一.目前,面向属性抽取的注意力机制存在2个局限性：其一,注意力机制多为自注意力机制,这是一种全局式注意力机制,其将不相关的噪音(距离目标词较远且与之不相关的词)带入注意力向量的计算;其二,目前的注意力机制多为单层注意力机制,注意力一次建模后缺少交互性.针对这2个局限性,提出一种面向属性抽取的类卷积交互式注意力机制.该方法先将目标句输入到双向循环神经网络,借以获得每个词的隐式表达,再经过类卷积交互式注意力机制进行表示学习.类卷积交互式注意力机制分为2层注意力计算：第1层按序(从句首到句末)通过滑动窗口控制每个词的上下文宽度,并计算每个词的注意力分布向量;第2层将第1层的注意力分布向量与所有单词进行交互注意力计算,将得到的注意力向量与第1层的注意力向量拼接,最终输入到条件随机场进行属性标记.在2014—2016语义评估(semantic evaluation, SemEval)官方数据集上验证了模型的有效性.相比于基线模型,在4个数据集上的F1值分别提高了2.21,1.35,2.22,2.21个百分点.     

基于阶段注意力机制的电力线提取算法

电力系统维护是电力系统稳定运行的重要保障,应用智能算法的无人机电力巡检则为电力系统维护提供便捷。电力线提取是自主电力巡检以及保障飞行器低空飞行安全的关键技术,结合深度学习理论进行电力线提取是电力巡检的重要突破点。本文将深度学习方法用于电力线提取任务,结合电力线图像特点嵌入改进的图像输入策略和注意力模块,提出一种基于阶段注意力机制的电力线提取模型（SA-Unet）。本文提出的SA-Unet模型编码阶段采用阶段输入融合策略（Stage input fusion strategy, SIFS）,充分利用图像的多尺度信息减少空间位置信息丢失。解码阶段通过嵌入阶段注意力模块（Stage attention module,SAM）聚焦电力线特征,从大量信息中快速筛选出高价值信息。实验结果表明,该方法在复杂背景的多场景中具有良好的性能。     

基于串口通讯的多通道人机交互系统

介绍了系统的工作原理,建立了信息交流和控制的系统结构,将面向对象和基于事件驱动的处理方法应用于通信协议的建立和通信控制过程.结合具体通信控制单元三菱PLC和FX1N-232-BD与PC串口RS-232C的通信,编写了算法和通信控制的代码,经实验证明,通信控制系统运行可靠.     

基于Tri-Training和数据剪辑的半监督聚类算法

提出一种半监督聚类算法,该算法在用seeds集初始化聚类中心前,利用半监督分类方法Tri-training的迭代训练过程对无标记数据进行标记,并加入seeds集以扩大规模;同时,在Tri-training训练过程中结合基于最近邻规则的Depuration数据剪辑技术对seeds集扩大过程中产生的误标记噪声数据进行修正、净化,以提高seeds集质量.实验结果表明,所提出的基于Tri-training和数据剪辑的DE-Tri-training半监督聚类新算法能够有效改善seeds集对聚类中心的初始化效果,提高聚类性能.     

基于多层注意力机制的回指消解算法

在信息抽取过程中,无法被判别的回指易造成信息抽取不完整的情况,这种指代关系可通过分析当前语境下的指代部分、被指代部分、周围的信息及原文内容生成的唯一判别信息进行判断。为此,构建一个多层注意力机制模型,在不同层次上对上述信息进行基于注意力机制的概率计算,利用最终结果判别回指关系是否成立。在指代部分与被指代部分向量化后,通过2个注意力层上的4次概率计算,使每一个训练结果在判别之前都具有唯一性。在OntoNotes 5.0数据集上的实验结果表明,该模型F值在显性指代和零指代均存在的条件下为70.1%,在存在零指代的条件下为60.7%,高于尹庆宇等人提出的模型。     

基于不完备标签数据的半监督聚类算法

针对seeded-K-means和constrained-K-means算法要求标签数据类别完备的限制,本文提出了基于不完备标签数据的半监督K-means聚类算法,重点讨论了未标签类别初始聚类中心的选取问题.首先给出了未标签类别聚类中心最优候选集的定义,然后提出了一种新的朱标签类别初始聚类中心选取方法,即采用K-mea...     

基于人机交互技术的小区车辆出入管理系统设计

介绍了基于人机交互技术和单片机技术的小区车辆出入管理系统。设计以人机交互技术作为基础,注重人-机间的对话,系统中语音与LCD显示器相互辅助进行提示,同时加入了小区剩余停车车位的LCD实时显示功能。介绍了该系统功能设计、系统软件设计等。     

基于双分支融合注意力机制的图像分割算法

针对DeepLabV3+在特征提取阶段忽略了不同尺度特征重要程度出现的部分细节信息损失导致图像分割不细致,提出一种融合双分支特征提取和注意力机制的改进算法. ResNet101骨干网络初步提取出的特征图作为注意力机制的输入特征,解决了网络退化及梯度消失的问题,也能够捕获到被DeepLabV3+忽略的图像细节信息;设计双分支特征提取机制扩大特征提取能力,细化图像边缘信息以优化网络对不同尺度特征关注不均的问题;同时,联合采用交叉熵损失和类别不平衡函数两种损失函数作为损失函数,通过聚焦于前景样本降低背景的影响,提高算法分割精度.实验结果表明,改进算法在PASCAL VOC 2012和CityScapes数据集上的平均交并比(MIoU)值分别达到了79.92%和68.59%,与经典算法和基于DeepLabV3+改进的算法相比,特征提取的准确性有所提高,分割效果更优.