基于关系推理与门控机制的视觉问答方法

针对现有的注意力机制存在缺乏对视觉对象间关系的理解能力及准确度较差的问题,在注意力机制的基础上增加关系推理模块与自适应门控机制. 该方法利用注意力机制关注多个与问题相关的视觉区域,利用关系推理模块中的二元关系推理与多元关系推理加强视觉区域间的联系. 将分别得到的视觉注意力特征与视觉关系特征输入到自适应门控中,动态控制2种特征对预测答案的贡献. 在VQA1.0及VQA2.0数据集上的实验结果表明：该模型与DCN、MFB、MFH及MCB等先进模型相比,在总体精度上均有约2%的提升;利用基于关系推理与门控机制的模型能够更好地理解图像内容,有效地提升视觉问答的准确率.     

基于自注意力和门控机制的答案选择模型

针对现有答案选择方法语义特征提取不充分和准确性差的问题,引入自注意力和门控机制,提出了一种答案选择模型。该模型首先在问题和答案文本内部利用层叠自注意力进行向量表示,并在自注意力模块中让单词和位置分开进行多头注意力;然后将答案句通过卷积神经网络(Convolutional neural network, CNN)得到的向量表示输入注意力层,根据问题生成与问题相关的答案表示,并通过门控机制融合两种表示;最后计算问题和答案文本的相关性分数,得到候选答案的排名和标注。结果表明:该模型与双向长短时记忆网络模型、自注意力模型和基于注意力的双向长短时记忆网络模型相比,在WebMedQA数据集上平均倒数排名分数分别提高了8.37%、4.79%和2.03%,预测答案正确率也有提高。这表明提出的模型能够捕获更丰富的语义信息,有效提升了答案选择的性能。     

基于密集连接网络和多维特征融合的文本匹配模型

针对文本匹配过程中存在语义损失和句子对间信息交互不充分的问题,提出基于密集连接网络和多维特征融合的文本匹配方法. 模型的编码端使用BiLSTM网络对句子进行编码,获取句子的上下文语义特征;密集连接网络将最底层的词嵌入特征和最高层的密集模块特征连接,丰富句子的语义特征;基于注意力机制单词级的信息交互,将句子对间的相似性特征、差异性特征和关键性特征进行多维特征融合,使模型捕获更多句子对间的语义关系. 在4个基准数据集上对模型进行评估,与其他强基准模型相比,所提模型的文本匹配准确率显著提升,准确率分别提高0.3%、0.3%、0.6%和1.81%. 在释义识别Quora数据集上的有效性验证实验结果表明,所提方法对句子语义相似度具有精准的匹配效果.     

基于注意力与双通道网络的方面级情感分析

针对方面级情感分析任务不能充分兼顾句法全面性与语义关联性,且大多数研究中使用的图卷积仅考虑信息自上而下的传播,忽略了信息自下而上的聚合等问题,本文提出了基于注意力与双通道网络的情感分析模型.该模型在扩展依存表示的同时使用自注意力获取具有语义关联的信息矩阵,使用双通道网络结合全局句法与语义关联信息,双通道网络分别侧重于自上而下传播的语义特征与自下而上聚合的结构特征.通道内的图卷积输出会与信息矩阵进行交互注意力起到残差互补的作用,然后通过平均池化完成通道内的任务.最后将基于语义与基于结构的决策融合得到最终的情感分类特征.实验结果表明该模型在三个公开数据集上的准确率与F1值均有提升.     

用于目标情感分类的多跳注意力深度模型

文本情感分类是近年来自然语言处理领域的研究热点,旨在对文本蕴含的主观倾向进行分析,其中,基于特定目标的细粒度情感分类问题正受到越来越多的关注。在传统的深度模型中加入注意力机制,可以使分类性能显著提升。针对中文的语言特点,提出一种结合多跳注意力机制和卷积神经网络的深度模型（MHA-CNN）。该模型利用多维组合特征弥补一维特征注意力机制的不足,可以在没有任何先验知识的情况下,获取更深层次的目标情感特征信息。相对基于注意力机制的LSTM网络,该模型训练时间开销更小,并能保留特征的局部词序信息。最后在一个网络公开中文数据集（包含6类领域数据）上进行实验,取得了比普通深度网络模型、基于注意力机制的LSTM模型以及基于注意力机制的深度记忆网络模型更好的分类效果。     

基于类激活映射-注意力机制的图像描述方法

基于软注意力机制的图像描述算法,提出类激活映射-注意力机制的图像描述方法。利用类激活映射算法得到卷积特征包含定位以及更丰富的语义信息,使得卷积特征与图像描述具有更好的对应关系,解决卷积特征与图像描述的对齐问题,生成的自然语言描述能够尽可能完整的描述图像内容。选择双层长短时记忆网络改进注意力机制结构,使得新的注意力机制适合当前全局和局部信息的特征表示,能够选取合适的特征表示生成图像描述。试验结果表明,改进模型在诸多评价指标上优于软注意力机制等模型,其中在MSCOCO数据集上Bleu-4的评价指标相较于软注意力模型提高了16.8%。类激活映射机制可以解决图像空间信息与描述语义对齐的问题,使得生成的自然语言减少丢失关键信息,提高图像描述的准确性。     

基于多注意力机制集成的非侵入式负荷分解算法

针对输入负荷特征对分解结果的重要程度不同,以及长短时记忆网络（LSTM）在捕捉长时间用电信息的时间依赖性方面受限导致分解误差高等问题,提出一种基于多注意力机制集成的非侵入式负荷分解算法.首先,利用概率自注意力机制对一维空洞卷积提取到的负荷特征进行优化处理,实现重要负荷特征的遴选;其次,采用时间模式注意力机制对LSTM的隐状态赋予权重,从而增强网络对长时间用电信息之间的时间依赖性的学习能力;最后,利用公开数据集UKDALE和REDD对所提分解模型的有效性和创新性进行验证.实验结果表明,与其他多种现有分解算法相比,基于多注意力机制集成的分解算法不仅具备更好的负荷特征遴选能力,而且能更加精确地建立特征之间的时间依赖关系,有效降低了分解误差.     

基于稀疏注意力关系网络的小样本图像分类方法

针对小样本图像分类问题,从卷积操作的局部连接性和基于非局部操作的注意力机制出发,提出了稀疏注意力关系网络(SARN)模型。在非局部操作过程中,利用稀疏策略筛选参与响应计算的相关特征。通过稀疏注意力机制构建不同空间位置相关特征之间的依赖性,切断语义无关特征之间的联系。后续卷积操作对不同空间位置的语义相关特征进行度量,抑制了无关信息的干扰,提高了模型的整体度量能力。通过在Mini-ImageNet和Tiered-ImageNet数据集上进行的一系列实验发现,相较于其他小样本学习模型,SARN模型的性能获得了显著提升。     

基于可分解注意力机制的医疗问句语义匹配研究

问句语义匹配旨在判定给定的两个语句的语义信息是否匹配,在信息检索、自动问答、机器翻译等领域应用广泛,是自然语言处理研究的一个关键问题。现有基于机器学习或深度学习的问句语义匹配任务大多采用对整个句子构建语义信息表示,而忽视了语句各组成部分所蕴含的具体细节信息。提出一种基于可分解注意力机制的语义匹配模型(Decomposable Attention based Semantic Matching,DASM),该模型首先使用软注意力机制将整个序列问句分解为可以独立解决的子问句,使得子问句间权重计算可以并行;然后结合注意力机制充分捕获问句中潜在的语义信息,从而提高问句匹配任务的性能。实验结果表明,本文方法提高了问句语义匹配的准确性和模型性能。     

基于MGCNN的商品评论情感分析

为了解决传统的深度学习模型会忽略语料库中全局词共现信息所包含的非连续和长距离语义的问题。本文提出记忆图卷积神经网络（MGCNN）引入注意力机制的商品评论情感分析方法。首先提取词与词、词与文档之间的关系,以全部的词和文档作为节点,将整个数据集构造成一个异构文本图。再基于图卷积网络（GCN）来构建用于图结构数据的神经网络,利用长短期记忆网络（LSTM）提取上下文相关特征,并使用注意力层获取重要特征。多组对比实验结果表明,本方法的分类效果更好,且随着训练集数据所占比例的降低,其优势更加显著。     

基于注意力机制的车辆运动轨迹预测

基于经典的Convolutional Social LSTM轨迹预测算法,提出一种全新的采用注意力机制的车辆运动轨迹预测算法. 引入横向注意力机制对邻居车辆赋予不同的权重,将车辆历史轨迹经由LSTM得到的特征作为全局特征,通过卷积池化提取轨迹特征作为局部特征,将两者融合作为整体邻居特征信息,用于轨迹预测. 对用于传统轨迹预测的Encoder-Decoder框架进行改进,引入关于历史位置的纵向注意力机制,使得预测的每一时刻都能使用与当前时刻最相关的历史信息. 在NGSIM提供的US101和I80数据集进行验证,结果表明：提出的轨迹预测算法相比其他算法能更精确地预测车辆未来轨迹.     

条件约束下的自我注意生成对抗网络

为了解决生成对抗网络中因生成图像的特征信息表示不足而导致生成效果特征不明显、图像的关键特征信息模糊的问题, 提出了一种条件自我注意生成对抗网络的图像生成方法。该网络结合自我注意生成对抗网络的优点,向生成器和判别器中添加附加条件特征,明确指示模型生成对应的标志性类别信息,将数据的具体维度与语义特征关联起来,用这种方法提取其中的生成模型,使生成特定类型的图像的特征表示更加贴合原始数据分布。实验结果表明,所提出的方法在CelebA和MNIST数据集上的弗雷歇距离值相比较于自我注意生成对抗网络分别约提高了1.26和2.47。验证了所提出的方法相比较于其他的监督类生成模型可以有效地提升图像的质量效果以及多样性,并且可以有效地加快网络的收敛速度。     

基于Att-iBi-LSTM的新闻主题词提取方法研究

针对LSTM网络进行主题词提取时因没有考虑中心词的下文对主题词的影响而导致提取准确率低的问题,提出了一种双向LSTM引入Attention机制模型（Att-iBi-LSTM）的主题词提取方法。首先利用LSTM模型将中心词的上文和下文信息在两个方向上建模;然后在双向LSTM模型中引入注意力机制,为影响力更高的特征分配更高的权重;最后利用softmax层将文档中的词分为主题词或非主题词。并且还提出了一种两阶段模型训练方法,即在自动标注的训练集上进行预训练之后,再利用人工标注数据集训练模型。实验在体育、娱乐和科技3种新闻文本上进行主题词提取任务,实验结果表明本文提出的Att-iBi-LSTM模型与SVM、TextRank和LSTM相比F1值分别提高了13.78%、24.31%和3.32%,使用两阶段训练方法的Att-iBi-LSTM比一阶段训练的F1值提高了1.56%。     

结合改进残差网络和Bi-LSTM的短期电力负荷预测

为充分挖掘电力负荷历史数据的潜在特征,提高短期负荷预测模型的预测精度,提出了一种由改进残差网络（ResNetPlus）、注意力机制（Attention mechanism,AM）和双向长短期记忆网络（Bi-directional long short-term memory,Bi-LSTM）结合而成的残差AM-Bi-LSTM预测模型。该模型将历史负荷、温度和所预测日期的特征作为输入,在Bi-LSTM模型基础上,引入多层改进残差网络提取输入数据的隐藏特征,有效克服了网络隐藏层数加深导致的网络退化问题,使模型的反向传播能力大幅提升;加入注意力机制,分析网络中输入信息与当前负荷的相关性并突出重要信息的影响,从而提高模型的速度与准确率;使用Snapshot策略集成收敛于不同局部极小值的多个模型,以提升模型的准确率和鲁棒性。最后,使用美国ISO-NE数据集进行模拟预测,测试结果表明:所提模型的平均预测精度达到98.27%;在连续的12个月中采用该模型的平均预测精度相比于LSTM模型提高了2.87%;在不同季节下采用该模型的平均预测精度相比于AM-Bi-LSTM和ResNetPlus模型分别提高了1.05%和1.16%。说明所提模型相较于对比模型具有较高的准确率、鲁棒性以及泛化能力。     

融合多尺度和多头注意力的医疗图像分割方法

为了从医疗图像中自动且准确地提取兴趣区域, 提出基于神经网络的分割模型MS²Net. 针对传统卷积操作缺乏获取长距离依赖关系能力的问题, 为了更好提取上下文信息, 提出融合卷积和Transformer的架构. 基于Transformer的上下文抽取模块通过多头自注意力得到像素间相似度关系, 基于相似度关系融合各像素特征使网络拥有全局视野, 使用相对位置编码使Transformer保留输入特征图的结构信息. 为了使网络适应兴趣区域形态的差异, 在MS²Net中应用解码端多尺度特征并提出多尺度注意力机制. 对多尺度特征图依次应用分组通道和分组空间注意力, 使网络自适应地选取合理的多尺度语义信息. MS²Net在数据集ISBI 2017和CVC-ColonDB上均取得较U-Net、CE-Net、DeepLab v3+、UTNet等先进方法更优的交并比指标, 有着较好的泛化能力.     

基于BERT与注意力机制的方面级隐式情感分析模型

在方面级情感文本中存在部分不含情感词的评论句，对其情感的研究被称为方面级隐式情感分析.现有分析模型在预训练过程中可能会丢失与方面词相关的上下文信息，并且不能准确提取上下文中深层特征.本文首先构造了方面词感知BERT预训练模型，通过将方面词引入到基础BERT的输入嵌入结构中，生成与方面词信息相关的词向量；然后构造了语境感知注意力机制，对由编码层得到的深层隐藏向量，将其中的语义和句法信息引入到注意力权重计算过程，使注意力机制能更加准确地分配权重到与方面词相关的上下文.对比实验结果表明，本文模型的效果优于基线模型.