GAT:用于自然语言理解的基于全局的对抗训练

在自然语言处理领域中，基于梯度的对抗训练是一种能够有效提高神经网络鲁棒性的方法。首先，该文针对现有的对抗训练算法效率较低的问题，提出基于全局扰动表的初始化策略，在提高神经网络的训练效率的同时保证初始化扰动的有效性；其次，针对传统的归一化方法忽略了令牌之间的相对独立性问题，提出基于全局等权的归一化策略，保证令牌之间的相对独立性，避免少数样本主导对抗训练；最后，对于使用可学习的位置编码的预训练语言模型，提出基于全局多方面的扰动策略，使得神经网络更具鲁棒性。实验结果表明，该方法能有效提升神经网络的性能。     

基于BVANet的财经新闻情感分析

股票市场的预测一直以来是金融大数据分析领域一项难题，而财经新闻中包含的内在信息对市场表现有很大影响。提出了一种基于BERT的向量自回归融合网络(BVANet)，该网络通过BERT将财经新闻情感量化，后结合市场表现联合构建金融时间序列向量自回归(VAR)模型，最终实现股票的预测。结果表明，与传统算法相比，BVANet在提取新闻情绪信息和模型预测中取得了更好的效果，新闻的情绪对市场表现有预测作用。该研究可为自然语言处理在金融预测的应用提供实践参考。     

融合LSTM的自然语言转结构化查询语句算法的研究与设计

自然语言转结构化查询语句(Natural Language to SQL,NL2SQL)是信息领域一个重要课题.目前前沿的NL2SQL工作都是针对英文数据集，而处理英文数据的方法直接应用到中文上往往难以取得很好的效果.本文首先对传统的SQLNet模型进行了改进，在其中融入了预训练模型，增强了其提取特征的能力；之后又分别对分类模型和条件值模型进行了改进：在分类模型中增加了LSTM进一步捕捉特征，在条件值模型中使用正则表达式等手段对特殊的条件子句进行了预处理.实验表明，本文对分类模型和条件值模型所做的改进都能有效提升模型的表达效果.     

基于自然语言生成的协同制造企业图表数据分析方法

为充分利用协同制造企业在生产过程中的非结构化图表数据，提出一种基于自然语言生成的图表数据分析方法。首先使用光学字符识别技术和关键点检测网络对图表中的文本信息和数据信息进行识别和提取；随后将用户需求作为输入，通过自然语言生成模型输出相应的图表文本描述，使其可以根据用户不同的意图，生成智能和准确的图表分析结果。该方法图表提取的精度为88.6%,文本描述的评估得分为86.4%。通过在企业的应用案例和相关调研也表明该方法能够根据用户需求对不同类型的图表进行准确的分析。     

基于BERT的双特征融合注意力的方面情感分析模型

方面情感分析旨在预测句子或文档中一个特定方面的情感极性，现阶段大部分的研究都是使用注意力机制对上下文进行建模。然而，目前情感分类模型在使用BERT模型计算表征之间的依赖关系抽取特征时，大多未根据不同的语境背景考虑上下文信息，导致建模后的特征缺乏上下文的语境信息。同时，方面词的重要性未能得到充分的重视而影响模型整体分类的性能。针对上述问题，提出双特征融合注意力方面情感分析模型（DFLGA-BERT），分别设计了局部与全局的特征抽取模块，充分捕捉方面词和上下文的语义关联。并将一种改进的“准”注意力添加到DFLGA-BERT的全局特征抽取器中，使模型学习在注意力的融合中使用减性注意力以削弱噪声产生的负面影响。基于条件层规泛化（CLN）设计了局部特征和全局特征的特征融合结构来更好地融合局部和全局特征。在SentiHood和SemEval 2014 Task 4数据集上进行了实验，实验结果表明，与基线模型相比该模型在融入了上下文语境特征后取得了较明显的性能提升。