基于段落内部推理和联合问题答案匹配的选择型阅读理解模型

针对当前机器阅读理解方法中仅将问题与段落匹配会导致段落中的信息丢失或将问题和答案连接成单个序列与段落匹配会丢失问题与答案之间的交互,和传统的循环网络顺序解析文本从而忽略段落内部推理的问题,提出一种改进段落编码并且将段落与问题和答案共同匹配的模型.模型首先把段落在多个粒度下切分为块,编码器利用神经词袋表达将块内词嵌入向量求和,其次,将块序列通过前向全连接神经网络扩展到原始序列长度.然后,通过两层前向神经网络建模每个单词所在不同粒度的块之间的关系构造门控函数以使模型具有更大的上下文信息同时捕获段落内部推理.最后,通过注意力机制将段落表示与问题和答案的交互来选择答案.在SemEval-2018 Task 11任务上的实验结果表明,本文模型在正确率上超过了相比基线神经网络模型如Stanford AR和GA Reader提高了9%～10%,比最近的模型SurfaceLR至少提高了3%,超过TriAN的单模型1%左右.除此之外,在RACE数据集上的预训练也可以提高模型效果.     

基于双重多路注意力匹配的观点型阅读理解

观点型阅读理解旨在对于给定的问题和答案段落摘要,判断答案段落摘要相对于问题的观点倾向。现有基于神经网络的模型主要依靠精心设计的匹配网络来捕获各部分文本之间的关系,往往只考虑单向的匹配关系或是采用单一的交互机制对各个文本对之间的关系进行建模,难以有效捕捉观点型问题中问题和答案段落摘要二者之间的潜在关系。为此,提出一种基于双重多路注意力的匹配方法。该方法对问题,答案段落摘要二元组从2个方向同时进行匹配,并采用多种注意力机制学习二者的协同注意力表示,通过双向多视角的交互为最后的观点推断提供更丰富的推理证据。在观点型阅读理解数据集DureaderOpinion上的实验表明,该方法相对于基准模型取得了更好的效果。     

融合ChineseBERT和双向注意力流的中文商品评论方面情感分析

准确分类电商平台中用户评论所包含的多个方面的情感极性,能够提升购买决策的有效性。为此,提出一种融合ChineseBERT和双向注意力流(Bidirectional Attention Flow,BiDAF)的中文商品评论方面情感分析模型。首先,通过融合拼音与字形的ChineseBERT预训练语言模型获得评论文本和方面文本的词嵌入,并采用从位置编码和内存压缩注意力两个方面改进的Transformer来表征评论文本和方面文本的语义信息。然后,使用双向注意力流学习评论文本与方面文本的关系,找出评论文本和方面文本中关键信息所对应的词语。最后,将Transformer和双向注意力流的输出同时输入到多层感知机(Multilayer Perceptron,MLP)中,进行信息级联和情感极性的分类输出。测试结果表明,提出的模型在两个数据集上的准确率分别为82.90%和71.08%,F1分数分别为82.81%和70.98%。     

一种采用机器阅读理解模型的中文分词方法

针对中文分词序列标注模型很难获取句子的长距离语义依赖,导致输入特征使用不充分、边界样本少导致数据不平衡的问题,提出了一种基于机器阅读理解模型的中文分词方法。将序列标注任务转换成机器阅读理解任务,通过构建问题信息、文本内容和词组答案的三元组,以有效利用句子中的输入特征;将三元组信息通过Transformer的双向编码器（BERT）进行预训练捕获上下文信息,结合二进制分类器预测词组答案;通过改进原有的交叉熵损失函数缓解数据不平衡问题。在Bakeoff2005语料库的4个公共数据集PKU、MSRA、CITYU和AS上的实验结果表明：所提方法的F₁分别为96.64%、97.8%、97.02%和96.02%,与其他主流的神经网络序列标注模型进行对比,分别提高了0.13%、0.37%、0.4%和0.08%。     

短期风力发电负荷预测的新方法

以陆上风力发电负荷数据作为研究对象,将注意力机制引入双向长短期记忆与卷积神经网络（CNN）的混合模型来预测短期电力负荷．结果显示:1）注意力机制通过对不同时步的输入进行加权,能够显著提升双向长短期记忆网络的预测性能;2）双向长短期记忆网络-CNN结构比CNN-双向长短期记忆网络结构更适用于短期负荷预测,前者相较后者能够充分利用时序信息,不会在输入初期就丢失关键信息;3）基于注意力机制的双向长短期记忆网络-CNN混合模型的均方根误差（RMSE）、平均绝对百分比误差（MAPE）分别达到了575.35和7.02%,比次佳模型（基于注意力机制的双向长短期记忆网络-CNN混合模型）分别降低了2.75%和9.65%,其在风电短期负荷预测方面有很好的应用前景．      

融合释义与双向交互的成语阅读理解方法研究

中文成语有着独特的抽象语义。在机器阅读理解任务中，为了解决模型不能充分理解成语含义的问题，本文提出一种完形填空式匹配网络。匹配网络将成语与其词典释义以注意力交互的方式融入模型，使成语得到更好的向量表征，并且在段落与候选答案之间采用双向交互的策略。将匹配网络与语言模型(BERT、 ERNIE等)相结合，本文设计出一个针对完形填空式阅读理解任务的模型。实验结果表明，该模型优于传统模型、SKER模型以及结合增强型全局注意力的BERT模型，在中文成语数据集CHID上达到77.0%的准确率。     

基于CBAMs-BiLSTM模型的中国股市预测（英文）

卷积块注意力模块（CBAM）因其可以有效地提高深度学习模型的预测准确性从而在各种预测问题中显示了其优越性。然而,CBAM在股指预测问题中的有效性研究却十分有限。为了解决这个问题并提高股指的预测精度,本文提出了CBAMs-BiLSTM模型。它将多个CBAM与双向长短期记忆网络（BiLSTM）相结合。研究中,标准指标评价法（SME）和模型置信集检验（MCS）用于综合评价模型的优越性和稳健性。实验数据为具有代表性的中国股指数据集：上证综合指数和深证综合指数。数值结果表明,CBAMs-BiLSTM优于单独的BiLSTM。其中在MAE,RMSE和MAPE上分别平均降低了13.06%,13.39%和12.48%。这证实了CBAM可以有效地提高BiLSTM的预测精度。此外,通过与其他流行模型进行对比,并研究了改变数据集、预测方法和训练集的大小的影响。结果一致证实了CBAMs-BiLSTM在预测精度和投资回报方面的优越性和稳健性。     

基于多层策略的校园智能问答系统

针对高校校园这一应用领域,设计并实现了一种基于多层策略的校园问答系统.提出了校园知识的3种类型,即服务型知识、常见问题型知识及文本检索型知识.针对不同类型的知识,建立了特定服务查询、常见问题查询和自由文本检索多级策略的问答系统模型,逐级匹配查询问句的答案:特定服务查询通过模式匹配将问句转换为服务接口;常见问题查询通过特征关键词提取、问题分类和问句相似度计算算法将问句与常见问题库中的问题-答案对匹配;自由文本检索对全文检索引擎solr返回的候选文档进行答案抽取,获取答案段落.性能测试表明:对80%以上的查询问句,若问题相关知识存在于系统中,则系统都能给出满意的答案.     

融合笔画特征的命名实体识别方法

汉字是象形文字,其字形特征对于中文命名实体识别有着重要的作用。针对双向长短期记忆模型（bi-directional long short-term memory,BiLSTM）提取部首,命名实体识别准确率不高的问题,提出笔画组成编码器,用于获取汉字的字形特征,并将笔画字形特征向量和预训练的语言表征模型（bidirectional encoder representation from transformers,BERT）输出的字向量进行拼接,将拼接后的向量放入双向长短期记忆模型与条件随机场（conditional random field,CRF）相连的标注模型（BiLSTM-CRF）中进行命名实体识别。实验表明,所提的方法在Resume数据集上命名实体识别准确率有显著提升。相较于用卷积神经网络做编码器提取汉字字形特征,准确率高出0.4%。相较于使用BiLSTM提取的部首特征模型和加入词典的长短期记忆模型(Lattice LSTM)模型其准确率分别提升了4.2%、0.8%。     

领域问答系统答案提取方法研究

在特定领域问答系统中,领域知识直接影响问答效果．本文提出了一种领域问答答案提取方法,以问题分析得到问题查询、问题类型及答案类型为基础,借助领域知识检索获得答案提取候选段落．对于定义性问题,结合关键词加权权重计算方法及句子与问题语义相似度方法,对候选段落或句子与问题相关度排序,提取相关度高的句子或段落作为答案,对于数词或列表性实体问题,借助命名实体识别,提取与问题中心相关的领域实体作为答案．在云南旅游领域进行了答案提取实验,结果表明该方法具有较好的效果．     

穿越辽宁滨海公路的动物物种调查及保护对策

选取辽宁滨海公路8个典型段落代表4种生境类型,对穿越公路的动物物种进行了8次调查。结果显示:共发现动物23种(包括亚种),隶属14科(包括亚科)、18属;湿地和水田段落穿越动物物种的相似性指数最大(0.615);水田与旱田动物物种的相似性最小(0.167);不同生境的路段穿越动物的种类与频次差异较大,湿地与水田段落的穿越动物种类少而数量多;草地与旱田段落的穿越动物种类多而数量少。为此,提出在动物通道设计中,要根据动物类别确定通道形式,根据生境类型确定目标物种。     

基于Bi-LSTM和Max Pooling的答案句抽取技术

针对传统问答系统答案抽取方式对答案片段的分词和上下文语义理解准确性的依赖严重,抽取过程耗费大量的人力和时间的问题,提出采用分步抽取答案的方法,先从答案片段中抽取包含答案的句子,再从提取的答案句中进行最终答案的抽取方式。在答案句抽取过程中使用Bi-LSTM( Bi-directional Long Short-Term Memory)和Max Pooling 结合的方法构建答案句抽取模型。实验结果表明,在答案句的抽取中,该模型的MＲＲ( Mean Average Precision) 指数接近0． 75。     

智能答疑系统中快速定位算法的研究与实现

为实现智能答疑系统中问题与答案的快速匹配，根据远程教育课程本身的特点，提出了一种简单、易行的索引结构——基于章节目录的索引方法．在此基础上提出了一种快速定位算法．实验结果表明，该算法可使平均查询时间减少约50％，从而显著提高问题与答案的匹配速度．     

《醉翁亭记》修辞分析

《醉翁亭记》之所以能成为中国山水游记散文中的传世之作 ,在很大程度上得益于作者在写作中非常注重修饰言辞的努力。本文将从修辞学的角度 ,旁征博引 ,对该文进行逐字、逐句、逐段地详尽分析 ,以期对读者阅读和鉴赏该文提供助益。     

一个数字通信计算机模拟程序的设计

本文主要描述一个数字通信中部分响应技术的计算机模拟程序。该程序用C语言编程,将时域一频域分析、绘图、打印结合为一体,可对各种类型的部分响应进行分析研究。文中给出了完整的C代码,并逐段叙述了各部份代码的主要思想或编程算法,程序经多次验证,可供教学演示使用。     

基于统计分析与分段码书的DNA序列压缩新方法

将DNA序列分成64个碱基一组的短序列。根据每个小段落不同的碱基排列特点,通过对每段中重复频率最高的三碱基组合片段采用特定码书编码,提出了基于统计分析与分段码书的DNA序列压缩方法,以达到对DNA数据压缩的目的。实验表明,本算法在大部分常用基准测试序列中达到了比较好的压缩性能。     

基于局部最优标签树的网页净化方法

新闻网页里面包含大量文字分段标签,相比网页其它区域的噪音内容,其主题内容区域的文字分段标签较多。根据这一特点引入局部最优标签树搜索算法。通过搜寻同级节点中分段标签最多的容器节点,消除其它容器节点,从而实现网页净化方法。实验证明方法实现简单、净化效果明显,特别是对新闻类主题文字网页净化效果显著。     

文化差异对中美大学生英语写作中段落划分的影响

中美文化思维模式差异,导致了中美大学生英语写作中的分段方面的差异。受分析思维的影响,美国大学生在英语议论文写作中通常一个自然段对应一个意义段;而受综合思维的影响,中国的英语学习者分段任意性较大,频繁将几个意义置于同一自然段中。