基于注意力和字嵌入的中文医疗问答匹配方法

针对当前的分词工具在中文医疗领域无法有效切分出所有医学术语,且特征工程需消耗大量人力成本的问题,提出了一种基于注意力机制和字嵌入的多尺度卷积神经网络建模方法。该方法使用字嵌入结合多尺度卷积神经网络用以提取问题句子和答案句子不同尺度的上下文信息,并引入注意力机制来强调问题和答案句子之间的相互影响,该方法能有效学习问题句子和正确答案句子之间的语义关系。由于中文医疗领域问答匹配任务没有标准的评测数据集,因此使用公开可用的中文医疗问答数据集（cMedQA）进行评测,实验结果表明该方法优于词匹配、字匹配和双向长短时记忆神经网络（BiLSTM）建模方法,并且Top-1准确率为65.43%。     

基于深度学习的小面积指纹匹配方法

针对传统的基于细节特征点的指纹匹配方法多适用于采集面积较大的指纹,在面向智能手机端的小采集面积指纹时准确率明显下降的问题,提出一种基于深度学习的小面积指纹匹配方法。首先,提取指纹图像的细节特征点信息;其次,搜索和标定感兴趣纹理区域（ROI）;然后,构建并改进基于残差结构的轻量级深度神经网络,通过采用二值化特征模式优化网络和Triplet Loss方式训练模型;最后,制定一种智能手机端注册-匹配策略实现小面积指纹匹配。实验结果表明,提出方法在公开库FVCDB1与自建数据库上的等错率（EER）分别仅为0.50%与0.58%,远低于传统的基于细节特征点的指纹匹配方法,能够有效提升小面积指纹匹配的性能,更好地满足智能手机端的应用需求。     

基于深度学习的岩石孔隙分割方法

现有的传统孔隙分割方法不能准确提取岩心图像中细小狭长的孔隙,且容易受到岩石图像噪声的干扰,针对上述问题,提出了一种深度学习网络模型ARC-Unet(Attention and Recurrent-Convolution Unet),用于更加精确的分割岩石孔隙。采用Unet作为基础网络,并在网络上加入注意力机制,用于解决在分割时小面积的孔隙容易被漏分割的情况。将循环卷积模块代替原来的卷积模块,可以拟合更多的岩石特征,提高孔隙分割的准确度。通过在采集并制作的岩石数据集上进行训练并在通过在测试集的分割结果上进行模型评估,改进模型在测试集上的F1达到了88.15%,有着较好的岩石孔隙分割结果。     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。     

卷积深度神经网络在基于文档的自动问答任务中的应用与改进

基于文档的自动问答,尤其是语义匹配,其目标是计算两个文本之间的相似度。这是自然语言处理中的典型任务,并且用以衡量对自然语言的理解程度。深度学习方法得益于可以自动化地学习到给定任务的最优特征表示,在许多研究中取得成功,也包括文本匹配。针对基于文档的自动问答,提出一个基于卷积深度神经网络的语义匹配模型,以便对每一对问题和文档提取特征,并据此计算它们的得分。通过问题和文档之间的交互计算,利用重叠词等文本特征,在中文开放域上的自动问答任务中取得的实际效果证明了该模型的有效性。     

基于迁移学习的知识图谱问答语义匹配模型

针对单一事实类问答系统中问句和关系的语义匹配在小规模标注样本中难以获得较高准确率的问题,提出一种基于循环神经网络（RNN）的迁移学习模型。首先,使用基于RNN的序列到序列无监督学习算法,通过序列重构的方式在大量无标注样本中学习问句的语义空间分布,即词向量和RNN;然后,通过给神经网络参数赋值的方式,使用此语义空间分布作为有监督语义匹配算法的参数;最后,通过使用问句特征和关系特征计算内积的方式,在有标注样本中训练并生成语义匹配模型。实验结果表明,在有标注数据量较少而无标注数据量较大的环境下,与有监督学习方法Embed-AVG和RNNrandom相比,所提模型的语义匹配准确率分别平均提高5.6和8.8个百分点。所提模型通过预学习大量无标注样本的语义空间分布可以明显提高在小规模标注样本环境下的语义匹配准确率。     

基于深度学习的问题分类方法研究

问题分类是问答系统中的重要组成部分。但现阶段的问题分类需要人工制定提取特征的策略和不断优化特征规则。深度学习方法在问题分类上具有可行性,通过自我学习特征的方式表示和理解问题,避免人工特征的制定,从而减少人工代价。针对问题分类,改进了长短期记忆人工神经网络(LSTM)和卷积神经网络(CNN)模型,并结合两者的优势组合成为一种新的学习框架(LSTM-MFCNN),加强对词序语义和深度特征的学习。实验结果表明,该方法在不需要制定繁琐的特征规则的条件下,仍然有较好的表现,准确率达到了93.08%。     

基于神经网络的深度学习方法研究

在机器学习算法中深度学习已成为现今最热门的一种算法,在全局环境下能够得出较优的解,这种算法的出现得到个社会各界的广泛关注,在不同领域中获得了大量的应用.深度学习是在神经网络的基础上应运而生,采用多层隐藏层对参数进行调优并进行逐层优化,而改变了原有的神经网络过拟合和参数难调等问题.现今,诸多领域,例如:文本挖掘、推荐系统一级智能机器人等,都开始应用深度学习的.     

唇语识别的深度学习方法综述

随着深度学习的不断发展,唇语识别领域的研究取得了重大进展,涌现了许多唇语识别的深度学习算法。依据识别对象的连续性,将唇语识别分为孤立唇语识别和连续唇语识别,并对各识别任务的深度学习方法进行了详细和深入的分析总结。从孤立唇语识别的深度学习方法和连续唇语识别的深度方法两个方面介绍了主流唇语识别方法,并对各方法的优缺点和性能进行比较;对不同数据集下代表性方法的特点和性能进行比较,对两类方法的优缺点和适用范围进行阐述;讨论了唇语识别方法存在的问题和挑战,并对唇语识别方法的研究趋势进行了展望。     

基于深度学习的耦合度相关代码坏味检测方法

基于启发式和机器学习的代码坏味检测方法已被证明具有一定的局限性,且现有的检测方法大多集中在较为常见的代码坏味上。针对这些问题,提出了一种深度学习方法来检测过紧的耦合、分散的耦合和散弹式修改这三种与耦合度相关检测较为少见的代码坏味。首先,提取三种代码坏味需要的度量并对得到的数据进行处理;之后,构建卷积神经网络（CNN）与注意力（Attention）机制相结合的深度学习模型,引入的注意力机制可以对输入的度量特征进行权重的分配。从21个开源项目中提取数据集,在10个开源项目中对检测方法进行了验证,并与CNN模型进行对比。实验结果表明：过紧的耦合和分散的耦合在所提模型中取得了更好的结果,相应代码坏味的查准率分别达到了93.61%和99.76%;而散弹式修改在CNN模型中有更好的结果,相应代码坏味查准率达到了98.59%。     

在线医疗问答文本的命名实体识别

本文主要是对在线问诊中产生的医疗文本进行命名实体识别的研究.使用在线医疗问答网站的数据,采用{B,I,O}标注体系构建数据集,抽取疾病、治疗、检查和症状四个医疗实体.以BiLSTM-CRF为基准模型,提出两种深度学习模型IndRNN-CRF和IDCNN-BiLSTM-CRF,并在自构建数据集上验证模型的有效性.将新提出的两种模型与基准模型通过实验对比得出：模型IDCNN-BiLSTM-CRF的F1值0.8116,超过了BiLSTM-CRF的F1值0.8009,IDCNN-BiLSTM-CRF整体性能好于BiLSTM-CRF模型;模型IndRNN-CRF的精确率0.8427,但该模型在召回率上低于基准模型BiLSTM-CRF.     

图像特征注意力与自适应注意力融合的图像内容中文描述

针对现有基于注意力机制的图像内容中文描述模型无法在关注信息不减弱和无缺失的条件下对重点内容进行注意力加强关注的问题,提出一种图像特征注意力与自适应注意力融合的图像内容中文描述模型.模型使用编解码结构,首先在编码器网络中提取图像特征,并通过图像特征注意力提取图像全部特征区域的注意力信息;然后使用解码器网络将带有注意力权重...     

基于视频深度学习的时空双流人物动作识别模型

深度学习在人物动作识别方面已取得较好的成效,但当前仍然需要充分利用视频中人物的外形信息和运动信息。为利用视频中的空间信息和时间信息来识别人物行为动作,提出一种时空双流视频人物动作识别模型。该模型首先利用两个卷积神经网络分别抽取视频动作片段空间和时间特征,接着融合这两个卷积神经网络并提取中层时空特征,最后将提取的中层特征输入到3D卷积神经网络来完成视频中人物动作的识别。在数据集UCF101和HMDB51上,进行视频人物动作识别实验。实验结果表明,所提出的基于时空双流的3D卷积神经网络模型能够有效地识别视频人物动作。     

基于注意力机制的乳腺X线摄影分类方法

环境的日益恶化导致癌症的发病率不断升高,2018年全球乳腺癌的发病率在所有癌症中已经位居首位。乳腺X线摄影价格实惠且易于操作,目前被认作是最好的乳腺癌筛查方法,也是早期发现乳腺癌最有效的方法。针对乳腺X线摄影不容易分辨、特征不明显等特点,提出了基于RNN+CNN的注意力记忆网络对其进行分类。注意力记忆网络包含注意力记忆模块和卷积残差模块。注意力记忆模块中,注意力模块提取乳腺X线摄影的特征,记忆模块在RNN网络加入注意力权重来模拟人对所提取关键信息的重点突出;卷积残差模块使用CNN对图像进行分类。该方法创新之处在于：提出注意力记忆网络用于乳腺X线摄影图像分类;所设计网络在RNN+CNN结构上引入注意力权重,提取图像关键信息以增强特征描述。在乳腺X线摄影INbreast数据集上的实验结果显示,注意力记忆网络的运行时间比预训练的Inceptionv2、ResNet50、VGG16网络少50%以上,同时达到更高的分类准确率。     

基于一维卷积混合神经网络的文本情感分类

针对情感分类中传统二维卷积模型对特征语义信息的损耗以及时序特征表达能力匮乏的问题，提出了一种基于一维卷积神经网络（CNN）和循环神经网络（RNN）的混合模型。首先，使用一维卷积替换二维卷积以保留更丰富的局部语义特征；再由池化层降维后进入循环神经网络层，整合特征之间的时序关系；最后，经过softmax层实现情感分类。在多个标准英文数据集上的实验结果表明，所提模型在SST和MR数据集上的分类准确率与传统统计方法和端到端深度学习方法相比有1至3个百分点的提升，而对网络各组成部分的分析验证了一维卷积和循环神经网络的引入有助于提升分类准确率。