基于CNN和双向LSTM融合的实体关系抽取

实体关系抽取旨在识别网络文本中的实体,并提取出文本中实体之间隐含的关系。研究表明,深度神经网络在实体关系抽取任务上具有可行性,并优于传统关系抽取方法。目前的关系抽取方法大都使用卷积神经网络（CNN）和长短期记忆神经网络（LSTM）,然而CNN只考虑连续词之间的相关性而忽略了非连续词之间的相关性。另外,LSTM虽然考虑了长距离词的相关性,但提取特征不够充分。针对这些问题,提出了一种CNN和LSTM结合的实体关系抽取方法,采用3种结合方法进行了实验,验证了该方法的有效性,在F1值上有一定的提升。     

基于融合式神经网络的微生物生长环境关系抽取

为了构建完整的微生物生长环境关系数据库,提出基于卷积神经网络-长短时记忆(CNN-LSTM)的关系抽取系统.结合卷积神经网络(CNN)和长短时记忆(LSTM),实现对隐含特征的深度学习,提取分布式词向量特征和实体位置特征作为模型的特征输入.对比实验验证加入特征后CNN-LSTM模型的优势,并将CNN模型的特征输出作为LSTM模型的特征输入.在Bio-NLP 2016共享任务发布的BB-event语料集上得到目前最好的结果.     

基于新型卷积神经网络构建矿山灾害事件检测模型

事件检测属于自然语言处理的核心任务及难点之一,使用长短时记忆网络(LSTM)和卷积神经网络(CNN)进行的相关研究越来越广泛,但面对篇章级别的事件文本时,参数量庞大的LSTM与语义缺失明显的CNN导致模型检测准确性和收敛性均欠佳。该文结合迭代空洞卷积神经网络和高速神经网络,提出基于混合特征的高速迭代空洞卷积神经网络,力图优化深层模型训练中常见的梯度消失与爆炸现象,提取性能更优的篇章级文本特征。实验结果表明,该方法与当下主流的LSTM和CNN模型相比,矿山灾害事件检测效果更为理想,收敛性及训练效率也表现更优。     

基于混合神经网络的实体和事件联合抽取方法

实体和事件抽取旨在从文本中识别出实体和事件信息并以结构化形式予以呈现。现有工作通常将实体抽取和事件抽取作为两个单独任务,忽略了这两个任务之间的紧密关系。实际上,事件和实体密切相关,实体往往在事件中充当参与者。该文提出了一种混合神经网络模型,同时对实体和事件进行抽取,挖掘两者之间的依赖关系。模型采用双向LSTM识别实体,并将在双向LSTM中获得的实体上下文信息进一步传递到结合了自注意力和门控卷积的神经网络来抽取事件。在英文ACE 2005语料库上的实验结果证明了该文方法优于目前最好的基准系统。     

基于深度神经网络的关系抽取方法研究

关系抽取作为提取信息的有效技术之一,一直是机器学习中的一个重要任务。已有方法主要依赖大量的人工制作特征,近年来,随着深度神经网络的广泛应用,为关系抽取提供了一种新视角。围绕关系抽取任务,本文展开基于卷积神经网络(CNN)的关系抽取研究,在一个公开数据集上进行了系列CNN的实验对比,发现CR-CNN模型的性能最好,取得了84.1%的F1值。     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.     

基于CNN和LSTM混合模型的中文新闻文本分类

论文结合了卷积神经网络（CNN）和递归神经网络（RNN）的优点,提出了一种CNN和LSTM的混合模型。首先,使用CNN获取文本句子的特征,并使用LSTM模型捕捉文本上下文的依赖关系。然后将这两部分生成的特征向量进行融合,形成一个新的特征向量,它兼有CNN和LSTM的优点。最后,采用softmax层进行最终分类。     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于卷积循环神经网络的关系抽取

关系抽取是信息抽取领域一项十分具有挑战性的任务,用于将非结构化文本转化为结构化数据。近年来,卷积神经网络和循环神经网络等深度学习模型,被广泛应用于关系抽取的任务中,且取得了不错的效果。卷积网络和循环网络在该任务上各有优势,且存在一定的差异性。其中,卷积网络擅长局部特征提取,循环网络能够捕获序列整体信息。针对该现象,该文综合卷积网络抽取局部特征的优势和循环网络在时序依赖中的建模能力,提出了卷积循环神经网络(convolutional recurrent neural network,CRNN)。该模型分为三层: 首先针对关系实例抽取多粒度局部特征,然后通过聚合层融合不同粒度的特征,最后利用循环网络提取特征序列的整体信息。此外,该文还探究多种聚合策略对信息融合的增益,发现注意力机制对多粒度特征的融合能力最为突出。实验结果显示,CRNN优于主流的卷积神经网络和循环神经网络,在SemEval 2010 Task 8数据集上取得了86.52%的F₁值。     

基于CNN-LSTM混合模型的动态手势识别方法

动态手势识别是手势交互的关键技术,针对动态手势数据的时序性和空间不确定性造成识别困难问题,提出一种基于卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的动态手势序列识别方法.实验采用数据手套采集动态手势数据,对定义的8种动态手势进行测试,平均识别率达到了92.5％.实验表明,与单纯使用LSTM模型或CNN模型对比,所提模型识别率较高,在虚拟现实界面交互任务中用户体验更好.     

基于可重叠混淆树的卷积神经网络

卷积神经网络(convolutional neural network, CNN)被广泛用于图像分类任务中。大多数现有的CNN模型都按照N路分类器的形式训练。然而,不同类别之间总存在差异性限制了N路分类器的分类能力。为了解决上述问题,提出的神经网络模型将混淆树结构(confusion tree, CT)和CNN模型结合,设计了性能更强的基于混淆树的卷积神经网络模型(confusion tree CNN,CT-CNN)。该模型首先建立一个混淆树来对类别之间的混淆性进行建模;然后,将混淆树的分层结构嵌入到CNN模型中,通过这种方式可以引导CNN的训练过程更加关注混淆性强的类别集合。该模型在公共数据集上进行了评估,实验结果证明,CT-CNN能克服大规模数据类别间的分类难度分布不均匀的局限,在复杂大规模的分类任务中取得稳定的优秀表现。     

卷积神经网络RLeNet加速器设计

针对卷积神经网络(CNN)对运算的需求,现场可编程逻辑门阵列(FPGA)可以充分挖掘CNN内部并行计算的特性,提高运算速度。因此,本文基于FPGA开发平台,从模型优化、参数优化,硬件加速以及手写体数字识别四个方面对CNN的FPGA加速及应用进行研究。提出一种数字识别网络RLeNet,并对网络进行参数优化,卷积运算加速采用脉冲阵列与加法树结合的硬件结构实现,同时使用并行技术和流水线技术优化加速,并使用microblaze IP通过中断控制CNN加速器IP接收串口发送的图片数据进行预测,输出结果。最后在Xilinx Nexys 4 DDR:Artix-7开发板上实现了MNIST数据集手写体数字识别预测过程,当系统时钟为200MHz时,预测一张图片的时间为36.47us。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

卷积神经网络在心拍类识别中的应用

心电图（ECG）心拍分类对心脏疾病的临床诊断具有重要意义,但是ECG四类心拍间数据不平衡问题严重制约着心拍分类性能的提升。针对这一问题,以卷积神经网络（CNN）为基础,首先在组合四类心拍等量数据基础上构建用于表达噪声及四类心拍间共性信息的通用CNN模型,接着以通用CNN模型为基础分别在四类心拍数据上构建四个更为有效表达对应心拍类别倾向性信息的类别CNN模型,最后综合四个类别CNN模型的输出判别心拍类型。在MIT-BIH心电图数据库上的实验结果显示,该方法的平均灵敏度为99.68%、平均阳性检测率是98.58%、综合指标是99.12%,显著优于二级联合聚类法在MIT-BIH心电图数据库上的分类性能。     

基于混沌控制量的QoS组播路由算法

针对具有多个不相关可加度量的QoS组播路由问题,提出基于混沌控制量的QoS组播路由算法。该算法通过对神经元的内部状态施加一个混沌控制量,可以有效控制神经网络的能量函数增加、减少或保持不变,避免陷入局部最小点。计算机仿真结果表明,该算法能根据组播应用对费用和时延的要求,快速、有效地构造组播树,与其他启发式算法相比,适用于带有较少目的结点的大规模网络。     

Development of deep learning architecture for automatic classification of outdoor mobile LiDAR data

This paper proposes a deep convolutional neural network (CNN) architecture for automatic classification of mobile laser scanning (MLS) data obtained for outdoor environment, which are characterized by noise, clutter, large size and larger quantum of information. The developed architecture introduces a look up table (LUT) based approach, which retains the geometry of the input MLS point cloud while rescaling. Further, with the voxelisation of the input MLS sample, the ambiguity of selecting one out of multiple point values within a voxel is resolved. The performance of the architecture is evaluated on MLS data of outdoor environment in two instances, first using tree and non-tree classes (non-tree class has objects like electric pole, wire, low vegetation, wall, house and ground) and then with tree and electric pole classes. Additional testing is carried out by mixing the outdoor MLS data of tree and electric pole classes with three classes of indoor objects, taken from Modelnet dataset, thereby assessing the architecture efficacy over an ensemble of three-dimensional (3D) datasets. Classification of tree and non-tree classes, followed by tree and electric pole classes from MLS samples result in total accuracies of 86.0%, 90.0% respectively and kappa values of 72.0%, 78.7% respectively. Moreover, for the combinations of MLS and Modelnet classes, the classification results are promising, reaching a total accuracy of 95.2% and kappa of 92.5%. The LUT based approach has shown better classification over the traditional rescaling approach for the MLS dataset, resulting in an enhancement up to 9.0% and 18.0% in total accuracy and kappa, respectively. With different varieties of tree, non-tree and electric pole samples, the proposed architecture has shown its potential for automatic classification of MLS data with high accuracy. This study further reveals that the accuracy of classification is improved by introducing more spatial features in the input layer. The accuracies produced in this work can be further improved with the availability of better hardware resources.     

混合神经网络模型与注意力机制的地址匹配算法

中文地名地址的标准化在当前智慧城市的建设中起到至关重要的作用。传统的地名地址标准化技术通常使用基于文本字符层面的相似度计算或规则库匹配的方法,对复杂、特殊或冗余地址的处理效果较差。通过将地址标准化任务转换为针对地址相似的匹配度计算任务,提出了一种融合注意力机制与多层次语义表征的地址匹配算法。首先依据地址文本特殊的语法结构,利用Trie语法树构建标准地址树;而后基于注意力机制,利用Bi-LSTM网络与CNN网络生成地址对的多层次语义表示;最后通过曼哈顿距离计算相似度。在自主构建的数据集上,提出的SGAM模型的匹配准确度（91.22%）相比TextRCNN、FastText、基于注意力的卷积神经网络（ABCNN）等模型提升了4%~10%,表明SGAM模型在地址匹配任务上有着更好的性能表现。     

基于CNN和农作物光谱纹理特征进行作物分布制图

以卷积神经网络（Convolutional Neural Network, CNN）为代表的深度学习技术,在农作物遥感分类制图领域具有广阔的应用前景。以多时相Landsat 8 多光谱遥感影像为数据源,搭建CNN模型对农作物进行光谱特征提取与分类,并与支撑向量机（SVM）常规分类方法进行对比。进一步引入影像纹理信息,利用CNN对农作物光谱和纹理特征进行提取,优化作物分布提取结果。实验表明：① 基于光谱特征的农作物分布提取,验证结果对比显示,CNN对应各类别精度、总体精度均优于SVM,其中二者总体精度分别为95.14%和91.77%;② 引入影像纹理信息后,基于光谱和纹理特征的CNN农作物分类总体精度提高至96.43%,Kappa系数0.952,且分类结果的空间分布更为合理,可有效区分花生、道路等精细地物,说明纹理特征可用于识别不同作物。基于光谱和纹理信息的CNN特征提取,可面向种植结构复杂区域实现农作物精准分类与分布制图。     

多尺度YOLO人脸年龄估计方法研究

通过观察人脸估计年龄较为常见，但如何准确预测年龄则是一个难题。为提高人脸图像年龄估计的准确率，提出一种基于YOLO（You Only Look Once）模型的目标检测方法。将多尺度回归思想应用于卷积神经网络（Convolutional Neural Network，CNN），通过多尺度卷积改善模型对小尺寸目标的提取能力，结合特征通道分权重思想，改善特征提取操作中特征信息丢失的问题，构造决策树回归得到年龄估计。这种方法在人脸年龄图像库FG-NET上获得平均绝对误差（MAE）3.43，在GROUP数据集获得区间匹配度（AEM）62.4%。实验结果表明，通过多尺度特征回归以及通道权重分配，可以较为准确地进行人脸信息检测，并由此建立鲁棒性更强的人脸年龄估计模型。     

基于CNN和农作物光谱纹理特征进行作物分布制图

以卷积神经网络（Convolutional Neural Network, CNN）为代表的深度学习技术，在农作物遥感分类制图领域具有广阔的应用前景。以多时相Landsat 8 多光谱遥感影像为数据源，搭建CNN模型对农作物进行光谱特征提取与分类，并与支撑向量机（SVM）常规分类方法进行对比。进一步引入影像纹理信息，利用CNN对农作物光谱和纹理特征进行提取，优化作物分布提取结果。实验表明：① 基于光谱特征的农作物分布提取，验证结果对比显示，CNN对应各类别精度、总体精度均优于SVM，其中二者总体精度分别为95.14%和91.77%；② 引入影像纹理信息后，基于光谱和纹理特征的CNN农作物分类总体精度提高至96.43%，Kappa系数0.952，且分类结果的空间分布更为合理，可有效区分花生、道路等精细地物，说明纹理特征可用于识别不同作物。基于光谱和纹理信息的CNN特征提取，可面向种植结构复杂区域实现农作物精准分类与分布制图。