基于Deep Belief Nets方法的中文名实体分类研究

DBN是一种快速全局最优的神经网络分类方法,包含数层无监督学习网络和一层有监督学习网络。本文验证了DBN方法很好地适用于中文名实体分类任务。首先,采用多层RBM方法无监督地从字特征向量提取结构信息,得到更具有表征能力的特征;然后,利用BP方法微调网络参数并对提取后的特征向量进行分类,以此构成分类器进行名实体分类。通过对ACE 04的中文名实体进行的分类测试,准确率达到91.45%,明显高于支持向量机和反向传播神经网络等传统分类算法。     

基于深度学习的维吾尔语人称代词指代消解

指代消解是自然语言处理技术的核心问题,该文结合维吾尔语语义特征,提出基于深度学习的维吾尔语人称代词指代消解方法。通过堆叠多层无监督RBM网络和一层有监督BP网络,构建DBN深度神经网络学习模型,RBM网络保证特征向量映射达到最优,BP网络对RBM网络的输出向量进行分类,实现维吾尔语人称代词指代消解。经过维吾尔语指代消解语料库测试, F值达到83.81%,比SVM方法高出2.88%。实验结果表明,同等条件下,该方法能有效提升维吾尔语人称代词消解的精度,有助于维吾尔语指代消解研究。     

基于深度置信网络的维吾尔语人称代词待消解项识别

针对维吾尔语人称代词指代消解研究忽略了待消解项识别而引入了噪声的问题,提出一种基于深度置信网络(Deep Belief Networks,DBN)的维吾尔语人称代词待消解项识别方法。在分析维吾尔语人称代词语法特征和语言规则的基础上,总结出包含10项特征的维吾尔语人称代词待消解项特征集。所提方法首先通过逐层贪婪地训练每一层受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)网络,来保证特征向量映射到不同的特征空间,尽可能多地保留特征信息;并在最后一层设置BP网络,对RBM输出的特征向量进行分类,以有监督的方式训练整个网络并进行微调。实验结果表明,所提方法正确识别维吾尔语人称代词待消解项的准确率达到95.17%,比SVM算法提高了9%,从而验证了其有效性和可行性。     

基于深度信念网络的社保卡号码识别方法

提出了一种基于深度信念网络(DBN)的社保卡号码识别方法,通过采集社保卡图像,采用模块分割的方法,对社保卡号码区域进行行分割,利用区域生长的方法对行内号码分割,将号码图像灰度化与二值化,并归一化为32×32大小,作为深度信念网络的输入数据,训练3层受限玻尔兹曼机(RBM)来获得更加抽象的特征表达,模型的最顶层结合Softmax回归分类器对抽取后的特征进行分类.实验结果表明:其准确率高达98.3%,与BP神经网络和支持向量机(SVM)模型相比,深度信念网络学习了数据的高层特征的同时降低了特征维数,提高了分类器的分类精度,有效提高了社保卡号码识别率.     

基于LBP/VAR与DBN模型的人脸表情识别*

针对现有表情识别研究中均采用有监督模型实现特征提取,提出一种新的基于DBN（Deep Belief Net）模型无监督的表情特征提取与识别方法。首先对人脸表情图片提取对光照与旋转具有鲁棒性的LBP/VAR初次特征,再通过DBN网络对初次特征来实现人脸表情的二次特征提取与分类学习。对DBN参数本文采用动态搜索的方法,即在一个大范围内搜索确定RBM Mini-batch 、BP Mini-batch与RBM隐层数量的最优值,再确定DBN深度与迭代次数最佳值。在CK 数据库上与传统k-NN、SVM有监督分类模型进行的对比实验表明,本文提出的方法在识别率上分别提高了19.34%和14.22%。     

基于深度置信网络风电机组变桨系统的故障诊断

针对风电机组变桨系统常见故障,提出一种基于深度置信网络(DBN)的故障诊断方法。设计出基于DBN的变桨系统故障诊断框架;通过堆叠多层受限玻尔兹曼机(RBM),对比重构数据与原始输入数据差异,研究了DBN故障特征自提取能力;将堆叠RBM提取的故障特征输入到顶层分类器中进行训练,得到故障诊断模型;最后采用风场真实故障数据集进行了验证测试。实验结果表明,采用该方法进行风电机组变桨系统故障诊断相比其他方法具有更高的准确率。     

旅游领域实体和关系联合抽取方法研究

从文本信息中抽取关系三元组是构建知识图谱的关键任务,近年来受到工业界和学术界的广泛关注。针对旅游领域信息抽取过程中出现的实体嵌套和关系重叠问题,提出了一种基于双仿射注意力机制的实体关系联合抽取模型BAMRel,该模型通过共享编码层参数利用双仿射注意力机制在实体识别部分和关系抽取部分构建分类矩阵,并在关系抽取部分融合实体类型信息,提升关系抽取效果的同时增加了两个任务之间的交互。此外,通过远程监督和人工校验构建了旅游领域关系抽取数据集TFRED,BAMRel模型在此数据集上F1值达到了91.8%,有效地解决了实体嵌套和关系重叠问题。为了验证模型的鲁棒性,在百度DuIE数据集上与主流联合抽取模型进行了对比实验,BAMRel模型取得了最高的F1值80.2%。     

融合细粒度实体类型的多特征关系分类算法

近年来,基于深度学习的关系分类多集中于注意力机制的改进或语义信息的优化两方面,但此类方法提取的特征往往较为单一,忽略了实体类型对关系分类的影响,且存在语义信息学习不完整等问题。提出一种新的关系分类方法Type-SBNE,针对实体类型学习任务,引入细粒度的实体类型信息,并通过对每个实体类型中的所有实体向量取平均生成实体类向量,再分别通过实体与句意信息学习获得其对应的特征向量,通过拼接融合得到复合语义特征,最后采用全连接层和Softmax函数来预测实体对之间的关系。Type-SBN基于细粒度的实体类型信息,丰富了实体的特征,有效加强了每个实体在上下文中的表达。实验表明,Type-SBNE模型可更好地完成关系分类任务,效果优于对比方法。     

一种改进的深度置信网络及其在自然图像分类中的应用

深度置信网络DBN(deep belief network)由受限玻尔兹曼机RBM(restricted Boltzmann machine)堆叠而成。针对RBM只能接受二值输入而导致的信息丢失问题,给出将可视层节点替换为具有高斯噪音的实数节点的解决方法,并且用线性修正节点替代隐层的Sigmoid节点。线性修正单元具有良好的稀疏性,可以很好地提高网络性能。DBN自底向上逐层训练网络,初始化网络的参数。在自然图像数据库中与传统DBN以及BP神经网络做分类性能比较,实验结果表明,改进的DBN的图像平均分类正确率以及时间复杂度都得到了较好的改善。     

依存约束的图网络实体关系联合抽取

实体关系抽取是信息抽取的关键任务之一,是一种包含实体抽取和关系抽取的级联任务.传统的实体关系抽取方式是将实体与关系抽取任务分离的Pipeline方式,忽略了两个任务的内在联系,导致关系抽取的效果严重依赖实体抽取,容易引起误差的累积.为了规避这种问题,我们提出一种端到端的实体关系联合抽取模型,通过自注意力机制学习单词特征,基于句法依存图蕴含的依赖信息构建依存约束,然后将约束信息融入图注意力网络来实现实体与关系的抽取.通过在公共数据集NYT上进行实验证明了我们工作的先进性和显著性,我们的模型在保持高精度的情况下,召回率有了显著的提升,比以往工作中的方法具有更好的抽取性能.     

基于深度学习的航空发动机传感器故障检测

针对传统反向传播(BP)神经网络和支持向量机(SVM)存在的过拟合、维数灾难、参数选择困难等问题,提出了一种基于深度学习算法的航空发动机传感器故障检测方法.对发动机参数记录仪采集的多维数据进行预处理,建立基于深度置信网络(DBN)的故障检测模型,利用预处理后的数据对检测模型进行训练,经过DBN故障检测模型逐层特征学习实现了传感器故障检测.仿真结果表明:在无人工特征提取和人工特征提取的情况下,基于DBN故障检测的准确率均高于BP神经网络和SVM模型.     

结合字形特征与迭代学习的金融领域命名实体识别

针对中文金融文本领域的命名实体识别,该文从汉字自身特点出发,设计了结合字形特征、迭代学习以及双向长短时记忆网络和条件随机场的神经网络模型。该模型是一种完全端到端且不涉及任何特征工程的模型,其将汉字的五笔表示进行编码以进行信息增强,同时利用迭代学习的策略不断对模型整体预测结果进行改进。由于现有的命名实体识别研究在金融领域缺乏高质量的有标注的语料库资源,所以该文构建了一个大规模的金融领域命名实体语料库HITSZ-Finance,共计31 210个文本句,包含4类实体。该文在语料库HITSZ-Finance上进行了一系列实验,实验结果均表明模型的有效性。     

《同义词词林》在中文实体关系抽取中的作用

语义信息在命名实体间语义关系抽取中具有重要的作用。该文以《同义词词林》为例,系统全面地研究了词汇语义信息对基于树核函数的中文语义关系抽取的有效性,深入探讨了不同级别的语义信息和一词多义等现象对关系抽取的影响,详细分析了词汇语义信息和实体类型信息之间的冗余性。在ACE2005中文语料库上的关系抽取实验表明,在未知实体类型的前提下,语义信息能显著提高抽取性能;而在已知实体类型的情况下,语义信息也能明显提高某些关系类型的抽取性能,这说明《词林》语义信息和实体类型信息在中文语义关系抽取中具有一定的互补性。     

深度学习实体关系抽取研究综述

实体关系抽取作为信息抽取、自然语言理解、信息检索等领域的核心任务和重要环节,能够从文本中抽取实体对间的语义关系.近年来,深度学习在联合学习、远程监督等方面上的应用,使关系抽取任务取得了较为丰富的研究成果.目前,基于深度学习的实体关系抽取技术,在特征提取的深度和模型的精确度上已经逐渐超过了传统基于特征和核函数的方法.围绕有监督和远程监督两个领域,系统总结了近几年来中外学者基于深度学习的实体关系抽取研究进展,并对未来可能的研究方向进行了探讨和展望.     

A relation extraction method of Chinese named entities based on location and semantic features

Named entity relations are a foundation of semantic networks, ontology and the semantic Web, and are widely used in information retrieval and machine translation, as well as automatic question and answering systems. In named entity relations, relational feature selection and extraction are two key issues. The location features possess excellent computability and operability, while the semantic features have strong intelligibility and reality. Currently, relation extraction of Chinese named entities mainly adopts the Vector Space Model (VSM), a traditional semantic computing or the classification method, and these three methods use either the location features or the semantic features alone, resulting in unsatisfactory extraction. A relation extraction method of Chinese named entities called LaSE is proposed to combine the information gain of the positions of words and semantic computing based on HowNet. LaSE is scalable, semi-supervised and domain independent. Extensive experiments show that LaSE is superior, with an F-score of 0.879, which is at least 0.113 better than existing extraction methods that use either the location features or the semantic features alone.     

深度置信网络在极化SAR图像分类中的应用

目的 深度置信网络能够从数据中自动学习、提取特征,在特征学习方面具有突出优势。极化SAR图像分类中存在海量特征利用率低、特征选取主观性强的问题。为了解决这一问题,提出一种基于深度置信网络的极化SAR图像分类方法。方法 首先进行海量分类特征提取,获得极化类、辐射类、空间类和子孔径类四类特征构成的特征集;然后在特征集基础上选取样本并构建特征矢量,用以输入到深度置信网络模型之中;最后利用深度置信网络的方法对海量分类特征进行逐层学习抽象,获得有效的分类特征进行分类。结果 采用AIRSAR数据进行实验,分类结果精度达到91.06%。通过与经典Wishart监督分类、逻辑回归分类方法对比,表现了深度置信网络方法在特征学习方面的突出优势,验证了方法的适用性。结论 针对极化SAR图像海量特征的选取与利用,提出了一种新的分类方法,为极化SAR图像分类提供了一种新思路,为深度置信网络获得更广泛地应用进行有益的探索和尝试。     

Research on Point-wise Gated Deep Networks

Stacking Restricted Boltzmann Machines (RBM) to create deep networks, such as Deep Belief Networks (DBN) and Deep Boltzmann Machines (DBM), has become one of the most important research fields in deep learning. DBM and DBN provide state-of-the-art results in many fields such as image recognition, but they don't show better learning abilities than RBM when dealing with data containing irrelevant patterns. Point-wise Gated Restricted Boltzmann Machines (pgRBM) can effectively find the task-relevant patterns from data containing irrelevant patterns and thus achieve satisfied classification results. For the limitations of the DBN and the DBM in the processing of data containing irrelevant patterns, we introduce the pgRBM into the DBN and the DBM and present Point-wise Gated Deep Belief Networks (pgDBN) and Point-wise Gated Deep Boltzmann Machines (pgDBM). The pgDBN and the pgDBM both utilize the pgRBM instead of the RBM to pre-train the weights connecting the networks' the visible layer and the hidden layer, and apply the pgRBM learning task-relevant data subset for traditional networks. Then, this paper discusses the validity that dropout and weight uncertainty methods are developed to prevent overfitting in pgRBMs, pgDBNs, and pgDBMs networks. Experimental results on MNIST variation datasets show that the pgDBN and the pgDBM are effective deep neural networks learning     

基于噪声数据与干净数据的深度置信网络

建立以受限玻尔兹曼机（restricted Boltzmann machine，简称RBM）为基石的深度网络模型，是深度学习研究的热点领域之一.Point-wise Gated受限玻尔兹曼机（point-wise gated RBM，简称pgRBM）是一种RBM的变种算法.该算法能够在含噪声的数据中自适应地找到数据中与分类有关的部分，从而实现较好的分类结果.假设一组数据中有噪声数据和干净数据，如何应用不含噪声的数据提升pgRBM的性能，是一个重要的研究问题.针对这一问题，首先，在传统的pgRBM基础上提出一种基于随机噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机（pgRBM based on random noisy data and clean data，简称pgrncRBM）方法，其网络中与分类有关权值的初值是通过不含噪声的数据学习得到的，所以pgrncRBM在处理随机噪声数据时可以学习到更为"干净"的数据.在pgrncRBM中，与分类有关的数据与噪声都是使用RBM建模.如果噪声是图片，pgrncRBM就不能很好地去除噪声.Spike-and-Slab RBM（ssRBM）是一种处理实值数据的RBM变种模型，其定义两种不同类型的隐层用来学习实值数据的分布特性.因此，将ssRBM与pgRBM相结合，提出一种基于图像噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机（pgRBM based on image noisy data and clean data，简称pgincRBM）方法.该方法使用ssRBM对噪声建模，其在处理图像噪声数据时可以学习到更为"干净"的数据.然后，通过堆叠pgrncRBM、pgincRBM和传统的RBM构建出深度网络模型，并探讨了权值不确定性方法在提出网络模型中的可行性.最后，在含噪声的手写数据集上进行MATLAB仿真实验.实验结果表明，pgrncRBM和pgincRBM都是有效的神经网络学习方法.     

基于原型网络的细粒度实体分类方法

细粒度实体分类任务作为命名实体识别任务的扩展,其目的是根据指称及其上下文,发掘实体更细粒度的类别含义。由于细粒度实体语料的标注代价较大,标注错误率较高,因此该文研究了在少量样本情况下的细粒度实体分类方法。该文首先提出了一种特征提取模型,能够分别从单词层面以及字符层面提取实体信息,随后结合原型网络将多标签分类任务转化为单标签分类任务,通过缩小空间中同类样本与原型的距离实现分类。该文使用少样本学习以及零样本学习两种设置在公开数据集FIGER(GOLD)上进行了实验,在少样本学习的设置下,较基线模型在三个指标中均有提升,其中macro-F₁的提升最大,为2.4%。