基于黑寡妇算法的特征选择方法研究

特征选择通过去除无关和冗余特征提高学习算法性能,本质是组合优化问题。黑寡妇算法是模拟黑寡妇蜘蛛生命周期的元启发式算法,在收敛速度、适应度值优化等方面具有诸多优势。针对黑寡妇算法不能进行特征选择的问题,设计五种优化策略：二进制策略、“或门”策略、种群限制策略、快速生殖策略以及适应度优先策略,提出黑寡妇特征选择算法（black widow optimization feature selection algorithm,BWOFS）和生殖调控黑寡妇特征选择算法（procreation controlled black widow optimization feature selection algorithm,PCBWOFS）,从特征空间中搜索有效特征子集。在多个分类、回归公共数据集上验证新方法,实验结果表明,相较其他对比方法（全集、AMB、SFS、SFFS、FSFOA）,BWOFS和PCBWOFS能找到预测精度更高的特征子集,可提供有竞争力、有前景的结果,而且与BWOFS相比,PCBWOFS计算量更小,性能更好。     

基于LDA主题模型的中医药方剂相似度计算

评价中医药方剂的相似度的常用方法是基于方剂的功效和主治功能进行相似度分析,但存在相似度无法定量化的问题,并且没有考虑中医方剂组成成分的影响。提出了利用LDA主题模型发掘“方剂-证型-组成成分”的隐含关系的方法,将“方剂-组成成分”转化成“方剂-证型”和“证型-组成成分”两个概率分布,并利用KL散度距离来计算相似度。实验结果表明基于LDA主题模型的方法能够更好地计算方剂间的相似度,并且能较好地反映中医辩证论治。     

基于双向LSTM和GBDT的中医文本关系抽取模型

为解决采用softmax作为长短期记忆网络分类器导致实体关系识别模型泛化能力不足,不能较好适用中医实体关系抽取等问题,提出一种融合梯度提升树的双向长短期记忆网络的关系识别算法（BILSTM-GBDT）。先采用word2vec对中医文本进行向量化表示,再利用基于注意力机制的双向长短期记忆网络提取高阶特征,最后采用集成分类模型梯度提升树作为特征分类器,提高关系识别效果。在中医等多个关系语料库上的实验结果表明,该模型与传统SVM方法、GBDT方法及其深度学习方法相比,均有更高的精确率、召回率和◢F◣值。     

一种面向中医文本的实体关系深度学习联合抽取方法

目前实体识别和关系抽取任务大多采用流水线方式,但该方法存在错误累积、忽略两个任务相关性和信息冗余等诸多问题。结合中医文本的特点,提出一种基于深度学习的中医实体关系联合抽取方法。该方法使用改进的序列标注策略,将中医的实体关系联合抽取转换成序列标注任务,词向量与字符向量并联拼接作为双向LSTM-CRF输入,利用双向LSTM神经网络强大的特征提取能力,以及CRF在序列标注上的突出优势,结合优化的抽取规则完成中医实体关系联合抽取。在中医语料库上的实验结果表明,实体关系联合抽取的F1值可以达到80.42%,与传统流水线方法以及其他方法相比,实验效果更佳。     

基于多节点组合特征和模糊聚类的中文词义消歧方法

词义消歧是自然语言处理中的难点问题,为提高消歧效果,提出一种基于多节点组合特征的词义消歧方法.根据依存语法理论,选择歧义词的祖父+父亲+孩子节点组合,并将其作为消歧特征.利用模糊C均值聚类算法,建立消歧模型,最终确定歧义词词义类别.采用哈工大信息检索研究中心语言技术平台的词义语料进行实验.实验结果表明,相比现有的两种方法,该方法不仅使特征维度平均值分别降低了5和25,且F1值分别提高了1.56个百分点和0.84个百分点,在一定程度上提升了词义消歧效果.     

一种聚类欠采样策略的随机森林优化方法

针对随机森林分类效果受样本集类间不平衡、类内不规则的影响,提出一种聚类欠采样策略的随机森林优化方法。该方法对原始数据大类样本聚类,得到与小类样本个数相同的子类簇;从每个子类簇中随机有放回抽取一个样本与小类样本合并,形成平衡样本集;对平衡样本集进行有放回随机抽样,形成单棵决策树的训练样本集并完成建树;将两次未被抽中的样本作为袋外数据,用于模型测试;重复上述过程多次,形成随机森林。使用10组非平衡数据集进行实验验证,结果表明,该方法在这10组数据集上的分类能力及稳定性均优于传统随机森林。     

多目标优化特征选择研究综述

特征选择是模式识别领域中有效的降维方法,当特征选择涉及到的多个目标彼此冲突,难以平衡时,将特征选择视为多目标优化问题是时下的研究热点。为方便研究者系统地了解多目标特征选择领域的研究现状和发展趋势,对多目标特征选择方法进行综述。阐明了特征选择和多目标优化的本质;根据多目标优化方法的区别和特点,重点对比剖析各类多目标优化特征选择方法的优劣势;讨论现有多目标优化特征选择研究方法存在的问题以及对未来的展望。     

融合GINI指数的ID3改进算法

针对以信息增益为划分标准的ID3算法中存在偏向属性取值多的属性等问题,提出了一种融合GINI指数的ID3改进算法。计算每个属性的信息增益和对应的GINI指数值,并计算所有属性的GINI指数算术平均值,筛选GINI指数低于算术平均值的属性记为候选属性集;从候选属性集中选择信息增益最大的属性建立分支,用递归方法构建决策树。实验使用6组UCI数据集进行验证。结果表明:该决策树的准确率均有所提高,对多值偏向问题有很好的克服作用。     

一种融合近似马尔科夫毯的随机森林优化算法

特征的相关和冗余，会直接影响随机森林随机抽取特征的质量，导致随机森林的收敛性减弱，降低随机森林模型的准确度、泛化能力及性能。基于此，提出一种融合近似马尔科夫毯的随机森林优化算法，该算法利用近似马尔科夫毯构建相似特征组，再从每个相似组中按比例抽取特征形成单棵决策树的特征子集，重复上述过程直至达到随机森林规模。该算法可以在保证随机森林特征的多样性前提下，利用近似马尔科夫毯消除特征间的相关性和冗余性，提高随机抽取特征的质量。通过在12组不同维度UCI数据集实验对比表明：融合近似马尔科夫毯的随机森林在一定程度上可以消除特征相关性和冗余性，提高模型的各项评价指标，泛化能力增强，更适用于高维数据。