深度学习在论辩挖掘任务中的应用

论辩挖掘任务的目标是自动识别并抽取自然语言中的论辩结构,对论辩结构及其逻辑的分析有助于了解论辨观点的成因,因而该任务受到了研究者越来越多的关注,而基于深度学习的模型因其对复杂结构的编码能力及强大的表征能力,在论辩挖掘任务中得到了广泛的应用。该文对基于深度学习的模型在论辩挖掘任务中的应用进行了系统性的综述,首先介绍了论辩挖掘任务的概念、框架及不同领域的数据集,随后,详细描述了深度学习模型是如何被应用于不同的论辩挖掘任务,最后对论辩挖掘任务现有的问题进行了总结并对未来的研究方向进行了展望。     

融合宫颈细胞领域特征的多流卷积神经网络分类算法

细胞分类是宫颈癌计算机辅助诊断研究和应用的关键技术.针对通用深度学习分类算法在细胞分类中缺少领域知识指导这一局限性,提出一种基于数据驱动和宫颈细胞领域知识的多流卷积神经网络分类算法.文中算法以细胞和细胞核图像为输入,通过卷积神经网络提取图像特征,并根据宫颈细胞标准分级系统中领域知识提取人工设计特征,最后将上述2种特征进行拼接,并经过全连接层融合,构建适用于细胞分类的多流卷积神经网络.实验结果表明,文中算法在仅使用Alexnet作为基础网络的情况下,在Herlev宫颈细胞图像数据集上的正常与异常细胞的分类准确率达到99%,取得了该数据库上目前最好的分类结果;在Ideepwise数据集上,按照细胞学诊断报告的分级准确率为85%,相比单流网络提升3%.     

基于辅助记忆循环神经网络的视角级情感分析

现有视角级情感分析方法大多数利用视角词信息从句子中提取特征,不能同时利用视角和视角词信息,导致模型性能较低,为此文中提出基于辅助记忆循环神经网络的视角级情感分析方法.首先通过深度双向长短期记忆网络和单词的位置信息构建位置权重记忆,利用注意力机制结合视角词建立视角记忆.再联合位置权重记忆和视角记忆输入多层门循环单元,得到视角情感特征.最后由归一化函数识别情感极性.实验表明,相对基准实验,文中方法在3个公开数据集上的效果更好,该方法是有效的.     

结合多尺度特征与掩码图网络的小样本学习

对样本所含信息的提取能力决定网络模型进行小样本分类的效果,为了进一步提高模型挖掘信息的能力,提出一种结合多尺度特征与掩码图网络的小样本学习方法。设计由1×1卷积、全局平均池化和跳跃连接组成的最小残差神经网络块,与卷积块拼接成特征提取器,以提取样本不同尺度的特征,并通过注意力机制将不同尺度特征融合;使用融合的多尺度特征构建包含结点与边特征的图神经网络,并在其中加入一个元学习器（meta-learner）用于生成边的掩码,通过筛选边特征来指导图结点聚类与更新,进一步强化样本特征;通过特征贡献度和互斥损失改进类在嵌入空间表达特征的求解过程,提升模型度量学习能力。在MiniImagenet数据集上,该方法 1-shot准确率为61.4%,5-shot准确率为78.6%,分别超过传统度量学习方法 12.0个百分点与10.4个百分点;在Cifar-100数据集上分别提升9.7个百分点和6.0个百分点。该方法有效提升了小样本学习场景下的模型分类准确率。     

基于多任务学习的肝脏肿瘤自动分割方法

针对深度学习医学影像分割所需的标注数据获取困难且数量少的问题,提出一种基于多任务学习的肝脏肿瘤自动分割方法.提出该方法的主要动机一方面是想要缓解分割数据样本少的问题,另一方面是想要利用不同任务之间有用的信息来提升整体的学习效果.该方法所采用数据集一部分是逐像素的分割数据集,一部分是形式为bounding-box的目标检测数据集.该方法首先通过共享主网络挖掘不同任务之间的相关性,提取通用的特征,然后两个子任务分支通过注意力机制从共享主网络上提取对自身有用的特征,最后两个子网络结合自身的特异性特征与主网络上提取的通用特征来分别完成检测与分割任务.实验结果表明,在一定的样本比例下,该方法相较于U-Net的Dice系数提升了6.67个百分点,表明该方法能够有效利用额外的目标检测数据来提高分割任务的精度.     

基于双通道卷积神经网络的文本情感分类算法

针对现有深度学习方法在文本情感分类任务中特征提取能力方面的不足,提出基于扩展特征和动态池化的双通道卷积神经网络的文本情感分类算法.首先,结合情感词、词性、程度副词、否定词和标点符号等多种影响文本情感倾向的词语特征,形成一个扩展文本特征.然后,把词向量特征与扩展文本特征分别作为卷积神经网络的两个输入通道,采用动态k-max池化策略,提升模型提取特征的能力.在多个标准英文数据集上的文本情感分类实验表明,文中算法的分类性能不仅高于单通道卷积神经网络算法,而且相比一些代表性算法也具有一定的优势.     

融合评分和社会化标签的两阶段深度推荐方法

当前融合评分和标签的推荐方法对两种数据的挖掘程度有限,且大多数局限在提取浅层的线性特征层面.深度学习技术被成功应用于推荐方法,然而数据的稀疏性导致学习的潜在特征效果不好,因此,提出一种融合评分和社会化标签的两阶段深度推荐方法.首先,利用堆叠降噪自编码器分别从评分和社会化标签中提取用户、项目的潜在特征;其次,将学习的潜在特征进行拼接作为用户、项目完整的潜在特征,并与原始评分相结合构建监督学习数据集;最后,将构建的数据集作为BP神经网络的输入以训练评分预测模型.为降低训练误差,通过联合训练的方式进行参数学习.基于MovieLens、Last.FM数据集的实验表明,该方法与几种基准方法相比有更好的推荐性能.     

基于多任务学习的微博谣言检测方法

微博谣言的广泛传播给当今社会造成了日益严峻的负面影响。基于深度神经网络的方法存在缺少大量带标签的数据。研究发现,谣言经常伴随负面情感,而非谣言则伴随正面情感,考虑到谣言与非谣言之间表现出的相反情感倾向性,提出一种将谣言检测和情感分析这两个高度相关的任务结合起来学习的多任务学习方法,为了尽可能多地挖掘不同任务之间的关联,全面分析谣言检测任务的特征,设计了一个由BERT和BiGRU联合的多任务学习框架（BERT-BiGRU-MTL,BBiGM）。利用权值共享的方法对两个任务进行联合训练,同时提取出任务之间的共同特征和针对谣言检测任务的特定特征,利用情感分析任务辅助谣言检测。研究结果表明,该方法在准确率、精确率、F1值评测指标上优于采用单任务学习的方法。     

多粒度融合的模糊规则系统图像特征学习

当前最流行的图像特征学习方法是深度神经网络,该类方法无需人工参与即可自动地通过特征学习提取高效的特征,用于分类识别等任务。然而,深度神经网络图像特征抽取方法目前也面临着诸多挑战,其有效性严重依赖大规模的数据,且通常被视为黑盒模型,解释性较差。针对上述挑战,以基于模糊规则推理的TSK模糊系统(TSK-FS)为基础,提出了一种适用于不同规模数据集且易于理解的特征学习方法——多粒度融合的模糊规则系统图像特征学习算法。该方法通过基于规则的TSK-FS抽取图像特征,因而特征学习过程是可以利用规则进行解释的。其次,多粒度扫描也使得其特征学习能力进一步提升。在不同规模的图像数据集上进行了充分的实验,实验结果表明该方法在图像数据集上具有较好的有效性。     

基于多图核的迁移学习方法

医学数据标注成本高昂,不同研究中心提供的脑影像数据间存在分布差异,无法有效整合,影响预测模型性能.针对此问题,文中提出基于多图核的迁移学习方法,将不同的图核用于挖掘脑网络结构信息并衡量脑网络间的相似性.提出多核学习框架,提高迁移模型的性能.在自闭症谱系障碍(ASD)多中心数据集上验证文中方法可有效利用脑网络数据的结构信息.多核学习框架也可综合不同图核的优点,进一步提高方法在脑网络数据上的分类性能.     

基于3D多尺度特征融合残差网络的高光谱图像分类

深度学习中用于训练的高光谱图像(HSI)数据十分有限,因此较深的网络不利于空谱特征的提取.为了缓解该问题,文中提出3D多尺度特征融合残差网络,利用深度学习和多尺度特征融合的方式对光谱-空间特征进行有序的学习.首先对3D-HSI数据进行自适应降维,将降维后的图像作为网络输入.然后,通过多尺度特征融合残差块依次提取光谱-空间特征,融合不同尺度的特征,通过特征共享增强信息流,获得更丰富的特征.最后以端到端的方式训练网络.在相关数据集上的测试表明,文中网络具有良好的分类性能.     

基于图卷积网络和自编码器的半监督网络表示学习模型

为了保留网络结构信息和节点特征信息,结合图卷积神经网络(GCN)和自编码器(AE),提出可扩展的半监督深度网络表示学习模型(Semi-GCNAE).利用GCN捕获节点的K阶邻域中所有节点的结构和特征信息,并将捕获的信息作为AE的输入.AE对GCN捕获的K阶邻域信息进行特征提取和非线性降维,并结合Laplacian特征映射保留节点的团簇结构信息.引入集成学习方法联合训练GCN和AE,使模型习得的节点低维向量表示能同时保留网络结构信息和节点特征信息.在5个真实数据集上的广泛评估表明,文中模型习得的节点低维向量表示可以有效保留网络的结构和节点特征信息,并在节点分类、可视化和网络重构任务上性能较优.     

基于标记分布学习的异态集成学习算法

为了提高预测的准确性,文中结合机器学习中堆积(Stacking)集成框架,组合多个分类器对标记分布进行学习,提出基于标记分布学习的异态集成学习算法(HELA-LDL).算法构造两层模型框架,通过第一层结构将样本数据采用组合方式进行异态集成学习,融合各分类器的学习结果,将融合结果输入到第二层分类器,预测结果是带有置信度的标记分布.在专用数据集上的对比实验表明,HELA-LDL可以发挥各种算法在不同场景下的性能较优,稳定性分析进一步说明算法的有效性.     

A hybrid approach of differential evolution and artificial bee colony for feature selection

“Dimensionality” is one of the major problems which affect the quality of learning process in most of the machine learning and data mining tasks. Having high dimensional datasets for training a classification model may lead to have “overfitting” of the learned model to the training data. Overfitting reduces generalization of the model, therefore causes poor classification accuracy for the new test instances. Another disadvantage of dimensionality of dataset is to have high CPU time requirement for learning and testing the model. Applying feature selection to the dataset before the learning process is essential to improve the performance of the classification task. In this study, a new hybrid method which combines artificial bee colony optimization technique with differential evolution algorithm is proposed for feature selection of classification tasks. The developed hybrid method is evaluated by using fifteen datasets from the UCI Repository which are commonly used in classification problems. To make a complete evaluation, the proposed hybrid feature selection method is compared with the artificial bee colony optimization, and differential evolution based feature selection methods, as well as with the three most popular feature selection techniques that are information gain, chi-square, and correlation feature selection. In addition to these, the performance of the proposed method is also compared with the studies in the literature which uses the same datasets. The experimental results of this study show that our developed hybrid method is able to select good features for classification tasks to improve run-time performance and accuracy of the classifier. The proposed hybrid method may also be applied to other search and optimization problems as its performance for feature selection is better than pure artificial bee colony optimization, and differential evolution.     

基于邻域相似的层次粒化的网络表示学习方法

捕获更多的结构特征给网络表示学习方法带来较高的复杂度.基于分层递阶思想,文中提出基于邻域相似的层次粒化的网络表示学习方法,降低已有网络表示学习方法的复杂度.首先利用节点邻域相似性将网络逐步压缩至粗粒度的表示空间中.然后利用已有的网络表示学习方法学习粗粒的特征表示.最后利用图卷积网络将已学习的粗粒特征逐步细化为原始网络的节点表示.在多个数据集上的实验表明,文中方法可以快速有效大幅压缩网络,降低算法的运行时间.针对节点分类和链接预测任务,当粒化层次较低时,文中方法可以较大幅度提升原有算法的性能.     

A hybrid approach of neural network and memory-based learning todata mining

We propose a hybrid prediction system of neural network and memory-based learning. Neural network (NN) and memory-based reasoning (MBR) are frequently applied to data mining with various objectives. They have common advantages over other learning strategies. NN and MBR can be directly applied to classification and regression without additional transformation mechanisms. They also have strength in learning the dynamic behavior of the system over a period of time. Unfortunately, they have shortcomings when applied to data mining tasks. Though the neural network is considered as one of the most powerful and universal predictors, the knowledge representation of NN is unreadable to humans, and this "black box" property restricts the application of NN to data mining problems, which require proper explanations for the prediction. On the other hand, MBR suffers from the feature-weighting problem. When MBR measures the distance between cases, some input features should be treated as more important than other features. Feature weighting should be executed prior to prediction in order to provide the information on the feature importance. In our hybrid system of NN and MBR, the feature weight set, which is calculated from the trained neural network, plays the core role in connecting both learning strategies, and the explanation for prediction can be given by obtaining and presenting the most similar examples from the case base. Moreover, the proposed system has advantages in the typical data mining problems such as scalability to large datasets, high dimensions, and adaptability to dynamic situations. Experimental results show that the hybrid system has a high potential in solving data mining problems.     

基于小样本度量迁移学习的表面缺陷检测

将小样本学习中的度量学习方法引入缺陷检测领域,提出小样本度量迁移学习方法,用于解决深度学习方法中需要大量学习样本的问题.方法主要分为两个阶段:第一阶段使用公开或便于获得的大型数据集预训练深度网络;第二阶段将网络学习到的相关知识通过度量学习模块迁移到表面缺陷检测领域.实验表明,小样本学习在缺陷检测领域的可行性.     

基于特征联合概率分布和实例的迁移学习算法*

针对在单一匹配边缘概率分布以缩减源域和目标域的差异性时存在的泛化能力差的问题,提出联合边缘概率分布和条件概率分布减小域间差异性的基于特征和实例的迁移学习算法.通过核主成分分析在子空间中寻找样本新的特征表示,在该子空间中利用最小化最大均值差异,联合匹配边缘概率分布和条件概率分布以减小源域和目标域间的差异性.同时利用L_2,1范数约束选择源域中相关实例进行训练,进一步提高迁移学习获得的模型泛化性能.在字符集和对象识别数据集上的实验表明文中算法的有效性.     

基于元路径与层次注意力的时序异质信息网络表示学习方法

异质信息网络表示学习在节点分类、链接预测、个性化推荐等多个领域上被广泛应用.现有的异质信息网络表示学习方法大多集中在静态网络,忽略网络中时间属性对节点表示的影响.为了解决该问题,文中提出基于元路径和层次注意力的时序异质信息网络表示学习方法.利用元路径捕获异质信息网络中的结构和语义信息.通过时间衰减注意力层,捕获不同元路径实例在特定时间对目标节点的影响.通过元路径级别注意力,融合不同元路径下的节点表示,得到最终表示.在DBLP、IMDB数据集上的实验表明,文中方法在节点分类和节点聚类任务上均可达到较优效果.