基于Wasserstein距离分层注意力模型的跨域情感分类

跨领域情感分类任务旨在利用已知情感标签的源域数据对缺乏标记数据的目标域进行情感倾向性分析.文中提出基于Wasserstein距离的分层注意力模型,结合Attention机制,采用分层模型进行特征提取,将Wasserstein距离作为域差异度量方式,通过对抗式训练自动捕获领域共享特征.进一步构造辅助任务捕获与共享特征共现的领域独有特征,结合两种特征表示完成跨域情感分类任务.在亚马逊评论等数据集上的实验表明,文中模型仅利用领域共享特征就达到较高的正确率,在不同的跨领域对之间具有较好的稳定性.     

基于加权分类损失和核范数的领域自适应模型

领域自适应将源域上学习到的知识迁移到目标域上,使得在带标签数据少的情况下也可以有效地训练模型。采用伪标签的领域自适应模型未考虑错误伪标签的影响,并且在决策边界处样本的分类准确率较低,针对上述问题提出了基于加权分类损失和核范数的领域自适应模型。该模型使用带有伪标签的可信样本特征与带有真实标签的源域样本特征构建辅助域,在辅助域上设计加权分类损失函数,降低错误伪标签在训练过程中产生的影响;加入批量核范数最大化损失,提高决策边界处样本的分类准确率。在Office31、Office-Home、Image-CLEFDA基准数据集上与之前模型的对比实验表明,该模型有更高的精确度。     

面向跨领域情感分类的统一框架

文本的情感分类问题,即判断文本中的论断是持支持态度还是反对态度.已有的研究表明,监督分类方法对情感分类很有效.但是多数情况下,已有的标注数据与待判断情感类别的数据不属于同一个领域,此时监督分类算法的性能明显下降,由此产生的即为跨领域情感分类问题.为解决此问题,提出一个统一框架,分多阶段进行跨领域情感分类:首先利用训练域文本的准确标签来得到测试域文本的初始标签;然后将测试域建成一个加权网络,将一些较准确的测试文本作为"源点"和"汇点",进一步利用热传导思想迭代进行跨领域情感分类.实验结果表明,此方法能大幅度提高跨领域情感分类的精度.     

基于分组提升集成的跨领域文本情感分类

针对目标领域带标签数据偏少的问题,综合运用半监督学习、BootStrapping、数据分组、AdaBoost、集成学习等策略与技术,提出了一种基于分组提升集成的跨领域文本情感分类方法。该方法首先利用少量人工标注的目标领域数据,基于合成过抽样技术产生一定数量的虚拟数据。在此基础上,采用BootStrapping方法获得更多目标领域高可信度的带标签数据。在分类器的构建方面,首先将源领域的带标签数据等量分割,并分别与目标领域带标签数据组合,在每个组合数据块上运用AdaBoost方法提升地训练多个分类器,并将这些分类器线性地集成为一个分类器。在亚马逊购物网站4个领域的情感数据集上的实验表明,基于分组提升集成的跨领域文本情感分类方法一定程度上提高了跨领域文本情感分类的精度。     

跨领域文本情感分类研究进展

作为社会媒体文本情感分析的重要研究课题之一，跨领域文本情感分类旨在利用源领域资源或模型迁移地服务于目标领域的文本情感分类任务，其可以有效缓解目标领域中带标签数据不足问题.本文从三个角度对跨领域文本情感分类方法行了归纳总结：（1）按照目标领域中是否有带标签数据，可分为直推式和归纳式情感迁移方法；（2）按照不同情感适应性策略，可分为实例迁移方法、特征迁移方法、模型迁移方法、基于词典的方法、联合情感主题方法以及图模型方法等；（3）按照可用源领域个数，可分为单源和多源跨领域文本情感分类方法.此外，论文还介绍了深度迁移学习方法及其在跨领域文本情感分类的最新应用成果.最后，论文围绕跨领域文本情感分类面临的关键技术问题，对可能的突破方向进行了展望.     

图正则化迁移稀疏概念编码的跨域图像分类

为克服不同图像域之间的特征“差异”，跨越分布“鸿沟”，提出了一种基于正则化迁移稀疏概念编码的跨域图像分类方法。将图像域间的分布差异性和标签相关性信息融入稀疏编码模型中，以学习跨域图像的鲁棒性稀疏表示，从高维的图像特征空间中挖掘图像低维流形结构，形成基向量集，构造跨域图像的迁移稀疏概念编码。该方法挖掘不同图像域之间的共同特征表达，实现了图像标签的跨域迁移。通过在多个图像数据库中的比较实验表明，该方法获得更为鲁棒的图像特征表达，其分类性能显著优于其他相关比较方法。     

基于胶囊网络的方面级跨领域情感分析

在跨领域情感分析任务中,目标领域带标签样本严重不足,并且不同领域间的特征分布差异较大,特征所表达的情感极性也有很大差别,这些问题都导致了分类准确率较低。针对以上问题,提出一种基于胶囊网络的方面级跨领域情感分析方法。首先,通过BERT预训练模型获取文本的特征表示;其次,针对细粒度的方面级情感特征,采用循环神经网络（RNN）将上下文特征与方面特征进行融合;然后,使用胶囊网络配合动态路由来区分重叠特征,并构建基于胶囊网络的情感分类模型;最后,利用目标领域的少量数据对模型进行微调来实现跨领域迁移学习。所提方法在中文数据集上的最优的F1值达到95.7%,英文数据集上的最优的F1值达到了91.8%,有效解决了训练样本不足造成的准确率低的问题。     

面向弱匹配的跨媒异构迁移学习

针对面向弱匹配的跨媒异构迁移学习中存在的迁移学习性能不高的问题,提出了一种基于平衡异构距离的混合拉普拉斯特征映射的跨媒异构迁移学习方法.利用大量非成对数据和相对少量的成对数据蕴含的语义信息,获取不同媒体域原始特征空间到潜在公共特征空间的映射矩阵;并在跨媒异构迁移学习中,构建混合图拉普拉斯矩阵,不仅保持了同一域下样本间的流形结构,而且保持不同域下样本间的流形结构;提升训练获得的模型在跨媒异构目标域的分类预测性能.在2个公共数据集NUS-WIDE和LabelMe上进行实验,表明了在成对数据的基础上,利用大量非成对数据可以增加模型的准确率和鲁棒性.     

领域自适应任务中的动态参数调整方法

领域自适应方法在特征变换过程中对多个度量大多采取静态权重设置,导致方法在不同任务上效果差异较大.为此,文中提出领域自适应任务中的动态参数调整方法.基于再生希尔伯特空间模型,最小化域间可区分性联合概率分布差异,求解域间不变特征空间.在此过程中,依据A-距离计算域间差异中同类标签和不同类标签分布差异的占比,并以此动态调整可区分性和可迁移性的权重参数,从而达到最优的自适应效果.在3个图像分类数据集上的实验表明文中方法的有效性.     

基于伪标签的无监督领域自适应分类方法

现有的领域自适应方法在匹配分布时并未完全考虑伪标签置信度或伪标签损失计算问题,针对此类问题,提出循环选择伪标签分类模型（CSPL）。利用深度网络提取图像特征,为目标域打上高置信度伪标签使得训练数据增强,采用MMD距离度量方法对齐源域和目标域的概率分布,同时设计伪标签损失同步迭代学习,更新模型作为下一次循环的训练模型直至模型收敛。在常用的领域自适应数据集Office31、Office-Home、ImageCLEF-DA以及Amazon-Review上实验表明,该模型相比之前域适应模型在准确度方面平均提升4%~8%且模型的鲁棒性也明显增加。     

基于CNN的方面级跨领域情感分析研究

近年来,方面级情感分析吸引了越来越多学者的关注,但方面级跨领域情感分析存在没有标注数据,难以获得好的分类结果的问题。将上下文特征与方面特征进行融合,构建基于卷积神经网络和门控单元的情感分类模型,并利用少量目标领域数据集对模型进行微调来实现迁移学习,再用迁移学习后的模型对目标领域的数据进行方面级情感分析,有效解决了训练样本不足、准确率低的问题。人工标注了适用于方面级跨领域情感分析的中、英文语料,所提出的方法在中文数据集最优的F1值达到92.19%,英文数据集最优的F1值达到了86.18%,实验结果表明基于卷积神经网络的方面级跨领域情感分析方法有效提高了目标领域的情感分类准确性。     

Class conditional distribution alignment for domain adaptation

In this paper, we study the problem of domain adaptation, which is a crucial ingredient in transfer learning with two domains, that is, the source domain with labeled data and the target domain with none or few labels. Domain adaptation aims to extract knowledge from the source domain to improve the performance of the learning task in the target domain. A popular approach to handle this problem is via adversarial training, which is explained by the $\mathcal H \Delta \mathcal H$-distance theory. However, traditional adversarial network architectures just align the marginal feature distribution in the feature space. The alignment of class condition distribution is not guaranteed. Therefore, we proposed a novel method based on pseudo labels and the cluster assumption to avoid the incorrect class alignment in the feature space. The experiments demonstrate that our framework improves the accuracy on typical transfer learning tasks.     

基于迁移学习的文本共情预测

由于缺乏足够的训练数据,文本共情预测的进展一直都较为缓慢;而与之相关的文本情感极性分类任务则存在大量有标签的训练样本。由于文本共情预测与文本情感极性分类两个任务间存在较大相关性,因此提出了一种基于迁移学习的文本共情预测方法,该方法可从情感极性分类任务中学习到可迁移的公共特征,并通过学习到的公共特征辅助文本共情预测任务。首先通过一个注意力机制对两个任务间的公私有特征进行动态加权融合;其次为了消除两个任务间的数据集领域差异,通过一种对抗学习策略来区分两个任务间的领域独有特征与领域公共特征;最后提出了一种Hinge?loss约束策略,使共同特征对不同的目标标签具有通用性,而私有特征对不同的目标标签具有独有性。在两个基准数据集上的实验结果表明,相较于对比的迁移学习方法,所提方法的皮尔逊相关系数（PCC）和决定系数（R²）更高,均方误差（MSE）更小,充分说明了所提方法的有效性。     

基于跨语言图神经网络模型的属性级情感分类

目前,在属性级情感分类任务上较为成熟的有标注数据集均为英文数据集,而有标注的中文数据集较少.为了能够更好地利用规模庞大但却缺乏成熟标注数据的中文语言数据集,针对跨语言属性级情感分类任务进行了研究.在跨语言属性级情感分类中,一个核心问题为如何构建不同语言的文本之间的联系.针对该问题,在传统的单语言情感分类模型的基础上,使用图神经网络模型对跨语言词-词、词-句之间的关系信息进行建模,从而有效地刻画两种语言数据集之间的联系.通过构建单语词-句之间的联系和双语词-句之间的联系,将不同语言的文本关联起来,并利用图神经网络进行建模,从而实现利用英文数据集预测中文数据集的跨语言神经网络模型.实验结果表明：相较于其他基线模型,所提出的模型在F1值指标上有着较大的提升,从而说明使用图神经网络建立的模型能够有效地应用于跨语言的应用场.     

基于双层词性感知和多头交互注意机制的方面级情感分析

在方面级情感分析研究中,现有工作往往忽略不同类型词性贡献程度以及局部特征和全局特征的交互作用会影响分类准确率的问题。为此,提出了一种基于双层词性感知和多头交互注意机制的方面级情感分析模型DPMHA。首先,使用BERT预训练模型获取包含上下文信息的词向量;其次,提出了双层词性感知的局部特征提取层,重点关注方面词周围具有重要词性词的特征,降低噪声词的影响;接着,在局部特征和全局特征之间设计了多头交互注意力机制,充分挖掘局部特征和全局特征之间重要的交互特征;最后,提出了动态特征融合层和softmax层获取情感分析的结果。在三个公开数据集上的实验结果表明,与现有的方面级情感分析模型相比,提出的DPMHA模型在restaurant14、laptop14、restaurant15数据集上MF1值分别提升了2.41%、1.24%、2.39%,准确率分别提升了1.34%、0.78%、0.37%。     

基于多任务预训练模型的属性级情感分类

目前,缺少标注样本数据是属性级情感分类任务面临的一大难题,为了解决这一问题,该文提出了结合多项任务的预训练Bert模型。该模型利用大量未标注的篇章级情感分类数据,结合多种分类任务预训练模型共享参数,迁移属性级评论和篇章级评论中共享的有用的语义语法信息,从而帮助模型提高属性级情感分类准确率。在SemEval-14数据集上的实验结果表明,相较于一系列基准模型,该文提出的模型有效提高了属性级情感分类的准确率。     

基于上下文保持能力的方面级情感分类模型

方面级情感分类可发现语句在不同方面隐藏的情感特征.文中基于特定方面的图卷积网络的框架,构建基于上下文保持能力的方面级情感分类模型.在图卷积层中引入上下文门控单元,整合前一层输出中的有用信息.在基于图卷积网络的模型中加入多粒度注意力计算模块,描述方面词与上下文在情感表达上的相互关系.在5个公开数据集上的实验表明,文中模型在分类准确率和F1宏平均指标上均表现较优.