融合情感特征的在线学习成绩预测研究

当前在线学习成绩预测研究主要考虑学习行为数据而忽略了学习者在学习过程中的情感状态,成绩预测的准确性仍有较大提升空间,结合学习者的情感特征定量预测学习成绩的研究亟需深入.因此,本文构建了基于自注意力机制的BiLSTM文本情感分类模型,获取情感概率分布向量;提出一种融合情感特征的在线学习成绩预测方法,获得学习者的动态学习状态并预测在线学习成绩;定量分析情感信息对在线学习成绩预测的影响.真实数据集上的实验结果表明：本文方法能有效提升在线课程论坛文本的情感分类效果和在线学习成绩预测的精度.     

基于深度学习的在线学习成绩预测研究

通过分析在线学习平台中的教育文本,能挖掘其所蕴含的情感、认知等信息进行学业预测.然而目前在线学习成绩预测大多基于结构化数据,难以深入、精准地挖掘学习者的状态、情感等信息,影响到预测的准确性.采用深度学习技术,其中CNN模型能够有效提取局部特征,而LSTM模型能够考虑全局文本顺序的优势,能对教育短文本数据进行分类和细粒度情感倾向分析,挖掘其包含的影响学习成绩的因素,实现对在线学习成绩的有效预测.     

语义增强的在线学习行为预测研究

当前学习者的在线学习行为预测研究未充分利用短文本中的语义数据,导致对学习者的学习状态刻画不够全面,严重影响了行为预测的准确性.针对此问题,本文提出了语义增强的在线学习行为预测方法.首先,利用双向长短时记忆网络得到到短文本的语义向量表示;其次,基于学习者的统计、行为和短文本数据得到学习者的特征表征,并利用长短时记忆网络模型构建其学习状态表征;最后,利用学习状态表征预测学习者的学习行为.在11门真实在线课程数据集上的实验表明,本文方法能过有效提升在线学习行为预测的精确度.     

基于深度学习的短文本情感倾向分析综述

短文本情感倾向分析是自然语言处理领域的关键研究问题之一。情感倾向分析是用于检测语言所蕴含主观倾向语义的一系列方法、技术和工具,是对文本深层语义理解的关键。短文本数据的随意性、高歧义性以及简短性使得传统基于特征工程和机器学习分类技术的情感倾向分析任务性能有限。随着深度学习技术在自然语言处理中的广泛应用,基于深度学习的短文本情感倾向分析模型取得了新的突破。通过对相关文献的梳理,首先概述和对比了传统方法和深度学习方法,介绍和剖析了近年基于深度学习的短文本情感倾向分析模型,并阐述了模型的联系、区别与优势;其次归纳了深度学习在短文本情感倾向分析中的研究热点和进展思路,介绍了情感倾向分析常用的公开数据集以及评价指标;最后结合深度学习技术特点和任务难点,对深度学习在短文本情感倾向分析方向的应用前景进行预测。     

基于在线学习行为分析的个性化学习推荐

随着在线课程和线上学习的普及,大量的在线学习行为数据被积累。如何利用数据挖掘技术分析积累的大数据,从而为教学决策和学习优化提供服务,已经成为新的研究重点。文中分析了在线学习的行为特征,挖掘学习者的性格特征与学习效率的关系,实现个性化学习方法推荐。首先,提取在线学习行为特征,并提出了一种基于BP神经网络的学习成绩预测方法,通过分析在线学习行为特征,预测其相应的线下学习成绩;其次,为了进一步分析学习者的在线学习行为与成绩的关系,提出了基于实际熵的在线学习行为规律性分析,通过分析学习者的在线学习行为,定义并计算相应的实际熵值来评估个体的学习行为规律性,从而分析规律性与最终成绩的关系;再次,基于Felder-Silverman性格分类法获得学习者的性格特征,对学习者实现基于K-means的聚类分析获得相似学习者的类别,将学习成绩较优的学习者的在线学习习惯推荐给同一类别的其他学习者,从而提高学习者的在线学习效率;最终,以某在线课程平台的实际数据为实验对象,分别实现在线学习行为特征提取、线下成绩预测、学习规律性分析和个性化学习推荐,从而验证了所提方法的有效性和应用价值。     

Bert在微博短文本情感分类中的应用与优化

微博短文本是一种典型的用户生成数据(user generate data),蕴含了丰富的用户情感信息,微博短文本情感分类在舆情分析等众多应用中具有较强的实用价值.微博短文本具有简洁不规范、话题性强等特征,现有研究表明基于有监督的深度学习模型能够显著提升分类效果.本文针对广播电视领域微博文本展开情感分类研究,实验对比了多种文本分类模型,结果表明基于Bert的情感分类方法准确率最高.深入分析实验结果发现,Bert模型对于困难样本的分类错误率较高,为此本文引入Focal Loss作为Bert模型的损失函数,提出一种基于Bert与Focal Loss的微博短文本情感分类方法(简称为Bert-FL方法),使得Bert模型能够更容易学习到困难样本的类别边界信息,实验表明Bert-FL方法的分类准确率绝对提升了0.8%,同时对困难样本的分类准确率也有显著提升.     

使用概念描述的中文短文本分类算法

针对短文本特征较少而导致使用传统文本分类算法进行分类效果并不理想的问题,提出了一种使用了概念描述的短文本分类算法,该方法首先构建出全局的语义概念词表;然后,使用概念词表分别对预测短文本和训练短文本概念化描述,使得预测短文本在训练集中找出拥有相似概念描述的训练短文本组合成预测长文本,同时将训练集内部的短文本也进行自组合形成训练长文本;最后,再使用传统的长文本分类算法进行分类。实验证明,该方法能够有效挖掘短文本内部隐含的语义信息,充分对短文本进行语义扩展,提高了短文本分类的准确度。     

BERT与GSDMM融合的聚类短文本分类

在文本分类任务中,由于短文本具有特征稀疏,用词不规范等特点,传统的自然语言处理方法在短文本分类中具有局限性.针对短文本的特点,本文提出一种基于BERT(bidirectional encoder representations from Transformers)与GSDMM(collapsed Gibbs sampling algorithm for the Dirichlet multinomial mixture model)融合和聚类指导的短文本分类算法,用以提高短文本分类有效性与准确性.本算法一方面通过BERT与GSDMM融合模型将短文本转化为集成语义向量,集成的向量体现了全局语义特征与主题特征,解决了短文本特征稀疏与主题信息匮乏的问题.另一方面在分类器前端训练中通过引入聚类指导算法实现对标注数据的扩展,同时也提升了结果的可解释性.最后利用扩展后的标注数据集训练分类器完成对短文本的自动化分类.将电商平台的差评数据作为验证数据集,在多组对比实验中验证了本算法在短文本分类方面应用的有效性与优势.     

基于条件变分自编码网络的短文本分类

传统文本分类模型在处理短文本时主题特征挖掘不够充分,导致短文本分类效果不佳.对此提出一种基于条件变分自编码的短文本分类模型.采用预训练的LDA主题模型得到的主题词项分布构造具有单通道的文本主题特征图,从采样重构过程中学习连续及高度结构化的文本主题潜在空间,引入类别标签作为条件为重构加入更多的指导.利用预训练的主题潜在空间抽取文本主题特征构造短文本分类器.实验结果表明,相比于其他文本分类方法,该模型能够利用文本主题潜在空间充分挖掘短文本主题特征,其分类精确度明显提升.     

基于LDA特征扩展的短文本分类

针对中文短文本篇幅较短、特征稀疏性等特征,提出了一种基于隐含狄利克雷分布模型的特征扩展的短文本分类方法。在短文本原始特征的基础上,利用LDA主题模型对短文本进行预测,得到对应的主题分布,把主题中的词作为短文本的部分特征,并扩充到原短文本的特征中去,最后利用SVM分类方法进行短文本的分类。实验表明,该方法在性能上与传统的直接使用VSM模型来表示短文本特征的方法相比,对不同类别的短文本进行分类,都有不同程度的提高与改进,对于短文本进行补充LDA特征信息的方法是切实可行的。     

基于LSTM的商品评论情感分析

随着电子商务的发展,产生了大量的商品评论文本.针对商品评论的短文本特征,基于情感词典的情感分类方法需要大量依赖于情感数据库资源,而机器学习的方法又需要进行复杂的人工设计特征和提取特征过程.本文提出采用长短期记忆网络（Long Short-Term Memory）文本分类算法进行情感倾向分析,首先利用Word2vec和分词技术将评论短文本文本处理为计算机可理解的词向量传入LSTM网络并加入Dropout算法以防止过拟合得出最终的分类模型.实验表明：在基于深度学习的商品评论情感倾向分析中,利用LSTM网络的短时记忆独特特征对商品评论的情感分类取得了很好的效果,准确率达到99%以上.     

基于并行混合网络与注意力机制的文本情感分析模型

现有基于深度学习和神经网络的文本情感分析模型通常存在文本特征提取不全面,且未考虑关键信息对文本情感倾向的影响等问题。基于并行混合网络与双路注意力机制,提出一种改进的文本情感分析模型。根据不同神经网络的特点分别采用GloVe和Word2vec两种词向量训练工具将文本向量化,得到更丰富的文本信息。将两种不同的词向量并行输入由双向门控循环单元与卷积神经网络构建的并行混合网络,同时提取上下文全局特征与局部特征,提高模型的特征提取能力。使用双路注意力机制分别对全局特征和局部特征中的关键信息进行加强处理及特征融合,增强模型识别关键信息的能力。将融合后的整个文本特征输入全连接层,实现最终的情感极性分类。在IMDb和SST-2公开数据集上的实验结果表明,该模型的分类准确率分别达到91.73%和91.16%,相比于同类文本情感分析模型有不同程度的提升,从而证明了双路注意力机制可以更全面地捕获文本中的关键信息,提高文本情感分类效果。     

基于加权融合字词向量的中文在线评论情感分析

随着社交网络平台的广泛使用,涌现出大量蕴涵丰富情感信息的在线评论文本,分析评论中表达的情感对企业、平台等具有重要意义。为了解决目前针对在线评论短文本情感分析中存在特征提取能力弱以及忽略短文本本身情感信息的问题,提出一种基于文本情感值加权融合字词向量表示的模型——SVW-BERT模型。首先,基于字、词级别向量融合表示文本向量,最大程度获取语义表征,同时考虑副词、否定词、感叹句及疑问句对文本情感的影响,通过权值计算得到文本的情感值,构建情感值加权融合字词向量的中文短文本情感分析模型。通过网络平台在线评论数据集对模型的可行性和优越性进行验证。实验结果表明,字词向量融合特征提取语义的能力更强,同时情感值加权句向量考虑了文本本身蕴涵的情感信息,达到了提升情感分类能力的效果。     

基于多通道特征和自注意力的情感分类方法

针对情感分析任务中没有充分利用现有的语言知识和情感资源,以及在序列模型中存在的问题：模型会将输入文本序列解码为某一个特定的长度向量,如果向量的长度设定过短,会造成输入文本信息丢失.提出了一种基于多通道特征和自注意力的双向LSTM情感分类方法（MFSA-BiLSTM）,该模型对情感分析任务中现有的语言知识和情感资源进行建模,形成不同的特征通道,并使用自注意力重点关注加强这些情感信息.MFSA-BiLSTM可以充分挖掘句子中的情感目标词和情感极性词之间的关系,且不依赖人工整理的情感词典.另外,在MFSA-BiLSTM模型的基础上,针对文档级文本分类任务提出了MFSA-BiLSTM-D模型.该模型先训练得到文档的所有的句子表达,再得到整个文档表示.最后,对5个基线数据集进行了实验验证.结果表明：在大多数情况下,MFSA-BiLSTM和MFSA-BiLSTM-D这两个模型在分类精度上优于其他先进的文本分类方法.     

基于CNN-BIGRU的中文文本情感分类模型

在当今商业领域,对网络评论的情感分类一直是一个比较热门的研究方向,而为了克服传统机器学习方法所构建分类器会产生较大计算开销,精度表现较差的缺点,提出一种基于深度学习模型中卷积神经网络(CNN)与循环神经网络(RNN)模型的情感分类方法。在以往的研究中,卷积神经网络往往被用来提取文本的局部特征信息,但却容易忽视文本的长距离特征,而RNN则往往被用来提取句子的长距离依赖信息,但容易陷入梯度爆炸问题。因此,结合卷积神经网络对于局部特征信息的良好提取能力与循环神经网络对于长距离依赖信息的记忆能力,构建了一个CNN-BIGRU混合模型,用以提取文本的局部特征以及文本的长距离特征。其中循环神经网络模型使用了双向GRU模型,以避免RNN模型的梯度爆炸与梯度消失问题。在谭松波的酒店评论数据集上的实验结果表明,利用该模型,实验分类的准确率比单独使用卷积神经网络模型最高提升了26.3%,比单独使用循环神经网络模型最高提升了7.9%,从而提高了对中文文本情感分类的精度,并减少了计算开销。     

上下文感知的树递归神经网络下隐式情感分析

针对现有的序列化模型对中文隐式情感分析中特征信息提取不准确以及对篇章级的文本信息提取存在的梯度爆炸或者梯度消失的问题,提出了双向长短时神经网络和上下文感知的树形递归神经网络（context-aware tree recurrent neutral network,CA-TRNN）的并行混合模型。该模型分别利用双向循环长短时记忆神经网络（BiLSTM）提取文本中的上下文信息,树形递归神经网络（TRNN）提取文本中目标句的语义特征信息,最后,使用特定目标句的注意力机制将两个表示信息进行融合表示后,经过softmax得出文本的情感分类结果。采用SMP2019微博中文隐式情感分析任务中的数据进行验证,实验结果表明,所使用的模型（CA-TRNN）可以有效提高分类结果的准确度,时间代价小,具有更好的应用能力。     

Text feature selection for sentiment classification of Chinese online reviews

In order to meet the requirement of customised services for online communities, sentiment classification of online reviews has been applied to study the unstructured reviews so as to identify users’ opinions on certain products. The purpose of this article is to select features for sentiment classification of Chinese online reviews with techniques well performed in traditional text classification. First, adjectives, adverbs and verbs are identified as the potential text features containing sentiment information. Then, four statistical feature selection methods, such as document frequency (DF), information gain (IG), chi-squared statistic (CHI) and mutual information (MI), are adopted to select features. After that, the Boolean weighting method is applied to set feature weights and construct a vector space model. Finally, a support vector machine (SVM) classifier is employed to predict the sentiment polarity of online reviews. Comparative experiments are conducted based on hotel online reviews in Chinese. The results indicate that the highest accuracy of the sentiment classification of Chinese online reviews is achieved by taking adjectives, adverbs and verbs together as the feature. Besides that, different feature selection methods make distinct performances on sentiment classification, as DF performs the best, CHI follows and IG ranks the last, whereas MI is not suitable for sentiment classification of Chinese online reviews. This conclusion will be helpful to improve the accuracy of sentiment classification and be useful for further research.