PAD三维情感空间中的语音情感识别

离散情感描述模型将人类情感标注为离散的形容词标签,该类模型只能表示有限种类的、单一明确的情感类型,而维度情感模型从情感的多个维度量化了复杂情感的隐含状态.另外,常用的语音情感特征梅尔频率倒谱系数(MFCC)存在因分帧处理引起相邻帧谱特征之间相关性被忽略问题,容易丢失很多有用信息.为此本文提出改进方法,从语谱图中提取时间点火序列特征、点火位置信息特征对MFCC进行补充,将这三种特征分别用于语音情感识别,根据识别结果从PAD维度情感模型的三个维度(Pleasure-displeasure愉悦度、Arousal-nonarousal激活度、Dominance-submissiveness优势度)进行相关性分析得到特征的权重系数,加权融合后获得情感语音的最终PAD值,将其映射至PAD三维情感空间中.实验表明,增加的时间点火序列、点火位置信息不但能探测说话人的情感状态,同时考虑了相邻频谱间的互相关信息,与MFCC特征形成互补,在提升基本情感类型离散识别效果的基础上,将识别结果表示为PAD三维情感空间中的坐标点,采用量化的方法揭示情感空间中各种情感的定位与联系,展示出情感语音中糅杂的情感内容,为后续复杂的语音情感分类识别奠定研究基础.     

基于邻居相似现象的情感说话人识别

根据语音学的研究,提出中性时发音相似的说话人,在情感状态下的发音人相似的假设--邻居相似现象,并通过定量和定性的分析验证了该假设,即在音素内容相同的情况下,同一说话人的中性模型和情感模型对应高斯分量的“邻居”基本类似.为了解决说话人情感变化时语音短时特征的分布与中性语音模型存在差异的问题,提出说话人情感模型合成的方法--将开发库中学习到的中性 情感变化规律移植到评测库中,根据说话人的中性模型合成出情感模型.从邻居相似现象的特性出发,根据KL距离选取该说话人中性下若干相似的邻居,根据基于邻居的方法和基于邻居变换的方法,合成出该说话人的情感模型.MASC库上的实验结果表明,该方法的识别准确率比传统的GMM-UBM算法提高了2.81%,与情感属性映射（EAP）方法相比识别率提高了1.3%.     

混合自行车交通流速度分布模型

针对电动自行车和普通自行车在非机动车道上混合运行的问题,基于实测数据分析混合自行车交通流速度的基本统计特性.通过对多种影响因素的分析,构建基于高斯混合模型(GMM)的速度分布函数,采用期望最大化(EM)算法对模型参数进行最大似然估计.通过Kolmogorov-Smirnov(K-S)拟合优度检验优化,得到高斯混合模型的最佳组成数.分析不同限速阈值对自行车超速特性的影响.结果表明,利用高斯混合模型能够有效地拟合混合自行车速度.利用三元高斯混合模型能够拟合自由流状态下的速度数据;针对多种交通状态下的数据,须采用五元或六元高斯混合模型进行拟合.     

混合自行车交通流速度分布模型

针对电动自行车和普通自行车在非机动车道上混合运行的问题,基于实测数据分析混合自行车交通流速度的基本统计特性.通过对多种影响因素的分析,构建基于高斯混合模型(GMM)的速度分布函数,采用期望最大化(EM)算法对模型参数进行最大似然估计.通过Kolmogorov-Smirnov(K-S)拟合优度检验优化,得到高斯混合模型的最佳组成数.分析不同限速阈值对自行车超速特性的影响.结果表明,利用高斯混合模型能够有效地拟合混合自行车速度.利用三元高斯混合模型能够拟合自由流状态下的速度数据;针对多种交通状态下的数据,须采用五元或六元高斯混合模型进行拟合.     

情感维度下的深度情感关联模型

鉴于现有的情感模型只是从空间上对情感状态进行划分,忽略了情感之间的相互作用问题,建立了一种将多层限制玻尔兹曼机和情感关联认知网络相结合的深度情感关联模型。该模型将多层限制玻尔兹曼机训练得到的权值作为关联认知网络输入输出之间的权值,以三维情感模型中情感空间距离的倒数作为情感类别之间的关联度,通过训练关联认知网络得到最终的情感分类结果。选用TYUT1.0和CASIA情感语音库中的“高兴”“生气”和“中性”三种基本情感作为数据来源,分别采用深度信念网络和深度情感关联模型进行实验对比。实验结果显示,所构建的深度情感关联模型比深度信念网络的平均识别率最高高出6.06%,该模型得到了较好的识别结果。结果表明, 深度情感关联模型在语音情感识别上有较强的优越性和普适性,可以很好地反映情感之间的相互作用。     

基于多模态判别性嵌入空间的图像情感分析

为了解决图像情感分析中存在的情感鸿沟和大的类内方差问题,提出了一种可以同时利用视觉模态和文本模态之间的深度潜在关联、视觉模态的深度线性判别和图像中层语义融合的弱监督方法.利用多模态深度网络结构找到一个视觉模态和文本模态之间最大深度关联且视觉模态具有深度判别性的潜在嵌入空间,并在该潜在空间中将文本的语义映射特征迁移到图像的判别性视觉映射特征中;结合注意力机制,设计涵盖潜在空间中映射特征的注意力网络,用于情感分类.在真实数据集上的实验结果表明,所提出的方法获得了更好的情感分类准确率.     

涉及情感与语义的多特征图像检索

借助用户情感模型、因子分析、情感计算等方法,收集和分析用户评价图像的情感数据,建立情感空间.对图像数据库的图片,采用图像的多种底层特征提取的方法来增强对图像感性特征的过滤和约束.基于SVM的情感注释建立图像的低层特征空间到用户的高层情感空间的联系,记忆用户的情感,自动注释用户未曾评价过的图像,实现了与图像的情感语义相关的多特征检索系统.实验表明,涉及情感的多特征图像检索结果,其图像的内容特征与用户情感检索意图在很大程度上是匹配的,避免了单一特征不顾及用户情感的图像检索无法过滤不期望的结果出现的缺点.     

融合时空上下文信息的兴趣点推荐

为了给用户提供更好的位置服务,提出了一种位置社交网络中融入时空上下文信息的混合个性化兴趣点推荐模型.在空间上,对用户签到进行层次聚类,对各聚类内二维核密度估计的结果取平均.在时间上,利用用户签到的时间信息、签到的位置信息及社交网络构建转移矩阵,运行改进图的随机游走模型.混合模型融合时空上下文信息做推荐.在真实数据集上的实验结果表明,无论在标准推荐场景还是冷启动场景下,混合推荐模型的准确率和召回率性能均优于基准方法.     

基于高斯核函数支持向量机的脑电信号时频特征情感多类识别

为了找到一种综合分析方法,提高对脑电信号情感多分类识别的分类精确度,将DEAP数据库中的脑电数据采用经验模态分解的方法分解为多个本征模函数,并对本征模函数按不同的时长窗口进行分片,提取其功率谱密度作为脑电信号特征.将被试对音乐视频的情感评价指数用于生成情感分类标签,按"唤醒度"和"效价"2个维度将评价指数映射到二维情感模型中,分成4类.采用"一对一"的高斯核函数支持向量机对脑电特征进行多分类分析.实验结果表明:高斯核函数支持向量机的最高分类准确度达到90.9%(22号被试),平均分类准确度达到68.3%.高斯核函数支持向量机能有效地从脑电信号中识别出不同的情感状态;同时,对于相同刺激,不同的被试产生的情感状态不同;并且,在清醒状态下,脑电信号的高频子波对情感分类有更高的分类精确度.     

PAD情感空间内人工情感建模及人机交互实验

针对未来仿人机器人与人类长期共存将会带来的机器人对人的心理影响以及个性化匹配问题,在PAD(Pleasure、Arousal、Dominance)三维情感空间内,建立一种更具普遍性的人工情感计算模型.人工情感模型总体框架分为外部事件检测及处理、情绪响应向量生成及修正和情绪离散化三部分.提出一种有效的外界刺激三维标注方法;建立可对外界刺激进行自主情绪响应的情感计算模型,并将性格和心情模型引入其中,实现个性化的情绪响应;提出一种情绪响应向量离散化方法,并在具体情绪种类的基础上建立情绪强度计算式;根据情感模型所产生的情绪种类及强度,建立机器人的表情合成及语音回答模型,在HF robot-III型仿人头像机器人平台上进行人-机器人情感交互实验.语音对话和表情状态迁移实验结果表明:所建立的人工情感模型可针对外界刺激自主地产生个性化情绪响应,有效模拟人类情绪的变化过程.     

基于四阶奇异值分解的推荐算法研究

三阶奇异值分解推荐算法可以综合考虑用户、物品标签和物品三部分信息,挖掘三者之间的潜在关系进行推荐,然而该方法并没有引入其他方面的有效信息,如用户情感。为了考虑更多维度的信息,本文在三阶奇异值分解推荐算法的基础上,提出了一种加入用户情感信息的四阶奇异值分解推荐算法。该方法基于从评论中的emoji表情提炼出的用户情感偏好,再引入四阶张量模型,存储用户、用户情感、物品标签和物品四元组数据,应用四阶奇异值分解,从而进行个性化推荐。在某在线互联网教育的实证数据集上的实验结果表明,该方法比三阶奇异值分解推荐算法以及传统推荐算法在准确率和召回率性能指标上都有明显提升,其中进行Top-1推荐时,准确率和召回率可以达到0.513和0.339。本文的工作为移动通信端的个性化推荐提供了借鉴。     

多维变量感性工学模型构建及其性能评估

针对传统一维变量感性工学模型实际应用价值不高的问题,提出了多维变量感性工学模型构建方法。首先构建产品多维造型特征空间和情感意象认知空间,再判定多维造型特征空间主特征,并对主特征进行参数化处理,然后运用多元回归分析多维造型特征空间与感性设计空间映射函数关系并构建产品的形、色、音、质及相关关系元件的多维变量感性工学模型。最后以数控机床造型设计为例对模型构建方法进行应用,并通过验证实验和对比实验对其性能进行评估,验证实验用于评估其有效性,对比实验用于评估其优越性。实验结果表明,多维变量感性工学模型具有更高的模型拟合度,更符合人们的实际认知,性能更佳,因此能更好地指导产品情感设计。     

Emotional inference by means of Choquet integral and λ-fuzzy measurement in consideration of ambiguity of human mentality

Research on human emotions has started to address psychological aspects of human nature and has advanced to the point of designing various models that represent them quantitatively and systematically. Based on the findings, a method is suggested for emotional space formation and emotional inference that enhance the quality and maximize the reality of emotion-based personalized services. In consideration of the subjective tendencies of individuals, AHP was adopted for the quantitative evaluation of human emotions, based on which an emotional space remodeling method is suggested in reference to the emotional model of Thayer and Plutchik, which takes into account personal emotions. In addition, Sugeno fuzzy inference, fuzzy measures, and Choquet integral were adopted for emotional inference in the remodeled personalized emotional space model. Its performance was evaluated through an experiment. Fourteen cases were analyzed with 4.0 and higher evaluation value of emotions inferred, for the evaluation of emotional similarity, through the case studies of 17 kinds of emotional inference methods. Matching results per inference method in ten cases accounting for 71% are confirmed. It is also found that the remaining two cases are inferred as adjoining emotion in the same section. In this manner, the similarity of inference results is verified.     

情绪波动方程下微信息推介演变模型

为有效地捕捉微信息用户情绪,准确把握用户的兴趣倾向,使用最大信息熵估计法建立情绪波动方程,确定刺激力和内趋力参数方案.在衡量微信息情绪状态的前提下,描述出微信息用户情绪演变系统,建立及时激励推荐型的情绪导引模型,实现了情绪预测和情绪信息准确推荐的目的.结果证明,信息熵估计可以介入准确的情绪符号,提高微信息导引策略的适用性,达到稳定用户情绪、导引网络正能量的效能,对建立公信力和平抑小众情绪起到积极的作用.     

Artificial emotional model based on finite state machine

According to the basic emotional theory, the artificial emotional model based on the finite state machine（FSM） was presented. In finite state machine model of emotion, the emotional space included the basic emotional space and the multiple emotional spaces. The emotion-switching diagram was defined and transition fimction was developed using Markov chain and linear interpolation algorithm. The simulation model was built using Stateflow toolbox and Simulink toolbox based on the Matlab platform. And the model included three subsystems： the input one, the emotion one and the behavior one. In the emotional subsystem, the responses of different personalities to the external stimuli were described by defining personal space. This model takes states from an emotional space and updates its state depending on its current state and a state of its input （also a state-emotion）. The simulation model realizes the process of switching the emotion from the neutral state to other basic emotions. The simulation result is proved to correspond to emotion-switching law of human beings.     

注意-情绪协调的个性化信息推荐模型

在分析注意、情绪及两者关系的基础上，提出了注意-情绪协调模型，并以情绪唤醒选择性注意. 在北京旅游信息推送服务中，综合考察用户的注意、情绪和信息的语义特征，提出了注意-情绪协调的个性化信息推荐模型. 通过在推荐模型中加入情感风格，整合信息资源，使信息呈现方式适应用户的注意选择性特征，为个性化信息服务和新型人机交互提出了一种新思路。     

音乐情感的语言值计算模型研究

基于音乐情感的心理模糊量的言词研究成果——Hevner情感环模型，提出了一种音乐情感的语言值计算模型。该模型利用八维语言值向量来表示音乐情感，并定义了任意两首乐曲之间的情感相似性度量。本文还通过语义认知实验建立了由基本语言值集构成的情感心理空间。结合情感化音乐检索和多专家决策的需要，本文基于音乐情感向量的代数和逻辑运算法则实现了多源情感信息的融合，实例表明该融合方法符合音乐情感认知的心理模式。     

基于向量空间模型的个性化网页搜索算法研究

为解决信息检索时不同用户对搜索结果有不同期望的问题,提出了一种基于向量空间模型的个性化网页搜索算法。针对用户不同兴趣,利用用户画像能够更加全面地表示用户兴趣的特点,通过向量空间模型建立用户画像来表达用户兴趣,结合传统的网页排序算法得出最终的网页排序结果。对于不同用户可得到不同的网页搜索结果,排序靠前的网页中符合用户兴趣的网页数量增多。通过对模拟网页搜索实验结果的分析,证明所提算法较传统PageRank算法在个性化网页搜索方面有所提高。