多媒体社会事件分析的研究与展望

随着互联网的快速发展,近年来出现了越来越多的社会媒体网站.用户可以非常方便地在这些网站上分享想法、图片、帖子和从事其他相关活动.当一个流行事件发生时,它可以在不同社会媒体网站中快速地进行传播,同时产生大量的多媒体数据.因此,研究多媒体社会事件分析是非常必要的,能够让人们及时地了解社会事件随时间演变的发展趋势.本文对近年来多媒体社会事件分析的相关研究进行了综述,并针对多媒体社会事件表示、多媒体社会事件检测和跟踪、多媒体社会事件动态演变和多媒体社会事件主题观点分析这4个具体任务进行了详细总结.随后,对多媒体社会事件的发展趋势进行了介绍.最后,对多媒体社会事件分析方面未来可能的研究课题进行了展望.     

基于社会多媒体内容的用户建模应用研究

随着互联网和社会媒体平台的发展,社会媒体吸引着数以亿计的用户参与其中进行创造和分享信息,产生了海量的文本、图像、音频和视频数据.面对这些数量巨大、异构多源、模态复杂的社会多媒体内容数据,如何对其进行有效的内容理解和知识表示,从而为用户提供更高效、优质的服务,成为实现社会媒体大数据价值的关键.本文对近年来在社会多媒体内容分析、知识提取和表示以及用户建模应用的相关研究展开综述,并针对社会多媒体特征融合、跨模态知识提取与表示,以及基于社会媒体的用户建模相关应用研究三个方面进行详细总结.随后对社会多媒体内容的知识表示和用户建模的研究与应用的发展趋势进行介绍,最后对多媒体知识表示与用户建模研究进行了总结和展望.     

多模态融合的家庭音乐相册自动生成

随着大数据以及社交网络的发展,电子相册与在线服务成为如今人们使用计算机与互联网的基础应用.尤其是近年社交网络的流行,电子相册的数量得到了爆炸增长,而如何增强相册的用户体验变得尤为重要.具有某种主题的相册一般都带有一定的情感信息,因此,本文研究了基于多模态融合的家庭音乐相册自动生成问题,旨在使用户能够在享受音乐的同时配以与音乐情感相同的相册图片.针对音乐与图片中所蕴含的情感,本文在音乐和图像中分别选取能够表达其情感的句子级别的音频特征和图像特征,然后在图像与音乐之间异构和跨模态的特征融合问题上,采用局部保持投影（LPP）方法,将图像特征与音乐特征映射到更具情感分类能力的隐式特征空间中,实现了音乐相册的自动生成.在实验中,客观评测结果表明,采用LPP方法在查准率方面高于纯CCA方法;在主观评测中LPP获得72.06%的满意度,与人工推荐的评价结果（78.09%）比较接近,明显高于随机推荐和CCA方法的满意度.     

东亚夏季风异常活动的空间多模态特征

利用ERA40再分析资料,采用相关、合成、自然正交函数展开（EOF分析）等方法,探讨了东亚地区夏季风活动的多空间模态特征及其与大气环流异常的可能联系。结果表明：1）东亚夏季风活动存在3种差异明显的典型空间模态。第一模态反映了夏季风活动在我国东部沿海及以东洋面与其以西地区的反相变化,主要体现了夏季风活动主体位置的东西变动;第二模态反映了自我国华南,经长江中下游、山东半岛、渤海湾至我国东北及朝鲜半岛一带夏季风活动的一致性变化,体现了东亚夏季风活动的整体强弱;第三模态主要反映了夏季风活动在中国以东洋面、朝鲜半岛、东北亚一带与我国华南地区的反相变化,主要体现了夏季风活动主体位置的南北移动。2）东亚夏季风活动的多空间模态对应的大气环流异常存在显著差异。东亚夏季风第一空间模态与亚洲南部区域以及鄂霍次克海上空的SLP呈负相关,而与北极极区、贝加尔湖地区及日本以东洋面的SLP呈正相关;而与同期500hPa高度场的相关分布主要表现为自极地经鄂霍次克海至日本以东洋面的“＋-＋”的波列分布特征。第二模态与SLP和500hPa高度场的相关分布具有非常相似的空间分布形势,均表现为东北、朝鲜半岛、日本海一带与菲律宾洋面、鄂霍次克海地区的反位相分布,自低纬向高纬呈现“＋-＋”的波列分布特征。第三模态与SLP和500hPa高度场的相关分布,主要表现为菲律宾附近洋面、日本及以东洋面、贝加尔湖到亚洲北部的负正相间的分布形势。     

基于多模态的音乐推荐系统

使用传统协同过滤的方式进行推荐往往会忽视音乐底层特征.通过将音乐的音频特征与歌词信息进行多模态融合,并将融合后的特征信息作为协同过滤推荐的补充,提出了一种基于多模态的音乐推荐系统.主要探讨了音频特征与歌词信息的提取,并在提取歌词信息时利用LDA主题模型进行特征降维.针对多模态融合问题,使用一种特征级联早融合法（EFFC）融合方式,并将多模态融合后的结果与单模态结果进行了比较.对于结果的推荐,以多模态特征信息为依据建立用户兴趣模型,并将该模型通过LSTM神经网络,以过滤与优化协同推荐的用户组.结果表明,基于多模态的音乐推荐系统将推荐结果的误差项平方和（SSE）由传统的2.009降至0.388 6,验证了该方法的有效性.     

图像特征检测与匹配方法研究综述

几十年来,图像特征检测与匹配一直是图像处理的最核心领域之一,是计算机视觉的基石.没有特征检测与匹配就没有SLAM、Sfm、AR、通用图像检索、图像配准、全景图像等视觉任务.本文在回顾几十年来的经典检测算法的基础上,阐述了引用最新的以深度学习为首的机器学习算法后,在本领域取得的最新进展,包括特征点、局部特征子、全局特征子、匹配及优化、端到端框架等所有关键点,展示了算法各自的优缺点.总而言之,面对工业界的宽基线、实时、低算力检测的要求,图像特征检测和匹配仍然是一项未能完整攻克的任务,融合特征点、局部特征子、全局特征子、匹配及优化的多任务全局框架成为未来发展的趋势.     

东亚夏季风异常活动的多模态特征:不同再分析资料的比较分析

利用1979～2002年ERA-40、ERA interim、JRA-25和NCEP-DOE AMIP-Ⅱ(简称为NCEP-2)再分析资料,采用扩展经验正交分解(EEOF)、相关分析等方法,对比分析了不同资料所揭示的东亚夏季风异常活动的多模态特征,在此基础上探讨了东亚夏季风异常活动各模态对应的大气环流异常分布型及其与中国夏季降水的可能联系。结果表明:(1)四套再分析资料所揭示的东亚夏季风异常活动均存在三种差异显著的空间模态,且各套资料对东亚夏季风异常活动空间多模态特征具有很好的一致性,仅NCEP-2的结果与其他资料略有差异。(2)第一模态体现了夏季风年际异常在中国南方和北方的反相变化,并具有显著的3～6年和准8年周期;与正(负)时间系数相对应,850 hPa风场、500 hPa高度场、SLP均显示东亚沿岸存在从西北太平洋经过日本以南到达鄂霍次克海的“-+-”(“+-+”)经向三极型结构;相应的降水变化在长江中下游为显著的负(正)异常,而在我国东北东部、东南沿海及云南西部则为正(负)异常。(3)第二模态反映了夏季风活动主导模态的一致性变化且在1993年左右发生年代际转折,并呈现准12年周期的强弱交替分布。当对应的时间系数为正(负)时,850 hPa风场在环贝加尔湖地区受强大的异常反气旋(气旋)控制;500 hPa高度场上,中高纬地区表现为异常的纬向波列结构,具体表现为起源于欧洲大陆西部经西西伯利亚平原向东南方向延伸至东北亚地区的“+-+”(“-+-”)的波列;SLP在我国大陆主要为正(负)异常,东亚夏季风整体减弱(加强);对应的夏季降水异常场呈现“南涝北旱”(“南旱北涝”)的分布形势。(4)第三模态表明了夏季风异常活动的东西反相变化,且有12～16年的准周期变化。对应正(负)的时间系数,115°E 以东地区盛行异常偏南(北)风,而115°E 以西地区主要盛行异常偏北(南)风;500 hPa高度场、SLP均显示出东亚沿岸地区、鄂霍次克海至日本以南洋面的“-+”(“+-”)波列以及欧亚大陆北部的准纬向遥相关波列;夏季降水在我国大部分地区偏多(偏少),显著变化主要位于黄淮及附近地区。     

光纤通信高速信号偏振态检测系统定标的研究

目前的商用偏振分析仪检测速率较低,因此在检测光纤通信中高速信号的偏振态时,需要自行搭建测量系统并结合高速实时数字示波器使用.此时,系统定标就显得尤为重要,定标方法也将直接影响测量的准确性.针对光纤型高速偏振态检测系统提出了定标方法,先通过Mueller矩阵算法对其进行了理论分析,进而通过实验证明了该定标方法准确可行,测量误差水平小于±3%.     

小样本目标检测的研究现状

近年来,随着深度学习技术的进步与推广,目标检测领域得到快速发展.但目前基于深度学习的方法大多对大规模标注数据有着极高的需求,而现实场景中大量标注数据往往不可能.因此,基于少量标注样本的目标检测领域逐渐得到大家关注.本文系统地总结与分析了目前有关小样本目标检测的方法,指出了目前方法的缺陷,并提出了一些可能的发展方向.     

基于方向特征显著性计算的MRI脑图像肿瘤检测

本文提出了一种利用方向性特征进行显著性建模的MRI脑图像肿瘤自动检测算法.该模型首先将MRI脑图像进行预处理,去除掉图像中头骨区域的干扰;然后使用基于方向特征的显著性检测增加病变区域的对比度,实现更准确地提取肿瘤图像区域.本文算法在脑图像数据集上进行了大量的实验,并且与主流的肿瘤自动检测方法进行了对比,证明了本文算法的有效性,并为医生提供可靠的辅助诊断和临床参考.