新闻视频相似关键帧识别与故事单元关联分析研究

实现数据库中全部故事单元的相似度分析所面临的复杂性问题相当突出。提出了一种有效的方法来克服这些问题。首先,对限制相似关键帧识别速度的因素进行了研究,通过构建关联分析子数据库和精简局部关键点数量来提高分析速度。然后研究了层次化过滤方法,以提高相似关键帧识别效率。进一步研究了通过相似关键帧判断故事单元的直接关联关系和利用关联关系的传递性获得故事单元之间的间接关联关系的故事单元关联分析方法。最后,研究提出了利用相似关键帧信息的故事单元相似度计算方法。实验结果显示,该方法显著提高了匹配与关联分析的速度,并且具有较     

新闻视频故事单元分割技术综述

新闻视频的故事单元分割一般采用统计学或者信息论的方法,将新闻节目分割成一系列有各自主题内容的故事单元。这些单元反映的是视频流的高层语义,是建立视频索引的最佳层次。该文对这一技术进行了综述,将现有方法根据利用信息的角度分为3类:单模态的分割方法、多模态融合的分割方法和基于上下文信息的分割方法,并且详细讨论了每一类方法的特点。此外,还分析了一些分割错误的原因和今后的发展趋势。     

基于双语主题和因子图模型的汉语-越南语双语事件关联分析

随着“一带一路”国家战略实施,我国与越南的交流与合作日益密切,及时掌握两国新闻事件动态意义重大。该文针对汉越双语新闻事件关联分析所面临的跨语言关联问题,研究汉越双语新闻事件关联分析方法。汉越双语新闻事件分析其实质是多语言多文本的理解问题。其主要难点是要解决多语言多文本下的新闻事件理解问题。该文提出了基于因子图模型的局部密切度传播算法。首先使用双语主题概率模型,从双语文档中获得双语主题及主题概率分布,然后基于新闻事件的文本相似度构建事件因子图模型,在因子图上对相互关联的事件使用局部密切度传播算法计算某一主题下所有相互关联的事件间的影响力。最后得到不同主题下事件间的影响力拓扑图。实验结果表明该方法相比相似度计算和词语共现的方法取得了不错效果。     

突发事件网络舆情信息分类方法研究

根据公共安全网络舆情研究的需求,将文本分类技术应用于突发事件应急管理中,提出了基于TFIDF分类方法的突发事件引发的网络舆情信息分类方法,设计类别样本并读入新闻文本,对文本进行中文分词,通过计算新闻文本和类别样本的相似度将新闻文本分到相似度最大的类别之中。通过编程实现了按照事件类型和地理位置两种分类方式对新闻文本进行分类,程序分类结果验证了该方法的实用性。     

融合静态与动态建模的网络事件聚合方法

网络世界是人们获取信息的重要来源,各大新闻门户网站成为信息产生和传播的主要聚集地。网络信息具有不规范、噪声大、动态性等特点。为了有效地组织网络信息,提出一种结合静态和动态建模的方法来对网络新闻事件进行聚合。静态建模基于新闻发帖内容的相似程度进行事件的初步聚合;动态建模是指基于隐马尔可夫模型来刻画事件的动态发展过程,并判断当前新闻发帖是否符合事件的发展规律。该方法将事件聚合从仅考虑内容空间中的相似度推广至包含内容及事件动态规律两个方面的空间来进行相似度度量,对内容相似的不同事件能够进行更好地区分。通过实际数据上的实验测试结果表明,该方法能够有效提升事件聚合的准确性。     

基于图聚类的汉越双语新闻话题发现

跨语言新闻话题发现是将互联网上报道相同事件的不同语言新闻进行自动归类,由于不同语言文本很难表示在同一特征空间下,对其共同话题的挖掘就比较困难。然而类似的新闻事件在不同语言文本表达上具有相同的新闻要素,这些要素之间关联能够体现出新闻事件的关联性,因此,针对汉越新闻话题发现问题,提出基于文档图聚类的汉越双语新闻话题发现方法。首先提取汉越新闻文本新闻要素,借助文本中要素相似度计算汉越文本相关度,构建汉越双语文本图模型,获得新闻文本相似度矩阵;然后,借助图模型中文本间的传播特点,采用随机游走算法对相似度矩阵进行调整,最后利用信息传递算法进行聚类。实验结果表明提出的方法取得了很好的效果。     

基于多模态子空间相关性传递的视频语义挖掘

在视频语义信息理解和挖掘中,充分利用图像、音频和文本等多模态媒质之间的交互关联是非常重要的研究方向.考虑到视频的多模态和时序关联共生特性,提出了一种基于多模态子空间相关性传递的语义概念检测方法来挖掘视频的语义信息.该方法对所提取视频镜头的多模态底层特征,根据共生数据嵌入(co-occurrence data embedding)和相似度融合(SimFusion)进行多模态子空间相关性传递而得到镜头之间的相似度关系,接着通过局部不变投影(locality preserving projections)对原始数据进行降维以获得低维语义空间内的坐标,再利用标注信息训练分类模型,从而可对训练集外的测试数据进行语义概念检测,实现视频语义信息挖掘.实验表明该方法有较高的准确率.     

基于多模态特征融合的新闻故事单元分割

对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并记录主题字幕的起始位置和结束位置,利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕,对新闻视频进行故事单元分割。实验结果表明,该方法的查全率为83.18%,查准率为83.92%。     

多源新闻视频中相似关键帧分析研究

分析不同来源视频中关键帧的相似度是新闻视频分析与组织中一项重要的支持技术,当前工作直接利用图像匹配分析方法进行研究,而没有充分结合新闻视频表身的特点和特定的需求,因此存在种种局限.针对这些不足,本文提出了一种快速有效的层次化过滤方法来识别新闻视频关键帧.该方法首先对局部关键点的获取和精减技术进行了研究,在第一层过滤中应用基于熵的方法选择相似关键帧候选集,在第二层过滤分析中利用相似关键帧的对称性得到可信的识别结果.实验显示,这种方法显著的提高了匹配分析的适度,并且具有较好的识别效率.     

多模态特征融合的新闻视频故事分割方法

新闻视频故事分割是新闻视频分析的重要底层支持技术,本文提出了一种融合音频、视频等多模态特征的新闻视频故事分割方法.首先分析音频特征的静音片段作为音频特征候选点,对视频进行镜头分割,并将镜头分割结果分类为播音员镜头和新闻报道镜头,将所有的镜头分割点和播音员镜头片段提取为视频片段候选点;然后通过对新闻视频编辑规则的研究,对视频、音频特征候选点融合分析来获取新闻视频的故事分割,实验表明该方法在不同新闻视频编辑规则下都具有较好的分割效率.     

基于播音员识别的新闻视频故事分割方法

新闻视频的语义单元分割是基于内容的新闻视频检索和情报挖掘的重要步骤,受到众多研究者的关注。提出了一种基于播音员识别的新闻视频故事单分割的新方法,首先从新闻节目中提取各播音员的声学感知特征的作为其声纹,训练出其相应的混合高斯模型(GMM),并采用KL差异法从视频镜头中探测出各播音员和非播音员音频镜头,最后结合视频字幕帧事件和新闻节目特殊的结构知识对新闻节目进行故事单元分割。在2个多小时的CCTV和CNN新闻视频实验中获得96.02%查准率和92.58%的查全率。     

综合利用声视特征的新闻视频结构化模型

视频结构化表征和基于这种表征进行相似度比较是视频检索的前提和最基础的重要工作。该文受视频制作过程的启发,通过分析新闻视频的内容结构特点,提出一个基于多语义抽象层次表示的5层视频目录结构化模型;在此基础上,采用分层处理思想,通过综合利用声视特征实现了基于目录结构的新闻视频结构化,克服了单纯用视觉特征难以胜任场景分段的困难,实验验证了该文思想及相应算法的有效性。     

基于语义人脸的视频新闻标注

视频和图像中的人脸蕴涵了丰富的语义信息，可以使用人脸对视频内容进行分析与标注，尤其是视频新闻节日。而要达到这样的目的，就必须先将对视频新闻具有语义价值的人脸从视频流中检测出来。本文提出基于语义人脸捡测的视频新闻语义聚类与标注算法：在这个算法中，首先使用肤色模型检测人脸可能出现区域，然后提取人脸可能区域的独立成分特征，用训练好的支持向量机检测出所有人脸，套用语义人脸模板过滤出最终的语义人脸集合，最后通过高斯混合聚类，将视频新闻标注为主持人镜头、访谈类新闻镜头和其他新闻故事镜头三类。实验表明，该算法在视频新闻结构化中可以得到较好的应用。     

一种用于MAM的语义可扩展视频编目与检索方法

针对媒体资产管理系统(media assetmanagement,MAM)对视频检索有着精确定位的特殊要求,提出了一种新的编目与检索方法,该方法结合了基于内容检索和基于手工检索的优点。首先采用主元分析(PCA)的方法对视频图像帧的高维特征进行降维,实现镜头自动分割,并对大量存在的新闻相似镜头进行语义自动标注,然后实现视频编目语义的动态更新与扩展。实验结果表明该方法有效、可行,大大提高了编目工作的效率以及编目语义的质量。     

Semantic user profiling techniques for personalised multimedia recommendation

Due to the explosion of news materials available through broadcast and other channels, there is an increasing need for personalised news video retrieval. In this work, we introduce a semantic-based user modelling technique to capture users’ evolving information needs. Our approach exploits implicit user interaction to capture long-term user interests in a profile. The organised interests are used to retrieve and recommend news stories to the users. In this paper, we exploit the Linked Open Data Cloud to identify similar news stories that match the users’ interest. We evaluate various recommendation parameters by introducing a simulation-based evaluation scheme.