基于多模态特征融合的新闻故事单元分割

对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并记录主题字幕的起始位置和结束位置,利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕,对新闻视频进行故事单元分割。实验结果表明,该方法的查全率为83.18%,查准率为83.92%。     

基于文本及视音频多模态信息的新闻分割

提出了一种融合文本和视音频多模态特征的电视新闻自动分割方案。该方案充分考虑各种媒体特征的特点,先用矢量模型和GMM对文本进行预分割,用语谱图和HMM对语音预分割、用改进的直方图和SVM分类器对视频进行预分割。然后在时间同步的基础上,使用复合策略用ANN对预分割的数据进行融合,从而获得具有一定语义内容的视频段。实验结果表明此方法的有效性,并且分割后的视频片段具备较完整的语义信息特征,避免了分割的过度细碎的弊端。     

基于矩阵分解双线性池化的多模态融合虚假新闻检测

现有的大多数虚假新闻检测方法将视觉和文本特征串联拼接,导致模态信息冗余并且忽略了不同模态信息之间的相关性。为了解决上述问题,提出一种基于矩阵分解双线性池化的多模态融合虚假新闻检测算法。首先,该算法将多模态特征提取器捕捉的文本和视觉特征利用矩阵分解双线性池化方法进行有效融合,然后与虚假新闻检测器合作鉴别虚假新闻;此外,在训练阶段加入了事件分类器来预测事件标签并去除事件相关的依赖。在Twitter和微博两个多模态谣言数据集上进行了对比实验,证明了该算法的有效性。实验结果表明提出的模型能够有效地融合多模态数据,缩小模态间的异质性差异,从而提高虚假新闻检测的准确性。     

一种基于多模态特征的新闻视频语义提取框架

为提高视频语义信息提取准确率,提出了一种基于多模态特征的新闻视频语义提取框架。在视频中提取主题字幕信息,对音频进行分类和语音识别,根据主题字幕信息借助搜索引擎得到与新闻视频相关的网页;最后利用网页文本对语音识别的结果进行纠错,从而通过视频字幕信息和语音脚本的跨模态融合提高视频语义提取的准确率。在中等规模的新闻视频(含新闻网页)库测试表明了该方法的有效性,经纠错后的语音识别准确率达到了65%左右。     

基于一对多关系的多模态虚假新闻检测

面向多模态的虚假新闻检测工作大部分是利用文本和图片之间的一对一关系,将文本特征和图片特征进行简单融合,忽略了帖子内多张图片内容的有效特征,对帖子间的语义关联建模不足。为了克服现有方法的局限性,该文提出了一种基于文图一对多关系的多模态虚假新闻检测模型。利用跨模态注意力网络筛选多张图片的有效特征,通过多模态对比学习网络动态调整帖子间高层次的语义特征关联,增强融合图文特征的联合表示。在新浪微博数据集上的实验结果表明,该模型能充分利用文图一对多关系的有效信息和帖子之间的语义特征关系,比基线模型准确率提升了3.15%。     

一种多模态信息融合的视频检索模型

针对包含复杂语义信息的视频检索的需要,提出了一种基于关系代数的多模态信息融合视频检索模型,该模型充分利用视频包含的文本、图像、高层语义概念等多模态特征,构造了对应于多个视频特征的查询模块,并创新地使用关系代数表达式对查询得到的多模态信息进行融合。实验表明,该模型能够充分发挥多模型视频检索及基于关系代数表达式的融合策略在复杂语义视频检索中的优势,得到较好的查询结果。     

融合多模态信息的社交网络谣言检测方法

随着社交网络平台的发展,社交网络已经成为人们获取信息的重要来源.然而社交网络的便利性也导致了虚假谣言的快速传播.与纯文本的谣言相比,带有多媒体信息的网络谣言更容易误导用户以及被传播,因此对多模态的网络谣言检测在现实生活中有着重要意义.研究者们已提出若干多模态的网络谣言检测方法,但这些方法都没有充分挖掘出视觉特征和融合文...     

基于梯度距离的新闻镜头检测算法

新闻视频中存在的大量闪光灯镜头造成镜头检测正确率的下降。通过分析闪光发生前后图像内容的相关性,提出一种基于梯度距离的镜头检测算法。首先针对序列直方图差的计算,提出基于局部最小距离的计算方法,消除由于拍摄光线微弱变化对原本静止的图像造成的直方图变化;然后对序列中可能存在的镜头帧,根据其出现的时间间隔和直方图距离比例,使用两步自适应阈值法过滤掉可能存在的渐变或特技镜头;最后对可能误检的闪光镜头,提出一种基于图像梯度向量的过滤方法,将候选镜头帧与前后连续图像的梯度向量进行对比,过滤掉差值小于阈值的图像。实验结果显示,该算法对新闻视频中的闪光镜头有较好的过滤效果,对连续闪光也有一定的鲁棒性。     

基于多模态信息融合的新闻图像人脸标注

针对传统新闻图像中人脸标注方法主要依赖人脸相似度信息,分辨噪声和非噪声人脸能力以及非噪声人脸标注能力较差的问题,提出一种基于多模态信息融合的新闻图像人脸标注方法。首先根据人脸和姓名的共现关系,利用改进的K近邻算法,获得基于人脸相似度信息的人脸姓名匹配度;然后,分别从图像中提取人脸大小和位置的信息对人脸重要程度进行表征,从文本中提取姓名位置信息对姓名重要程度进行表征;最后,使用反向传播神经网络来融合上述信息完成人脸标签的推理,并提出一个标签修正策略来进一步改善标注结果。在Label Yahoo! News数据集上的测试效果表明,所提方法的标注准确率、精度和召回率分别达到了77.11%、73.58%和78.75%,与仅基于人脸相似度的算法相比,具有较好的分辨噪声和非噪声人脸能力以及非噪声人脸标注能力。     

语义增强的多模态虚假新闻检测

近年来社交媒体逐渐成为人们获取新闻信息的主要渠道,但其在给人们带来方便的同时也促进了虚假新闻的传播.在社交媒体的富媒体化趋势下,虚假新闻逐渐由单一的文本形式向多模态形式转变,因此多模态虚假新闻检测正在受到越来越多的关注.现有的多模态虚假新闻检测方法大多依赖于和数据集高度相关的表现层面特征,对新闻的语义层面特征建模不足,难以理解文本和视觉实体的深层语义,在新数据上的泛化能力受限.提出了一种语义增强的多模态虚假新闻检测方法,通过利用预训练语言模型中隐含的事实知识以及显式的视觉实体提取,更好地理解多模态新闻的深层语义.提取不同语义层次的视觉特征,在此基础上采用文本引导的注意力机制建模图文之间的语义交互,从而更好地融合多模态异构特征.在基于微博新闻的真实数据集上的实验结果表明:该方法能够有效提高多模态虚假新闻检测的性能.     

视频镜头边缘检测算法研究与比较

视频镜头边缘检测中的直方图、像素差异等算法只针对有限的测试数据进行了范围比较狭窄的测试,对于算法的适用领域和范围没有进行测试和说明.为了解决这一问题,设计实现了三种视频镜头检测算法,并构造了丰富的测试视频数据集,针对测试结果进行了实现算法的性能分析以及提出了改进建议.     

改进的累积帧实现镜头转换检测技术

镜头检测方法是视频内容分析和视频检索中的关键技术之一。对累积帧的检测镜头转换的方法提出了改进,包括：采用图像块颜色均值差作为前景后景判决参数,更好地避免了噪声影响;提出局部全搜索块匹配算法准确区分物体运动与渐变镜头。对镜头转换判决阈值的设定进行了修正。通过实验对算法检测效果进行分析比较,结果表明,改进后的算法能很好地解决累积帧方法对快速运动场景容易出现误判的问题,具有更好的镜头检测效果。     

一种基于运动特征的快速镜头边界检测方法

提出了一种基于MPEG视频流运动特征的镜头边界检测模糊推理方法。首先提取MPEG视频流中每帧的宏块信息,然后分析这些信息分别得到相似度、相似度差、运动活动性强度差、运动集中度差等,并将它们作为隶属度函数的输入量,按照一定的推理规则得到突变、渐变、无镜头变换三种情况的隶属度值,值最大者决定该帧是何种类型。实验结果表明该方法具有较高的检测精度,而且由于该方法不用对MPEG视频流进行解压缩,因此处理速度快,适合于实时应用场合。     

基于预处理的视频镜头边界检测算法

针对视频镜头边界检测的高时耗问题,提出了一种基于视频预处理的视频镜头边界检测(SBD)改进算法。通过使用自适应的阈值选择可能包含镜头边界的候选段,候选段内首帧与其余各帧进行相似度对比检测出镜头起始帧,并立即检测切变。若候选段中不包含切变,则进行渐变检测。调整候选段以保证镜头边界位于同一段内,段内其余各帧与起始帧进行相似度对比确定镜头结束帧。实验结果表明,所提算法镜头边界识别准确率能够达到90%以上,且与倒三角模式匹配方法相比能够节约时间15.6%~30.2%;与对渐变和切变分别检测的算法相比,该算法能够在满足识别率的基础上提升检测速度。     

基于镜头的鲁棒视频广告检测

随着多媒体技术的发展，自动检测出数字视频节目里面嵌入的广告是很具挑战性的研究．然而，由于嵌入的广告的制作方式和表现手法的多样性，很多自动检测模型的实验结果往往不甚理想．为了提高检测系统的鲁棒性，提出了3阶段广告检测系统．首先，提出了基于区域特征重要性的镜头检测算法（RBFID，region-based feature importance detection），实现视频播放中突变镜头和消隐镜头的检测，同时从每个镜头提取出一些统计特征用来标识镜头．然后，利用SVM的优异分类特性实现镜头分类．最后为了能得到精确的广告视频段，利用广告视频在内容和时间上的连续性来消除错分的镜头，然后将广告镜头整合成广告视频段．本系统在30个电视节目的片段上进行验证，实验结果表明此广告检测系统具有实用性．     

基于特征信息的镜头检测研究

视频镜头检测是基于内容视频检索的第一步,提出了一种基于特征信息的视频镜头检测方法,该方法首先利用小波变换提取原始视频帧的颜色特征和纹理特征,计算相邻帧颜色特征的互信息量和纹理特征的信息熵差,然后计算镜头间的相似度,该方法可以有效地检测出突变镜头和渐变镜头,对闪光灯及物体和摄像机运动有较强的鲁棒性,实验结果表明该方法具有良好的性能。     

一种独特的镜头融解变换分类检测思想与算法的实现*

基于传统算法,提出了一种新的用来检测融解变换的系统。该算法改进了像素点密度帧差、给出了像素均差、像素相似度的特征,并且提出了将融解渐变分为超短渐变、长渐变和短渐变的分类检测方法。改进后的像素点密度帧差降低了全局噪声,像素均差、像素相似度在融解渐变的检测中表现出了良好的特性。实验证明,分类检测的思想,分离了原本容易混淆的超短渐变与切变、闪光,提高了检测的召回率和精度。     

一种独特的镜头融解变换分类检测思想与算法的实现*

基于传统算法,提出了一种新的用来检测融解变换的系统。该算法改进了像素点密度帧差、给出了像素均差、像素相似度的特征,并且提出了将融解渐变分为超短渐变、长渐变和短渐变的分类检测方法。改进后的像素点密度帧差降低了全局噪声,像素均差、像素相似度在融解渐变的检测中表现出了良好的特性。实验证明,分类检测的思想,分离了原本容易混淆的超短渐变与切变、闪光,提高了检测的召回率和精度。     

基于运动矢量的MPEG视频镜头边界检测

首先提取I帧的DC图进行镜头的粗略检测,然后提取P帧的前向运动补偿矢量,利用扩展矢量中值(EVM)滤波对运动矢量进行滤波预处理,并且进一步提取三个运动特征：运动强度值、运动强度差和运动矢量方向直方图绝对差,最后用模糊逻辑对上述三个特征进行综合,推理得出突变、渐变镜头和非镜头,实现镜头的检测。由于不需要对视频完全解压,直接从MPEG压缩码流中提取信息,所以计算复杂度低,提取速度较快。最后通过实验验证了该方法。