显著度和运动特性加权的视频质量评价方法

进行客观视频质量评价时,为了与主观评价结果尽可能一致,需要考虑视频的动态特性和人眼观看的视觉特性,因此本文提出一种基于显著区域和运动特性加权的视频质量评价方法。该评价指标基于传统的结构相似性指数(Structural similarity index measurement, SSIM)方法并在此基础上作了改进。首先通过频谱分析得到空域显著度,通过视觉注意模型并结合运动特性获取时域显著度,并根据时、空显著度动态融合得到帧级显著度。以帧级显著度加权SSIM指数,便可得到整个视频帧的质量评价指标。在LIVE VQA标准数据集上的实验结果表明,该评价指标更加接近于人眼对视频质量的主观评价值。     

融合空时显著性的运动目标检测方法

针对视频中显著性的运动目标检测问题,为解决显著性在运动目标检测中存在空时显著性简单融合和忽略时间显著性的问题,提出一种用人类视觉特性的运动目标检测方法.改进方法以提取的图像空间特征为基础,生成空间显著图,利用核密度估计,计算时间显著图;对空间显著性和时间显著性进行所占权重的计算,根据所计算的权值进行空间、时间显著图融合,生成空时显著图,得到检测出的运动目标.实验结果表明,改进方法能准确、快速地检测出运动目标,减少计算时间,提高检测目标的准确率.     

基于压缩域编码长度的视频显著性检测

生物学研究表明,人会 明显地注意 视频中的运动目标。为模拟该特性并快速完成视频显著图的计算,提出一种压缩域时空显著度检测方法(Temporal-Spatial Saliency in Compress Domain model,TS2CD)。分别利用H.264视频中对宏块的残差编码长度和运动矢量编码长度模拟人眼的显著性刺激强度,从而得到视频显著特征。通过线性的加权融合算法,综合两种编码长度得到的空域显著图和时域显著图,得到最终的视频显著图。在3个公开的数据库上的实验表明,TS2CD算法是当前性能最优的方法。     

模拟视觉初级皮层机制的移动镜头下的目标检测

本文提出一种新的针对移动镜头下的运动目标检测仿生算法,通过模拟人眼的视觉感知实现移动镜头下的目标检测,首先用3DGabor滤波器组提取目标的运动能量,接着用大尺度的环绕消除大量的背景信息,然后提取目标的运动和空间显著图,通过目标的运动显著图与运动能量得到目标运动区域,最后将运动区域与目标的空间显著图相结合提高目标轮廓的完整性。人工模拟实验和真实视频实验表明本文仿生算法的有效性。     

一种基于人眼视觉特性的视频质量评价算法

为了更好地提高视频编码效率与视频处理的性能,考虑人眼对不同内容的感知特性和掩蔽效应,以及时域人眼视觉特性,提出一种基于人眼视觉特性的视频客观质量评价算法.首先利用三维Sobel矩阵提取时空特性划分区域,并结合恰可察觉失真视觉阈值与绝对差值图来提取感兴趣区域;然后对感兴趣区域进行感知加权,并利用线性加权进行空间域融合;最后结合时域人眼视觉特性,利用低通函数模拟人眼的不对称感知,并通过最差情况加权策略得到视频序列客观质量评价值.在LIVE视频质量数据库上的实验结果表明,该质量评价算法具有较好的评价性能,更接近于主观测试结果.     

基于视觉显著性的均值漂移跟踪算法

为解决突变运动下的目标跟踪问题,提出了一种基于视觉显著性的均值漂移跟踪算法,将视觉注意机制运用到均值漂移跟踪框架中,利用时空显著性算法对视频序列进行检测,生成视觉显著图,从视觉显著图对应的显著性区域中建立目标的颜色特征表示模型来实现运动目标跟踪.实验结果表明:该算法在摄像机摇晃等动态场景下可以较准确检测出时空均显著的目标,有效克服了在运动目标发生丢失和遮挡等情况下跟踪不稳定的问题,具有较强的鲁棒性,从而实现复杂场景下目标较准确的跟踪.     

一种基于视频数据的服装显著性预测方法

人眼视觉注意机制表明当人眼观察目标时,注意力只会放在少数感兴趣的区域, 而自动忽略视野中大部分不感兴趣的其他区域。研究人类视觉注意机制,并构建有效的服装显 著性预测模型,可在后期用于指导更加逼真有效的服装运动建模,提高模拟效率。为此,对着 装人体运动视频数据进行分析,构造了种类多样的视频样本,并利用眼动技术采集真实人眼的 注视数据,采用高斯卷积生成视频帧的显著图作为训练模型所需的 Ground-truth。在进行视频特 征提取时,结合了底层图像特征、高层语义特征以及运动特征,共同构造特征向量和标签,并 通过支持向量机(SVM)训练得到基于服装视频的显著性预测模型。通过实验验证,该方法的性 能在服装显著性预测时,优于传统的显著性预测算法,具有一定的鲁棒性。     

视觉显著运动目标初始定位方法

视频图像跟踪算法中,手动核准目标初始参数困难、精度不高且易导致跟踪失效,针对以上问题,提出一种利用人眼视觉获取显著运动目标中心位置并提取尺寸的方法。该方法结合图像亮度及视频前后帧运动特征,可自适应获取人眼敏感运动目标最佳中心点及区域范围。仿真结果表明,该方法能准确定位显著运动目标,在背景运动或与目标差距较小时仍具有良好的性能。     

运动人体感兴趣区域的自动检测

人体运动自动检测与跟踪是人工智能系统的重要研究方向.提出了一种简单高效的人体感兴趣区域--ROI的自动检测方法.该方法运用帧差法和图像显著图算法模拟人眼视觉系统对运动人体注视点的形成过程,并通过联合显著区域的划定自动检测形成相应的运动人体ROI.实验结果表明,该方法检测出的人体ROI符合人眼观察运动目标时的视觉关注区域,可运用于后续基于颜色特征区域的运动人体跟踪.     

自然场景中的视觉显著对象检测

显著对象检测是视觉注意机制的一个重要应用基础研究,对于图像检索、场景分析、图像标注与对象识别都有着重要的研究意义。基于Tresiman特征整合理论和Koch计算框架,提出一种自然场景中视觉显著对象的检测方法。该方法首先建立适用于彩色自然场景的视觉显著度模型,计算多种不同特征的显著度,然后在融合不同特征的综合显著度图中提取显著对象。实验结果表明,与经典的Itti模型相比,这种方法不仅检测快速而且更准确地将视觉显著对象从背景中分离出来,更符合人眼的真实视觉注意过程。     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

结合立体视觉舒适度的立体图像显著性检测

针对先前的立体图像显著性检测模型未充分考虑立体视觉舒适度和视差图分布特征对显著区域检测的影响,提出了一种结合立体视觉舒适度因子的显著性计算模型.该模型在彩色图像显著性提取中,首先利用SLIC算法对输入图像进行超像素分割,随后进行颜色相似区域合并后再进行二维图像显著性计算;在深度显著性计算中,首先对视差图进行预处理;然后基于区域对比度进行显著性计算;最后,结合立体视觉舒适度因子对二维显著图和深度显著图进行融合,得到立体图像显著图.在不同类型立体图像上的实验结果表明,该模型获得了85%的准确率和78%的召回率,优于现有常用的显著性检测模型,并与人眼立体视觉注意力机制保持良好的一致性.     

基于视觉显著性图与似物性的对象检测

为了能够准确地检测出图像中的显著性对象,提出了一种新的基于视觉显著性图与似物性的对象检测算法。该算法首先在图像上提取大量具有较高似物性度量的矩形窗口,并估算出对象可能出现的位置,将窗口级的似物性度量转换到像素级的似物性度量;然后把原始显著性图与像素级的似物性图进行融合,生成加权显著性图,分别二值化原始显著性图和加权显著性图,利用凸包检测得到最大查找窗口区域与种子窗口区域;最后结合边缘概率密度搜索出最优的对象窗口。在公开数据集MSRA-B上的实验结果表明,该算法在准确率、召回率以及F-测度方面优于最大化显著区域检测算法、区域密度最大化算法以及似物性对象检测算法等已有的多种算法。     

基于视觉显著性的多视点纹理视频编码算法

针对多视点视频的压缩问题,提出一种基于视觉显著性分析的编码算法。该算法根据人眼对显著性区域的失真更加敏感这一特性,通过控制显著性区域与非显著性区域的编码质量来有效提高多视点视频编码的效率。首先,利用融合颜色与运动信息的视频显著性滤波器提取出多视点视频图像像素级精度的视觉显著性图;然后,将所有视点视频的视觉显著性图转换为编码宏块的显著性表示;最后,利用感知视频编码的原理实现基于显著性的宏块质量自适应控制。实验结果表明,该算法有效地提高了多视点视频编码的率失真效率及主观视频质量。     

复杂自然环境下感兴趣区域检测

目的 感兴趣区域检测是图像处理领域的关键技术.人类视觉系统处理一个较为复杂的场景时,会首先将其视觉注意力集中于该场景中的几个特定对象上,这些对象被称为感兴趣区域.在图像处理和分析过程中,感兴趣区域检测模拟人类视觉,能够快速、准确抓住图像重点,降低图像处理计算量,有效提高计算机信息处理的效率.因此感兴趣区域检测对于图像分析和理解有着重要意义.为此,提出一种基于低层次图像信息与中层次图像信息相结合的自底向上的感兴趣区域检测方法.方法 首先通过彩色增强Harris算子检测角点进而得到凸包边界,通过凸包区域与超像素聚类结果计算中层次信息粗略显著图;然后将图像从RGB空间转换到CIELab空间,使用差分滤波器对图像进行滤波,得到低层次信息粗略显著图;最后将低层次图像信息与中层次图像信息进行加权融合得到图像的显著图.结果 在微软亚洲研究院提供的公开数据库MSRA上验证了本文方法的有效性,根据该数据库人工标记的真值评价本文方法的检测效果,并与其他方法进行对比.其他方法的显著图是由其作者提供的源代码得到.在主观分析和客观判断两个方面的本文方法可有效抑制背景噪声,检测出的显著物具有均匀显著度,且边缘清晰.结论 本文方法是一种有效的图像预处理方法.     

利用背景先验的显著性检测算法

目的 针对图像的显著区域检测问题,提出一种利用背景先验知识和多尺度分析的显著性检测算法。方法 首先,将原始图像在不同尺度下分解为超像素。然后,在每种尺度下根据各超像素之间的特征差异估计背景,提取背景区域,获取背景先验知识。根据背景先验计算各超像素的显著性,得到显著图。最后,将不同超像素尺度下的显著图进行融合得到最终显著图。结果 在公开的MASR-1000、ECSSD、SED和SOD数据集上进行实验验证,并和目前流行的算法进行实验对比。本文算法的准确率、召回率、F-Measure以及平均绝对误差均在4个数据集上的平均值分别为0.718 9、0.699 9、0.708 6和0.042 3,均优于当前流行的算法。结论 提出了一种新的显著性检测算法,对原始图像进行多尺度分析,利用背景先验计算视觉显著性。实验结果表明,本文算法能够完整、准确地检测显著性区域,适用于自然图像的显著性目标检测或目标分割应用。     

基于纹理合成和视觉显著度的视频编码方法

针对现有基于纹理分析合成的视频编码方法难以对纹理实现自动分割的问题,提出基于纹理合成和视觉显著度的视频编码方法,将编码可移除的纹理宏块定义为宏块内图像信息包含在周围宏块中的宏块,被移除宏块移除后,能够使用周围宏块信息进行重建,同时,为了保证重建图像的主观质量,对视觉显著的图像区域,强制地不被标记为纹理移除块。在解码端,采用了全局运动补偿和纹理优化的组合方式对纹理移除宏块进行重建,以确保连续帧之间的纹理时空一致性。与H.264/AVC编码方法相比,在相同主观质量的情况下,本编码方法能够降低码率5%到20%,与Njiki-Nya Patrick等人提出的基于纹理分析合成的编码方法相比,本编码方法不但能够实现自动的纹理提取,在低码率端,编码效率提高一倍以上。     

多信息动态融合的运动目标检测方法

针对基于视觉显著性的运动目标检测算法存在时空信息简单融合及忽略运动信息的问题,提出一种动态融合视觉显著性信息和运动信息的运动目标检测方法。该方法首先计算每个像素的局部显著度和全局显著度,并通过贝叶斯准则生成空间显著图;然后,利用结构随机森林算法预测运动边界,生成运动边界图;其次,根据空间显著图和运动边界图属性的变化,动态确定最佳融合权值;最后,根据动态融合权值计算并标记运动目标。该方法既发挥了显著性算法和运动边界算法的优势,又克服了各自的不足,与传统背景差分法和三帧差分法相比,检出率和误检率的最大优化幅度超过40%。实验结果表明,该方法能够准确、完整地检测出运动目标,提升了对场景的适应性。     

Line drawing via saliency map and ETF

Line drawing is a means of superior visual communication which can effectively convey useful information to viewers. Artists usually draw what they see rather than what exists, which means the most attractive object is emphasized while the rest are inhibited. Moreover, artists draw the whole object with coherent lines instead of fractured lines, which also contribute to the outstanding visual effect. From these perspectives, generating line drawings with saliency and coherence remains a great challenge. Existing line drawing generation methods ignore these important properties and cannot generate coherent lines in some cases since they do not take into account how artists draw a picture. To this end, a novel saliency-aware line drawing method was proposed to better grasp the viewer’s attention on an image. First, a saliency enhanced line extraction method combining saliency map and edge tangent flow was proposed to ensure the saliency and coherence of lines, especially in salient but low contrast areas. Then, the salient information was highlighted while irrelevant details were eliminated by inhibiting lines in less salient areas to enhance the saliency of the line drawing. Finally, the transparency of lines was adjusted to further emphasize important information. Various results showed that our method can generate line drawings with better visual saliency and coherence than the state-of-the-art methods.     

自动特征选择和加权的图像显著区域检测

视觉显著性度量是图像显著区域提取中的一个关键问题,现有的方法主要根据图像的底层视觉特征,构造相应的显著图。不同的特征对视觉显著性的贡献是不同的,为此提出一种能够自动进行特征选择和加权的图像显著区域检测方法。提取图像的亮度、颜色和方向等特征,构造相应的特征显著图。提出一种新的特征融合策略,动态计算各特征显著图的权值,整合得到最终的显著图,检测出图像中的显著区域。在多幅自然图像上进行实验,实验结果表明,该方法在运算速度和检测效果方面都取得了不错的效果。