Real-time content-aware image resizing

Content-aware image resizing is a kind of new and effective approach for image resizing, which preserves image content well and does not cause obvious distortion when changing the aspect ratio of images. Recently, a seam based approach for content-aware image resizing was proposed by Avidan and Shamir. Their results are impressive, but because the method uses dynamic programming many times, it is slow. In this paper, we present a more efficient algorithm for seam based content-aware image resizing, which searches seams through establishing the matching relation between adjacent rows or columns. We give a linear algorithm to find the optimal matches within a weighted bipartite graph composed of the pixels in adjacent rows or columns. Therefore, our method is fast (e.g. our method needs only about 100 ms to reduce a 768 × 1024 image’s width to 1/3 while Avidan and Shamir’s method needs 12 s). This supports immediate image resizing whereas Avidan and Shamir’s method requires a more costly pre-processing step to enable subsequent real-time processing. A fast method such as the one proposed will be also needed for future real-time video resizing applications.     

图像内容感知缩放的检测方法研究

针对可用于图像篡改的内容感知缩放技术,本文提出了一种基于概率Map图统计特征的内容感知缩放检测算法.该算法利用概率Map图来反映图像是否经过内容感知缩放操作,并利用新提出的积分投影与局部统计特征来检测篡改图像.而后利用分类器进行分类训练,从而有效识别基于内容感知缩放操作的图像篡改.实验结果显示,所提算法能够区分出原始图像与篡改图像,并具有较高的正确检测率.     

基于相似性判据的图像尺寸调整算法

归纳图像调整过程中的相似性判据,提出一种基于相似性判据的图像调整算法。采用Seam Carving算法按一定调整量分步进行 图像尺寸调整,利用相似性判据判断调整图像的变形程度,当变形达到一定程度时,换用双向相似度迭代优化算法完成图像剩余尺寸的调整。实验结果表明,在图像调整量很大时,利用该图像调整算法仍可较好地维持图像的整体视觉效果。     

双二次B-样条插值图像缩放

双线性和各种双三次插值方法是图像缩放中常用方法,但是双二次插值函数却很少被人提起。本文提出了一种基于双二次B-样条局部插值的图像缩放方法,该算法在图像局部重构过程中对称地采用了4×4采样点,并通过对该函数进行重采样来实现图像的缩放,避免了二次函数在图像重构与采样中的相位失真问题,此算法是一个局部性算法,易于扩展。实验结果表明,本文算法得到的图像的峰值信噪比(PSNR)、MISSIM值比双线性插值、双三次卷积、Catmull-Rom三次插值、Dodgson插值算法都要好,接近于最好的双三次B-样条算法,视觉效果虽然不如双三次B-样条插值算法,但优于Dodgson方法,计算时间比双三次B-样条减少了近三分之一。由于该算法没有对图像边缘特征进行特殊处理,对于一些细节纹理比较丰富的图像,将进一步研究。     

基于DCT域视觉显著性检测的图像缩放算法*

为适应不同终端显示多样化的要求,需对接收到的图像进行缩放调整。针对现有的基于内容感知(content-aware)的图像缩放方法中视觉内容的连贯性易被破环而出现失真的问题,提出了一个基于离散余弦变换(discrete cosine transform, DCT)域的视觉显著性检测的图像缩放算法。该算法利用DCT域的视觉显著性检测模型获取视觉显著图,然后结合视觉显著图和能量分布图进行线裁剪(Seam Carving),实现了图像的缩放。实验结果表明,该算法与现有的基于内容感知的图像缩放方法相比,不仅保护了视觉显著内容,还保证了图像内容的连贯性,算法质量指数也获得明显的提高。     

Multi-operator image retargeting with automatic integration of direct and indirect seam carving

Multi-operator image resizing can preserve important objects and structure in an image by combining multiple image resizing operators. However, traditional multi-operator methods do not take both horizontal and vertical content-aware resizing potential into consideration, which essentially leads to squeeze/stretch effect in the resultant images. In this paper, we propose a new multi-operator scheme that addresses aforementioned issue by integrating direct and indirect seam carving. Compared with previous methods, the proposed scheme remarkably reduces the cost of deciding when to change operators, by employing a newly defined image artifact measure. Furthermore, we propose a novel seam carving enhancement, named ACcumulated Energy Seam Carving (ACESC), as a basic operator to improve global structure preservation. By combining horizontal and vertical seam carving, our scheme preserves the shapes of important objects well. We present typical results to demonstrate the effectiveness of our method. User study shows that our method has high user preference.     

基于缝裁剪和变形的图像缩放方法

提出一种既能保持图像重要内容又能较好地保持重要物体形状的图像缩放算法。该方法结合传统的缝裁剪技术和变形技术来对图像进行缩放。首先利用当前公认效果良好的基于图模型的流形排序显著性检测算法得到图像的显著度图,结合图像梯度能量等信息来构造结构更为清晰的图像重要度图;其次利用之前构造的图像重要度图并按缩放尺度的大小来确定适当的缩放方法;最后根据度量比较结果来选择经典缝裁剪方法或基于能量优化的变形方法进行图像缩放。对比实验结果表明,该方法在图像缩放时能保持重要内容和显著物体形状结构。     

显著物体形状结构保持的图像缩放方法

针对传统的缝裁剪图像缩放方法中可能出现对图像中显著物体形状结构的破坏问题,提出一种既考虑到显著物体内容保持又考虑到显著物体形状结构保持的新的图像缩放方法。该方法首先利用经典的图像显著度图模型,结合图像梯度直方图等信息构建形状结构更加清晰的图像重要度图;然后利用已构建的重要度图,对图像进行分块,按显著块的大小来确定缩放方法;最后结合经典缝裁剪方法和基于共形能量的变形方法对图像进行缩放。实验结果显示,该方法能够在图像缩放时更好地保持显著物体的内容和形状结构。     

DCT域中任意比例的图像上下采样算法

在许多实际应用中, 为了满足传输信道和终端显示设备的要求, 需要通过上采样和下采样来改变图像的尺寸. 压缩域中的图像上下采样可以在空域中进行, 然而, 直接在压缩域中实现将更为快速. 本文根据空域中块与子块的相互关系以及酉变换对矩阵乘法的分配率, 提出了 DCT 域内任意比例图像上下采样算法. 与现存的算法相比, 本算法具有较高的信噪比, 较低的运算复杂度, 并适用于帧内与帧间编码的不同情况, 可应用于不同视频编码转码的实时处理.     

基于主体区域保持的图像缩放算法

基于插值运算的缩放算法和经典的缝裁剪算法是两种常用的图像缩放算法,传统的 缩放算法在缩放比例不一致的情况下其效果不佳,而缝裁剪算法在主体区域较大或者图像背景较 为复杂时对图像的主体区域会造成一定破坏。针对以上问题,提出了一种基于主体区域保持的图 像缩放算法,使用高斯差分对图像进行角点检测,利用角点产生凸包,根据凸包对图像进行主体 区域检测,计算能量图并对位于主体区域像素点的能量给予相应的权重,根据权重的不同对主体 区域进行不同程度的保护。实验结果表明,该算法能更好地保持图像主体区域。     

基于罗伯茨梯度的彩色图像缩放新法

为了缩放图像而不改变图像中重要特征物的大小和比率,提出一种叫做缝络删增的缩放方法.一个缝络就是从顶到底或从左到右8-连接且仅连接一个像素的路径.最佳路径由图像的罗伯茨梯度函数来定义.通过在行列一个或二个方向重复删除或插入缝络就能改变图像的尺寸和比率.算法定义的缝络绕过了特征物边界,从而保护了图像的内容.理论分析和实验结果表明,该算法较其它算法能更有效地保护图像特征物.     

Optimal multiple-seams search for image resizing with smoothness and shape prior

Content-aware image resizing is of increasing relevance to allow high-quality image and video to be displayed on devices with different resolution. We present a novel method to find multiple seams simultaneously with global optimality for image resizing, incorporating both region smoothness and seam shape prior using a 3-D graph-theoretic approach. The globally optimal seams can be simultaneously achieved by solving a maximum flow problem based on an arc-weighted graph representation. Representing the resizing problem in an arc-weighted graph, we can incorporate a wide spectrum of constraints into the formulation, thus improving resizing results. By removing or inserting those multiple seams, the goal of content-aware image resizing is achieved. Due to simultaneous detection of multiple seams, our algorithm exhibits several good features: the ability to handle both crossing and non-crossing-seam cases, the ability to incorporate various feasible geometry constraints, and the ability to incorporate the seams importance, region smoothness and shape prior information. The proposed method was implemented and experimented on a variety of image data and compared with the state of the art in image resizing.     

内容感知图像缩放技术综述

随着不同分辨率和纵横比的显示设备的迅猛增长,内容感知图像缩放技术逐渐成为图像处理领域新的研究热点之一。内容感知图像缩放的目标是在任意改变图像大小时保持图像中的主体特征不变。围绕其关键步骤:图像重要度识别和基于重要度的缩放,先概述重要度识别的相关方法,然后重点综述基于重要度的缩放技术。根据缩放是在像素级上操作还是亚像素级上操作,或者两者兼有,将其分为基于线裁剪缩放、基于图像变形缩放和多操作缩放3类,并比较各类方法的优缺点,同时给出各类方法所适合处理的图像类型。最后在分析各类研究方法的基础上,给出了内容感知缩放技术的可能发展方向。     

基于局部—全局方法的三角网格优化算法

在基于网格形变的图像缩放算法中,表示图像的网格质量对于这类算法的结果有着很大的影响。为了改善图像网格质量,提出一种基于局部—全局方法的平面三角网格优化算法。在局部阶段利用自定义的最相似规则,为网格中的每一个三角形单元求取与之最相似的正三角形,得到一组目标仿射变换函数;全局阶段采用尽可能刚性方法,利用最小二乘法求取一组满足最小变形能量函数的最优解,使得最终生成的网格由尽可能相似于正三角形的三角形构成。同时,在优化过程中加入约束控制,保护网格中的重要区域不发生改变。实验结果表明,优化后的网格质量得到了明显的改善,有助于图像缩放算法后续工作的进行。     

基于边缘检测的保特征的图像缩放算法

针对Seam Carving算法在实现图像缩放的过程中,对图像边缘几何特征造成破坏的现象,提出一种基于边缘检测的改进Seam Carving算法。首先在Seam Carving算法计算低能量线的同时引入图像边缘检测,其次确定低能量线与边缘的交点,进而提升交点邻域的能量,分散过于集中的低能量线。仿真实验结果表明,该算法能够有效减少Seam Carving算法缩放图像后产生的畸变,很好地保持了图像的重要几何特征。     

基于切缝对齐和变形校正的缝切割图像尺寸调整算法

针对图像尺寸调整的缝切割方法中存在的结构断裂和变形扭曲等问题,提出了一种基于切缝对齐和变形校正的切缝优化算法以获得更好的图像尺寸缩放效果.算法首先利用基于图割的切缝优化方法获得当前需要移除的一条切缝,然后采取动态规划算法,由粗到细地优化得到切缝上下像素之间的高精度匹配对应关系,最后通过逆向映射来对图像进行变形以校正发生扭曲甚至断裂的结构信息.实验结果表明,该方法能够很好地弥补缝切割所产生的扭曲变形,达到结构连续的视觉效果.基于切缝对齐和变形校正的切缝优化算法可用于调整图像尺寸使之与相应的显示设备相符,具有巨大的应用潜力.     

Review:A survey for image resizing

Image resizing is a key technique for displaying images on different devices, and has attracted much attention in the past few years. This paper reviews the image resizing methods proposed in recent years, gives a detailed comparison on their performance, and reveals the main challenges raised in several important issues such as preserving an important region, minimizing distortions, and improving efficiency. Furthermore, this paper discusses the research trends and points out the possible hotspots in this field. We believe this survey can give some guidance for researchers from relevant research areas, offering them an overall and novel view.     

Seam Carving和显著性分析的图像缩放方法研究

提出一种基于Seam Carving和显著性分析相结合的图像缩放方法。通过不断移除（插入）缝合线来实现对图像尺寸的缩小（放大）。通过研究Seam Carving在图像缩放及目标保留移除中存在的问题,已有的基于像素点计算图像能量函数的方法会对某些图像失效,提出一种基于显著性区域求解图像能量函数的SDRS方法。实验结果表明,Seam Carving方法对自然图像的处理能够达到令人满意的效果。Seam Carving方法和SDRS方法的结合,也是一个创新点。     

局部自适应非线性图像放大算法

已有的基于相关性检测的图像缩放算法所检测的边缘方向较少,并且只考虑了边缘特征的常数相关性,有时难以发掘像素之间所蕴含的关联性.为此,提出一种基于相关性检测的非线性图像放大算法.在检测图像中像素的相关性时,充分考虑像素之间潜在的相关方向;在检测相关性的过程中引入针对图像边缘特征的线性和二次相关性检测,用常数、线性或者二次函数来拟合像素之间的关系,从而更全面地描述像素之间的相关性,即图像的边缘特征,使得图像在放大过程中沿着图像的边缘特征进行,有效地消除了放大图像的模糊问题.实验结果表明,该算法具有良好的局部性,适合于GPU并行实现.     

汉字部件的无失真缩放变换方法研究

针对部件组字过程中由于缩放变换造成的部件笔画粗细和衬线失真的问题, 提出了一种通过优化缩放变换直接生成目标字形的方法。通过部件变换序列的生成算法以及笔画变换操作算法实现了由原始部件直接生成目标部件的缩放变换。原型系统的实验结果表明, 该方法能够实现汉字部件的无失真缩放变换, 从而提高了汉字组字系统生成字形的质量以及字库自动化生成的效率。