数字抠像的最新研究进展

数字抠像是图像处理、视频编辑和电影制作中的关键技术.通过数字抠像,从图像或视频的背景中精确地分离出前景, 是计算机视觉领域的重要问题.本文首先介绍了目前数字抠像的交互方式,然后把抠像技术分为基于颜色采样、 基于像素相似性、基于能量函数以及基于机器学习的四类技术,介绍和分析了其中的典型算法和最新研究成果, 并对这些算法的测试结果进行了定量和定性比较,最后总结了数字抠像技术目前的研究状况和未来的发展方向.     

基于仿射方法的图像抠图算法综述

数字图像抠图是数字图像处理与编辑领域中的一类经典方法,而仿射方法则是图像抠图中与采样法相并列的一个重要分支,较采样类方法的主要特点和优势是计算速度快、对结果的平滑性能好.本文以闭合形式方法中的早期方法为起点,着重阐述了由它们扩展得到的2种重要闭合类方法各自的优点和缺点,包括经典的Matting Laplacian类方法,以及目前非常流行的Nonlocal类方法.实验结果表明,Nonlocal类在前景与背景重合度不高、边界并不复杂的时候效果较Matting Laplacian类方法要好.最后,本文对闭合形式所衍生出的路径类方法及附加类方法也给出了一些未来的发展建议和规划.     

基于局部抠像技术的融合图像精确跟踪算法

为了提高跟踪精度,提出一种基于局部抠像的融合图像全自动精确跟踪算法。首先采用帧间差分法获取运动目标的大致区域,并自动生成局部抠像框,由此采集目标、背景代表颜色集合;在此基础上自动生成抠像所需的草图,实现对目标的抠像;最后对抠像产生的前景映射图进行边缘检测即可获取精确的目标轮廓,并可根据跟踪结果对模型进行更新。对于实验的图像序列,与目标实际中心相比较,抠像跟踪误差均值为0.9像素,传统均值漂移跟踪误差均值为5.2像素。实验结果表明,该方法跟踪结果能完整、清晰地表示目标轮廓,很好地解决了跟踪中的漂移问题,提升了跟踪精度     

基于显著度的非监督抠像方法

为免除抠像过程中的人工参与步骤,提出一种基于显著度的非监督抠像方法。提取输入图像的显著度图,利用块融合与块过滤方法,获得抠像的参考信息,将图像划分为多个层次进行多分辨率抠像,从图像背景中抠取出前景物体。实验结果证明,该抠像方法在计算速度和抠像效果上均优于非监督的光谱抠像方法。     

针对视频序列分类的快速抠像技术

针对视频序列分类的问题提出了一种快速抠像技术.根据视频序列间的相关度进行关键帧的区分,得到关键帧、序列间变化细微的非关键帧、序列间变化较大的非关键帧;对于关键帧,采用闭合式的抠像方法来进行处理,获得透明度值、前景像素值和背景像素值;对于变化细微的非关键帧,提出了一种基于帧间连续性的透明度值估计和优化方法;对于变化较大的非关键帧,提出了一种基于特征流传递的机制来传递关键帧的有效信息.实验结果表明,最终在获得与传统方法相比可接受的抠像效果条件下,这种快速抠像技术缩短了处理时间.     

一种基于局部学习的自然图像景物提取方法

引入一种按邻点对的相似性权值计算次数来归类Laplacian 的思想,并从理论上证明了包含多次相似性权值计算的Laplacian 构造比只计算一次或两次相似性权值的Laplacian 构造更能精细地刻画数据局部几何结构.据此提出了一种新的更能胜任自然图像景物提取任务的Laplacian 构造方法.该方法通过任意一对相邻像素在不同局部邻域内建立一个线性学习模型来重构不同的相似性权值.结合用户提供的部分前、背景标记约束,导出求解景物提取的半监督二次优化目标函数.当考虑通过对前、背景抽样来估计未知像素的颜色值时,优化目标可以迭代求解.更有意义的是,该迭代方法可以成功地将原来构造的其他Laplacian 推广应用于只提供稀疏指示条带的景物提取问题中.理论分析与实验结果均证实,所构造的Laplacian 能够更充分地表达图像像素间的内在结构,能以更精细的方式约束传播前、背景的成分比例而不仅仅是标号,从而获得更优的景物提取效果.     

高维混合入侵检测数据的单类分类算法研究

针对传统的方法未能有效地处理具有高维、混合以及不平衡的特性的入侵检测数据,结合单类分类概念和均值计算方法,提出一种单类分类K近邻(KNN)均值算法。其使用主成分分析混合(PCA mix)方法对高维混合数据进行降维预处理,并运用Bootstrap方法计算决策边界,提高准确性。通过使用三个不同的公开数据集进行实验,并与单类分类支持向量机(OCSVM)算法作对比,其分辨精度提高至94%以上,充分验证了提出算法的优越性。     

基于纹理聚类的抠图算法

针对当图像纹理比较丰富时抠图难的问题,基于K近邻(KNN)抠图算法提出了一种纹理聚类抠图（TCM）方法。该方法首先提取出纹理特征;然后用该纹理特征与颜色和位置特征一起构造新的特征空间;接下来在该特征空间上聚类近邻像素以构造Laplacian抠图矩阵;最后利用闭形解求解不透明度。在基准数据集上的实验结果表明,该方法的总排名有显著提升,对于纹理丰富的图像取得了比较好的抠图效果。     

基于邻域灰度值聚类的图像色彩量化

在将图像中的多种颜色或灰度量化成数目较少的颜色或灰度的过程中,存在着计算过于复杂、量化后图像偏差较大等问题,鉴于此,提出基于邻域灰度值聚类的图像色彩量化方法.首先结合邻域像素的灰度和空间信息对像素进行一维灰度化;然后采用基于像素灰度加权系数的改进模糊 均值聚类算法对像素进行聚类.分析和实验表明,该方法可以减少量化计算的复杂度,保持图像的整体层次,量化后图像偏差较小,对图像处理具有一定的实用价值.     

基于FLANN改进的KNN医疗分类算法

本文通过研究KNN（K-最近邻）算法在疾病预测领域的使用与分析,总结出KNN的2点不足,针对不足进行相应改进并提出F_KNN（循环最近邻搜索）算法：1）针对KNN计算量大、效率低下的缺点,本文采用FLANN（快速最近邻搜索）循环搜索与待测样本距离最近的点,记录若干个最近邻点作为最近邻点子集,利用此子集取代全集对待测样本进行计算,可以降低计算量,极大地提高了KNN算法效率;2）针对KNN难以对高维数据集分类的缺点,本文采用AHP（层次分析法）对样本的特征属性进行相关性研究,使用合适的参数分配权重,提高了KNN算法准确率。本文采用一组脑中风数据集对优化后的算法进行实验,实验结果表明,F_KNN准确率达96.2%。与传统KNN相比,F_KNN提高了分类性能且极大地提高了算法效率。在处理高维且较大的数据集时,F_KNN算法优势明显,具有较好的应用前景。     

改进的自然图像鲁棒抠图算法

自然抠图从背景复杂的彩色图像中根据已知像素进行未知像素的透明度估计以实现前景的准确提取,是图像处理和影视制作的关键技术之一。由于自然图像透明度值的求解具有高度不确定性,目前对颜色和结构复杂的图像抠图效果并不理想。提出一种改进的鲁棒抠图算法。该方法根据trimap的已知前景和背景区域减少未知像素个数;计算前景-背景对的可靠性,选择可信赖的样本对获得透明度的初始值和信心值;优化基于图拉普拉斯的二次目标函数并确定未知像素最终透明度值。自然抠图实验结果表明,与几种主要抠图算法相比,所提方法能提取到具有更好视觉效果和均方误差的前景。     

局部线性模型优化的灰度图像彩色化

提出一种有效的仅需要少量线条着色的灰度图像彩色化算法。该算法在Lab颜色空间实现,基于抠图拉普拉斯矩阵设计了一个局部线性优化模型,只需要少量的人工线条着色就能产生高质量的彩色化图像。该模型的彩色化效果总体上与现有方法相当,而在某些情况下,能降低在灰度图像彩色化过程中出现的色彩渗透问题。局部线性优化模型建立的代价函数最优解能通过求解稀疏线性方程组获得。在构建抠图拉普拉斯矩阵时,发现利用扩散距离来代替欧氏距离能对本文模型进一步改进。实验结果显示,用基于扩散距离的改进局部线性优化模型方法,和基于欧氏距离的局部线性优化模型算法相比较,在减少人工线条交互和彩色化效果方面都能有较好的改进。     

融合多线索信息的数字图像抠图方法研究

针对自然图像抠图方法中存在对先验知识过度依赖和交互输入繁琐的问题,为了扩展自然图像抠图方法的使用范围,提升自然图像抠图方法的自动化程度,提出一种融合多线索信息的数字图像抠图方法。利用原始自然图像所对应的深度信息和视觉显著度信息进行感兴趣区域粗分割;利用形态学的膨胀与腐蚀算法对感兴趣区域的分割结果进行粗分割区域膨胀和粗分割区域腐蚀操作,从而得到抠图过程所需的三分元素图;利用彩色纹理图像和三分元素图,并结合使用相似性传递抠图方法获得精细的前景目标抠图结果。实验结果表明,该方法不仅能够得到较为理想的抠图效果,而且大大提升了自然图像抠图方法的自动化程度。     

数字抠图技术综述

数字抠图是一种把图像的前景部分从背景中分离出来的技术,它通过用户指定图像中少量部分前景和背景区域,并根据这些提示按照一定的判定规则自动、准确地分离出所有的前景物体.回顾了该技术的历史发展过程,包括光学场景抽取、蓝屏抠图和图像合成技术,重点介绍了数字蓝屏抠图、自然图像抠图以及数字抠图技术的扩展和应用,如环境抠图、阴影抠图、视频抠图等,并对这几种技术的局限性以及发展方向做了简要的说明.     

A Survey on Pre-Processing in Image Matting

Pre-processing is an important step in digital image matting, which aims to classify more accurate foreground and background pixels from the unknown region of the input three-region mask (Trimap). This step has no relation with the well-known matting equation and only compares color differences between the current unknown pixel and those known pixels. These newly classified pure pixels are then fed to the matting process as samples to improve the quality of the final matte. However, in the research field of image matting, the importance of pre-processing step is still blurry. Moreover, there are no corresponding review articles for this step, and the quantitative comparison of Trimap and alpha mattes after this step still remains unsolved. In this paper, the necessity and the importance of pre-processing step in image matting are firstly discussed in details. Next, current pre-processing methods are introduced by using the following two categories: static thresholding methods and dynamic thresholding methods. Analyses and experimental results show that static thresholding methods, especially the most popular iterative method, can make accurate pixel classifications in those general Trimaps with relatively fewer unknown pixels. However, in a much larger Trimap, there methods are limited by the conservative color and spatial thresholds. In contrast, dynamic thresholding methods can make much aggressive classifications on much difficult cases, but still strongly suffer from noises and false classifications. In addition, the sharp boundary detector is further discussed as a prior of pure pixels. Finally, summaries and a more effective approach are presented for pre-processing compared with the existing methods.     

Towards Light‐Weight Portrait Matting via Parameter Sharing

Traditional portrait matting methods typically consist of a trimap estimation network and a matting network. Here, we propose a new light‐weight portrait matting approach, termed parameter‐sharing portrait matting (PSPM). Different from conventional portrait matting models where the encoder and decoder networks in two tasks are often separately designed, here a single encoder is employed for the two tasks in PSPM, while each task still has its task‐specific decoder. Thus, the role of the encoder is to extract semantic features and two decoders function as a bridge between low‐resolution feature maps generated by the encoder and high‐resolution feature maps for pixel‐wise classification/regression. In particular, three variants capable of implementing the parameter‐sharing portrait matting network are proposed and investigated, respectively. As demonstrated in our experiments, model capacity and computation costs can be reduced significantly, by up to and , respectively, with PSPM, whereas the matting accuracy only slightly deteriorates. In addition, qualitative and quantitative evaluations show that sharing the encoder is an effective way to achieve portrait matting with limited computational budgets, indicating a promising direction for applications of real‐time portrait matting on mobile devices.     

基于深度的双尺度前背景分离模型

针对前景物体从图像背景中分离时错误率较高的问题,提出一个新的基于深度的双尺度前背景分离模型,利用图像内在特性(提取为拉普拉斯矩阵)及各物体的空间信息(由扫描设备得到的深度图像),较好地去除了前背景交界处颜色相似性造成的歧义。实验结果证明,该模型在视觉上能大幅度改进典型前背景分离模型的结果。