结合全卷积神经网络的室内场景分割

目的 视觉假体通过向盲人体内植入电极刺激视神经产生光幻视,盲人所能感受到的物体只是大体轮廓,对物体识别率低,针对视觉假体中室内应用场景的特点,提出一种快速卷积神经网络图像分割方法对室内场景图像进行分割,通过图像分割技术把物品大致的位置和轮廓显示出来,辅助盲人识别。方法 构建了用于室内场景图像分割的FFCN（fast fully convolutional networks）网络,通过层间融合的方法,避免连续卷积对图像特征信息的损失。为了验证网络的有效性,创建了室内环境中的基本生活物品数据集（以下简称XAUT数据集）,在原图上通过灰度标记每个物品的类别,然后附加一张颜色表把灰度图映射成伪彩色图作为语义标签。采用XAUT数据集在Caffe（convolutional architecture for fast feature embedding）框架下对FFCN网络进行训练,得到适应于盲人视觉假体的室内场景分割模型。同时,为了对比模型的有效性,对传统的多尺度融合方法FCN-8s、FCN-16s、FCN-32s等进行结构微调,并采用该数据集进行训练得到适用于室内场景分割的相应算法模型。结果 各类网络的像素识别精度都达到了85%以上,均交并比（MIU）均达到60%以上,其中FCN-8s at-once网络的均交并比最高,达到70.4%,但其分割速度仅为FFCN的1/5。在其他各类指标相差不大的前提下,FFCN快速分割卷积神经网络上平均分割速度达到40帧/s。结论 本文提出的FFCN卷积神经网络可以有效利用多层卷积提取图像信息,避免亮度、颜色、纹理等底层信息的影响,通过尺度融合技术可以很好地避免图像特征信息在网络卷积和池化中的损失,相比于其他FCN网络具有更快的速度,有利于提高图像预处理的实时性。     

面向RGBD图像的标记分水岭分割

目的 针对分水岭分割算法中存在的过分割现象及现有基于RGB图像分割方法的局限,提出了一种基于RGB图像和深度图像(RGBD)的标记分水岭分割算法。方法 本文使用物体表面几何信息来辅助进行图像分割,定义了一种深度梯度算子和一种法向量梯度算子来衡量物体表面几何信息的变化。通过生成深度梯度图像和法向量梯度图像,与彩色梯度图像进行融合,实现标记图像的提取。在此基础上,使用极小值标定技术对彩色梯度图像进行修正,然后使用分水岭算法进行图像分割。结果 在纽约大学提供的NYU2数据集上进行实验,本文算法有效抑制了过分割现象,将分割区域从上千个降至数十个,且获得了与人工标定的分割结果更接近的分割效果,分割的准确率也比只使用彩色图像进行分割提高了10%以上。结论 本文算法普遍适用于RGBD图像的分割问题,该算法加入了物体表面几何信息的使用,提高了分割的准确率,且对颜色纹理相似的区域获得了较好的分割结果。     

反正切色调分化模型的铅笔画绘制

目的 在现阶段采用计算机模拟绘制真实铅笔画往往不能够逼近真实效果,主要原因之一是没有考虑到真实铅笔画中的色调较灰度图像有着更明显的暗灰亮层次变化的特性,基于这一问题提出一种新的铅笔画自动生成算法。方法 一方面在外轮廓提取中采取了LAB空间色差图与纹理图结合的方法,取代了传统基于梯度图的方法;另一方面保留了纹理色调连续变化的特点,且为了体现色调的分层效果提出了反正切色调分化模型,其核心思想是基于图像暗灰亮图层的像素比例来自适应地调整像素灰度值以达到色调分层的目的。结果 本文算法能够避开噪点的影响更好地展示细节,同时解决了直接分层结果中色调变化突然的缺陷,实现了亮度分层与色调连续变化的结合。结论 新算法在最终效果上较其他算法的优势体现在两方面,一是轮廓线的连续性更好,对比度更强,其次是纹理的效果能够同时兼顾连续性和分层,这是其他算法做不到的,本文算法适用于所有不同分辨率的彩色或灰度图像,且分辨率越高效果越好。     

多参数加权的无缝纹理映射算法

目的 针对基于图像3维重建中纹理映射存在缝隙的问题,提出一种多参数加权的无缝纹理映射算法。方法 算法根据图像的标定信息对三角格网进行聚类分割,将重建模型聚类成不同参考图像的网格贴片,并对贴片排序生成纹理图像,加权融合重建顶点的法线角度、图像视点、模型深度等信息生成纹理贴片像素,最后采用多分辨率分解融合技术消除纹理贴片缝隙,实现无缝的纹理映射。结果 对不同的测试数据进行了验证,本文算法在保持一定清晰度的前提下消除了纹理的缝隙,即使对于构网误差较大的区域也能得到较为满意的结果,同时本文算法支持大数据的3维纹理映射。结论 提出了一种无缝的纹理映射算法,算法通过构造一个平滑的加权方程融合多源信息消除纹理的接缝,实验结果表明了本文算法的有效性及实用性,得到了高保真的无缝纹理映射效果,可应用到城市级别的大场景3维重建领域。     

局部自适应的灰度图像彩色化

目的 现有的灰度图像彩色化方法为了保证彩色化结果在颜色空间上的一致性,往往采用全局优化的算法,使得图像边界区域易产生过渡平滑现象。为此提出一种局部自适应的灰度图像彩色化方法,在迁移过程中考虑局部邻域像素信息,同时自动调节邻域像素权重,在颜色正确迁移的同时保证清晰的边界信息。方法 首先结合SVM（support vector machine）和ISLIC（improved simple linear iterative clustering）算法获取彩色图像和灰度图像分类结果图;然后在分类基础上,确定灰度图像高置信度像素点,并根据图像纹理特征,在彩色图像中寻找灰度图像的像素匹配点;最后利用自适应权重均值滤波实现高置信度匹配像素点的颜色迁移,并利用迁移结果对低置信度像素点进行颜色扩散,以完成灰度图像彩色化。结果 实验结果显示,本文方法获得的彩色化迁移结果评分均高于3.5分,特别是局部放大区域评价结果均接近或高于4.0分,高于其他现有彩色化方法评价分数。表明本文方法不仅能够保证颜色迁移的准确性和颜色空间的一致性,同时也能获取颜色区分度高的边界细节信息。与现有的典型灰度图像彩色化方法相比,彩色化结果图在颜色迁移的正确性和抑制边界区域颜色的过渡平滑上都有更优的表现。结论 本文算法为灰度图像彩色化过程中抑制颜色越界问题提供了新的指导方法,能有效地应用于遥感、黑白图像/视频处理、医学图像着色等领域。     

自适应梯度重建分水岭分割算法

目的 针对灰度分水岭算法存在过分割且难以直接应用到彩色图像分割的问题,提出一种自适应梯度重建分水岭分割算法。方法 该方法首先利用PCA技术对彩色图像降维,然后计算降维后的梯度图像,并采用自适应重建算法修正梯度图像,最后对优化后的梯度图像应用分水岭变换实现对彩色图像的正确分割。结果 采用融合了颜色距离、均方差和区域信息的性能指标和分割区域数对分割效果进行评估,对不同类型的彩色图像进行分割实验,本文算法在正确分割图像的同时获得了较高的性能指标。与现有的分水岭分割算法相比,提出的方法能有效剔除图像中的伪极小值,减少图像中的极小值数目,从而解决了过分割问题,有效提升了分割效果。结论 本文算法具有较好的适用性和较高的鲁棒性。     

改进K-means活动轮廓模型

目的 通过对C-V模型能量泛函的Euler-Lagrange方程进行变形,建立其与K-means方法的等价关系,提出一种新的基于水平集函数的改进K-means活动轮廓模型。方法 该模型包含局部自适应权重矩阵函数,它根据像素点所在邻域的局部统计信息自适应地确定各个像素点的分割阈值,排除灰度非同质对分割目标的影响,进而实现对灰度非同质图像的精确分割。结果 通过分析对合成以及自然图像的分割结果,与传统及最新经典的活动轮廓模型相比,新模型不仅能较准确地分割灰度非同质图像,而且降低了对初始曲线选取的敏感度。结论 提出了包含权重矩阵函数的新活动轮廓模型,根据分割目的和分割图像性质,制定不同的权重函数,该模型具有广泛的适用性。文中给出的一种具有局部统计特性的权重函数,对灰度非同质图像的效果较好,且对初始曲线位置具有稳定性。     

融合全局和局部相关熵的图像分割

目的 针对LCK(local correntropy-based K-means)模型对初始轮廓敏感的问题,提出了新的基于全局和局部相关熵的GLCK(global and local correntropy-based K-means)动态组合模型。方法 首先将相关熵准则引入到CV(Chan-Vese)模型中,得到新的基于全局相关熵的GCK(global correntropy-based K-means)模型。然后,结合LCK模型,提出GLCK组合模型,并给出一种动态组合算法来优化GLCK模型。该模型分两步来完成分割:第1步,用GCK模型分割出目标的大致轮廓;第2步,将上一步得到的轮廓作为LCK模型的初始轮廓,对图像进行精确分割。结果 主观上,对自然图像和人工合成图像进行分割,并同LCK模型、LBF模型以及CV模型进行对比,结果表明本文所提模型的鲁棒性比上述模型都要好;客观上,对BSD库中的两幅自然图像进行分割,并采用Jaccard相似性比率进行定量分析,准确率分别为91.37%和89.12%。结论 本文算法主要适用于分割含有未知噪声及灰度分布不均匀的医学图像及结构简单的自然图像,并且分割结果对初始轮廓具有鲁棒性。     

结合纹理特征改进的GBIS图像分割方法

针对GBIS(efficient graph-based image segmentation)方法在分割含有较丰富纹理信息的图像时, 分割效果不理想的问题, 在L*a*b*彩色空间下, 结合图像的纹理特征, 提出了一种改进GBIS图像分割方法, 记为IGBIS(improved efficient graph-based image segmentation)。该方法首先将图像由RGB空间转换到L*a*b*颜色空间; 接着, 结合L*a*b*彩色空间, 对GBIS方法中的权值函数作了改进, 引入了一个常数s, 用于控制相邻像素之间颜色的差异程度; 然后, 用熵的方法来获取L*a*b*彩色图像的纹理特征; 最后, 结合图像的纹理信息, 改变了GBIS方法中的区域合并条件, 得到最终的分割结果。实验证明, 与原算法相比, 该方法在分割精度与分割质量上有了很大程度的提高。IGBIS有效地抑制了彩色图像在分割中存在的过分割现象, 并适合于含有丰富纹理的彩色图像。     

多通道卷积的图像超分辨率方法

目的 超分辨率技术在实际生活中具有较为广泛的应用。经典的基于卷积神经网络的超分辨率（SRCNN）方法存在重建图像纹理结构模糊以及网络模型训练收敛过慢等问题。针对这两个问题,在SRCNN的基础上,提出一种多通道卷积的图像超分辨率（MCSR）算法。方法 通过增加残差链接,选择MSRA初始化方法对网络权值进行初始化,加快模型收敛;引入多通道映射提取更加丰富的特征,使用多层3×3等小卷积核代替单层9×9等大卷积核,更加有效地利用特征,增强模型的超分辨率重构效果。结果 MCSR迭代4×10⁶次即可收敛,在Set5与Set14数据集上边长放大3倍后的平均峰值信噪比分别是32.84 dB和29.28 dB,与SRCNN相比提升显著。结论 MCSR收敛速度更快,并且可以生成轮廓清晰的高分辨率图像,超分辨率效果更加优秀。     

有限色彩空间下的线稿上色

目的 线稿上色是由线条构成的黑白线稿草图涂上颜色变为彩色图像的过程,在卡通动画制作和艺术绘画等领域中是非常关键的步骤。全自动线稿上色方法可以减轻绘制过程中烦琐耗时的手工上色的工作量,然而自动理解线稿中的稀疏线条并选取合适的颜色仍较为困难。方法 依据现实场景中特定绘画类型常有固定用色风格偏好这一先验,本文聚焦于有限色彩空间下的线稿自动上色,通过约束色彩空间,不仅可以降低语义理解的难度,还可以避免不合理的用色。具体地,本文提出一种两阶段线稿自动上色方法。在第1阶段,设计一个灰度图生成器,对输入的稀疏线稿补充线条和细节,以生成稠密像素的灰度图像。在第2阶段,首先设计色彩推理模块,从输入的颜色先验中推理得到适合该线稿的色彩子空间,再提出一种多尺度的渐进融合颜色信息的生成网络以逐步生成高质量的彩色图像。结果 实验在3个数据集上与4种线稿自动上色方法进行对比,在上色结果的客观质量对比中,所提方法取得了更高的峰值信噪比（peak signal to noise ratio,PSNR）和结构相似性（structural similarity index measure,SSIM）值以及更低的均方误差;在上色结果的色彩指标对比中,所提方法取得了最高的色彩丰富度分数;在主观评价和用户调查中,所提方法也取得了与人的主观审美感受更一致的结果。此外,消融实验结果也表明了本文所使用的模型结构及色彩空间限制有益于上色性能的提升。结论 实验结果表明,本文提出的有限色彩空间下的线稿自动上色方法可以有效地完成多类线稿的自动上色,并且可以简单地通过调整颜色先验以获得更多样的彩色图像。     

二维彩色图像的蜡笔画风格实现

提出了一种基于2D图像的蜡笔画风格自动生成算法,通过分析真实蜡笔画纹理的结构特征和艺术特点,抽象出蜡笔画的简单模型,探索地利用了噪声纹理方法,结合图像自身轮廓信息,分别完成了图像色彩区域和轮廓区域的蜡笔画风格渲染,并在YIQ颜色空间运用FLIC算法生成了笔触的走势纹理,使最终产生的结果非常相似于手绘效果,从而实现了计算机辅助生成蜡笔画风格的目的。     

基于信息熵的风格绘画分类研究

针对艺术风格绘画分类算法中存在的精度和效率不高等问题,提出一种基于信息 熵的艺术风格绘画分类算法。首先选取西方漫画、素描、油画、水彩画,以及国内烙画、水墨 画、壁画具有代表性的 7 种艺术绘画风格作为研究对象,对图像进行去噪、归一化等预处理。 其次,提取绘画艺术作品风格特征,分别求取图像的颜色熵、分块熵、轮廓熵,并合并构成不 同绘画风格的信息熵。信息熵求取时,将色彩空间转换为 Lab 颜色空间,通过 a、b 通道颜色值 及加权函数获得图像的颜色熵;通过对艺术图像分块求取信息熵,求取分块的信息熵均值获得 分块熵;通过 Contourlet 变换,求取艺术图像的轮廓信息,获得轮廓熵。接着,合并提取的颜 色熵、分块熵、轮廓熵,利用支持向量机(SVM)对艺术风格图像学习训练,获得艺术绘画风格 的分类模型;最后,提取待识别绘画风格样本的熵特征,通过 SVM 分类识别获得最终的分类 结果。该方法具有特征维数少、运算速度快、尺度不变性等优势,实验结果表明,其能提高不 同绘画风格的分类精度和效率。     

新的蜡笔画风格生成方法

对真实蜡笔画的艺术特征和纹理结构分析,模拟了蜡笔画的颜色、纹理特点,提出了一种基于彩色图像的蜡笔画风格自动生成算法,实现了基于区域的均值漂移对输入图像迭代运算,完成了图像的色彩风格转换。在此基础上,提出了多噪声纹理模拟方法,分别实现了对图像色彩区域和轮廓区域的纹理模拟与添加,生成蜡笔画风格,从而达到计算机辅助生成蜡笔画的目的。该算法生成的结果图和手绘效果非常相似,适合教育、漫画插图和娱乐等领域的应用。     

具有层次素描纹理的素描画绘制方法

针对现有的计算机非真实感绘制(NPR)技术关于素描画的绘制方法的实现效果与手绘风格存在一定差异的问题,设计了一种能够产生层次素描纹理的方法,并将其与多像素宽边缘线条融合,生成具有层次感素描纹理的素描画。首先对原始图像做去噪、增强等预处理,用微分算子提取多像素宽的轮廓线条;再通过膨胀和腐蚀处理并将结果相减生成多层双边轮廓线条,用运动模糊处理多层双边线条得到素描纹理;最后融合边缘和素描纹理,得到素描效果图像。通过对不同特点的图像进行实验,证明该方法得到的素描画的效果比较接近手绘风格。     

基于CGAN的中国山水画布局可调的仿真生成方法

以往的山水画计算机仿真由于未从山水画整体布局的角度进行研究,难以实现完整的画作生成.针对上述问题,文中提出布局引导、可实现完整画作生成的中国山水画仿真方法.基于山水画的绘制特点设计可行的布局标签图结构,用于表达山水画的构图形态和要素.借鉴条件生成对抗网络(CGAN)的思想,针对山水画的布局和笔触特点,设计并训练多尺度特征融合的网络结构(MSFF-CGAN),实现布局标签图到仿真山水画这一异质生成过程.同时针对网络训练过程中布局标签图数据稀缺的问题,采用语义关联的颜色像素聚类算法快速生成标签图.为了提高生成图的艺术真实感,引入MemNet超分辨网络增强生成图的纹理细节.实验表明,文中方法生成的仿真山水画具有较好的完整性和艺术真实感,不仅可以应对简单的手绘涂鸦式草图,还可以通过在布局空间的编辑操作,达到对画作空间进行编辑的效果.     

改进的自然图像铅笔画效果生成

目的现有的自然图像素描画效果生成算法存在容易造成画面细节丢失,笔画线条单一等问题。针对这些问题,提出一种改进的自然图像素描画效果生成算法。方法通过模拟艺术家创作素描画过程,采用多层次多尺度方法提取图像中不同层次的细节信息,并使用不同长度不同粗细的笔画来模拟艺术家在创作过程中不同力度的绘画效果,分层绘制画面中不同细节层次,然后融合各层次笔画效果形成最终的素描画笔画效果,最后合并素描画笔画效果和素描画图像底纹。结果通过本文算法,可以得到与原输入自然图像内容一致,色调与艺术家绘制的素描画效果相同,笔画和底纹形式与实际素描画相似,真实感较强的素描画效果输出图像。结论大量实验结果表明,本文算法可以生成高质量的自然图像素描画效果,与现有成熟的铅笔画生成技术相笔,该算法具有较强的可比性。     

绘画特征提取方法与情感分析研究综述

目的 图像分类与情感分析是当前计算机视觉领域的研究热点,为人类绘画图像数字化研究提供了有效方法,在人类绘画艺术作品保护与作品创新中具有重要的应用价值。为更好地实现绘画作品的研究与创新,本文主要针对现阶段国内外的绘画分类与情感分析相关文献,进行详细地整理与分析。方法 本文以广泛的文献研究为基础,分析中西方绘画的不同表征方式及形成原因,归纳总结支持向量机、决策树、人工神经网络和深度学习等绘画图像分类中常用机器学习方法,并概述各类方法的优劣;重点围绕绘画图像特征提取与分类,绘画情感分析两个方面,对当前文献进行了系统地分析和总结。结果 系统概括了当前绘画图像研究中常用绘画数据库;以绘画图像的笔触特征、颜色特征、形状特征和纹理特征、留白特征等方面为依据,详细综述了中西方绘画特征提取技术与分类方法的研究现状及发展;简要梳理了绘画图像分类模型中常用的评价方法,并分析了当前研究中的常用评价指标;主要从颜色特征的角度出发,阐述了西方绘画情感分析的研究进展,为中国传统绘画情感分析提供了有效的思路;最后,提出了当前绘画分类和绘画情感研究中存在的问题和挑战,并探讨了存在问题的应对之策。结论 绘画作为人类重要的文化成果,未来会涌现出更多的研究算法与探索思路,本文内容对绘画图像分类的进一步研究,特别是中国传统水墨画情感分析和绘画艺术创作方面的研究,可以起到一定的启发和指导作用。     

用小波分层模拟铅笔画纹理

基于原图像根据亮度分层的思想,提出了一种应用小波变换得到不同分层的新方法。采用小波将一幅灰度化后的图像分解并分别对低高频信息进行重构,提取重构后的三幅高频信息,添加高斯噪声,应用运动模糊生成不同方向的纹理。将彩色图像进行霓虹处理,再进行反相计算和灰度化,生成铅笔画中的轮廓。将不同的纹理方向和轮廓图按照一定的方法进行叠加,得到铅笔画图像。实验结果表明,与以往算法相比,能够更快速地将输入图像转换为铅笔画,取得令人满意的效果。     

基于纹理和草图的图像铅笔画绘制

针对目前铅笔画生成方法中的线条不够灵活、纹理缺少方向感的问题,提出了一种基于带方向的纹理和线条草图将一幅图像转换为铅笔画风格的方法。首先,对输入图像进行直方图匹配得到图像的色调图,并将图像分割为多个区域,对每个区域,根据其颜色和形状计算其色调和方向,以此决定铅笔纹理的色调和方向;然后,通过可调整的线性卷积方法得到铅笔画的线条草图;最后,将纹理和草图结合得到铅笔画效果。运用提出的方法对不同类型的自然图像进行了铅笔画的转换,并与已有的线卷积积分方法和基于色调的方法进行了对比。实验结果表明带方向的区域纹理能更好地模拟手工铅笔画纹理的方向,可调整的线条能够更好地模拟手工铅笔画的线条的随意性和灵活性。