绘制内容指导的铅笔画风格实现

为了让铅笔画纹理的色调更接近画家的绘制效果,提出一种内容指导的铅笔画色调生成算法,以改进铅笔画纹理的生成效果.首先对大量绘制内容不同的铅笔画分类后进行色调直方图统计,拟合出适合每种类别的直方图曲线,并对输入图像用与之同类别的直方图曲线进行色调匹配,得到对应的铅笔画色调图;然后用与输入图像大小相同的随机噪声图为基底,对噪声图的每个像素进行不同次数的迭代相乘后产生与色调图匹配且分布一致的噪声场;最后对输入图像进行区域分割,在与分割区域对应的噪声场中用LIC算法生成卷积长度及卷积方向不同的铅笔纹理图,实现分区域不同方向的铅笔纹理的绘制.实验结果表明,由于采用内容指导的分类绘制,该算法生成的铅笔画在色调上更加贴近真实画家绘制的铅笔画,且纹理形式多样,整体效果较好.     

小波变换与纹理合成相结合的图像修复

目的 为了克服传统的图像修复算法在结构和纹理边界的错误修复,利用小波变换域的系数特征,探讨了一种基于小波变换与纹理合成相结合的修复算法。方法 算法先利用小波变换将待修复图像分解成具有不同分辨率的低频子图和高频子图,然后根据不同子图各自的特征分别进行修复。对代表图像结构信息的低频子图,采用FMM(fast marching method)算法进行修复;对代表图像纹理信息的高频子图,根据各子图中小波系数的特征,利用纹理合成方法进行修复。结果 分层、分类修复方法对边缘破损具有良好的修复效果,其峰值信噪比相比于传统算法提高了1~2 dB。结论 与相关算法相比,本文算法的综合修复能力较好,可以有效修复具有较强边缘和丰富纹理的破损图像,尤其对破损自然图像的修复,修复后图像质量得到较大提升,修复效果更符合人眼视觉效应。     

非真实感铅笔画艺术效果研究

改进了非真实感铅笔画艺术效果的绘制算法,利用图像分割、线积分卷积技术确定线条纹理的方向,模拟得到局部区域铅笔画的笔划纹理。采用轮廓线增强、灰度色调控制最终铅笔画艺术效果的边缘信息和灰度色调。通过色彩传输技术得到具有彩色铅笔画的艺术效果。     

结合支持向量回归和图像自相似的单幅图像超分辨率算法

目的 基于学习的单幅图像超分辨率算法是借助实例训练库由一幅低分辨率图像产生高分辨率图像。提出一种基于图像块自相似性和对非线性映射拟合较好的支持向量回归模型的单幅超分辨率方法,该方法不需使用外部图像训练库。方法 首先根据输入的低分辨率图像建立图像金字塔及包含低/高分辨率图像块对的集合;然后在低/高分辨率图像块对的集合中寻找与输入低分辨率图像块的相似块,利用支持向量回归模型学习这些低分辨率相似块和其对应的高分辨率图像块的中心像素之间的映射关系,进而得到未知高分辨率图像块的中心像素。结果 为了验证本文设计算法的有效性,选取结构和纹理不同的7幅彩色高分辨率图像,对其进行高斯模糊的2倍下采样后所得的低分辨率图像进行超分辨率重构,与双三次插值、基于稀疏表示及基于支持向量回归这3个超分辨率方法重建的高分辨率图像进行比较,峰值信噪比平均依次提升了2.37 dB、0.70 dB和0.57 dB。结论 实验结果表明,本文设计的算法能够很好地实现图像的超分辨率重构,特别是对纹理结构相似度高的图像具有更好的重构效果。     

联合深度学习和宽度学习的纹理样图自动提取

目的 纹理样图是指一幅用于描述纹理特征的图像,纹理样图多样性在纹理合成任务中是至关重要的,它可以为合成的纹理带来更丰富、多样和逼真的外观,同时为艺术家和设计师提供了更多的创作灵感和自由度。当前,纹理样图的提取主要通过手工剪裁和算法自动提取,从大量的图像中手工剪裁提取出高质量的纹理样图十分耗费精力和时间,并且该方式易受主观驱动且多样性受限。目前先进的纹理样图自动提取算法基于卷积神经网络的TrimmedT-CNN（texture convolutional neural network）模型存在推理速度慢的问题。基于此,本文致力于利用互联网上丰富的图像资源,自动快速地从各种图像中裁剪出理想且多样的纹理样图,让用户有更多的选择。方法 本文提出一个结合深度学习和宽度学习的从原始图像中自动提取纹理样图的方法。为了获取理想的纹理样图,首先通过残差特征金字塔网络提取特征图,有效地从输入图像中识别样图候选者,然后采用区域候选网络快速自动地获取大量的纹理样图候选区域。接下来,利用宽度学习系统对纹理样图的候选区域进行分类。最后,使用评分准则对宽度学习系统的分类结果进行评分,从而筛选出理想的纹理样图。结果 为了验证本文方法的有效性,收集大量理想纹理样图并将它们分成6个类进行实验验证,本文模型的准确度达到了94.66%。与当前先进的方法Trimmed T-CNN相比,本文模型准确度提高了0.22%且速度得到了提升。对于分辨率为512×512像素、1024×1024像素和2048×2048像素的图像,算法速度分别提快了1.3938s、1.8643s和2.3687s。结论 本文提出的纹理样图自动提取算法,综合了深度学习和宽度学习的优点,使纹理样图的提取结果更加准确且高效。     

肺实质CT图像细化分割

目的 由于肺部CT图像中各组织结构复杂、灰度分布不均匀,造成肺实质部分难以准确分割和提取。为了提高肺实质分割的准确率,本文提出了一种基于超像素的细化分割与模糊C均值聚类相结合的自动分割算法。方法 该算法充分利用肺部CT图像的灰度、纹理特征,同时为了正确标记超像素的分类,引入一种空间邻域信息来增强空间约束进而有效地解决灰度不均匀的问题,它能够对肺实质进行分割并除去其周围的主血管,然后利用形态学知识去除肺部的分支血管。结果 在临床患有四类疾病的患者CT图像数据集上采用改进的图像特征,使得肺实质分割的准确率提高了0.8%。同时,算法准确率提高到99.46%。结论 实验结果表明,本文算法能够实现肺部CT图像肺实质的自动细化分割,结果准确适用。该算法鲁棒性好、速度快,是一种精确有效的自动肺实质分割方法。     

多参数加权的无缝纹理映射算法

目的 针对基于图像3维重建中纹理映射存在缝隙的问题,提出一种多参数加权的无缝纹理映射算法。方法 算法根据图像的标定信息对三角格网进行聚类分割,将重建模型聚类成不同参考图像的网格贴片,并对贴片排序生成纹理图像,加权融合重建顶点的法线角度、图像视点、模型深度等信息生成纹理贴片像素,最后采用多分辨率分解融合技术消除纹理贴片缝隙,实现无缝的纹理映射。结果 对不同的测试数据进行了验证,本文算法在保持一定清晰度的前提下消除了纹理的缝隙,即使对于构网误差较大的区域也能得到较为满意的结果,同时本文算法支持大数据的3维纹理映射。结论 提出了一种无缝的纹理映射算法,算法通过构造一个平滑的加权方程融合多源信息消除纹理的接缝,实验结果表明了本文算法的有效性及实用性,得到了高保真的无缝纹理映射效果,可应用到城市级别的大场景3维重建领域。     

对比度、颜色一致性和灰度像素保持的消色算法

目的 为了解决目前消色算法中不能同时保持原始图像的对比度,颜色一致性和灰度像素特征的问题,提出一种新的优化算法,最大限度地同时保留这些视觉特性。方法 为了保持原始图像的结构和局部对比度信息,用双高斯模型构建像素对之间的误差能量项;为了保持颜色一致性,采用局部线性嵌入模型构建能量项,确保原始图像中颜色一致的像素在结果图像中也拥有一样的灰度级;为了保持灰度像素特征,先标记出原始图像中的灰度像素,并强制规定这些像素的灰度值是已知的且在消色变换的过程中始终不变,然后用双高斯模型构建出灰度像素与其他像素之间的误差能量项。线性结合这3个能量项,得到目标能量函数,再通过迭代法求解出使总能量值达到最小的灰度值,从而得到了最终的消色结果。结果 实验结果表明,本文算法能够同时较好地保持原始图像中的对比度、颜色一致性和灰度像素特征。结论 本文算法基本符合人类对图像对比度变化的感知程度,而且能够很好地保持细节信息和全局结构,可应用于数字打印、模式识别等方面,具有很大的应用价值。     

局部自适应的灰度图像彩色化

目的 现有的灰度图像彩色化方法为了保证彩色化结果在颜色空间上的一致性,往往采用全局优化的算法,使得图像边界区域易产生过渡平滑现象。为此提出一种局部自适应的灰度图像彩色化方法,在迁移过程中考虑局部邻域像素信息,同时自动调节邻域像素权重,在颜色正确迁移的同时保证清晰的边界信息。方法 首先结合SVM（support vector machine）和ISLIC（improved simple linear iterative clustering）算法获取彩色图像和灰度图像分类结果图;然后在分类基础上,确定灰度图像高置信度像素点,并根据图像纹理特征,在彩色图像中寻找灰度图像的像素匹配点;最后利用自适应权重均值滤波实现高置信度匹配像素点的颜色迁移,并利用迁移结果对低置信度像素点进行颜色扩散,以完成灰度图像彩色化。结果 实验结果显示,本文方法获得的彩色化迁移结果评分均高于3.5分,特别是局部放大区域评价结果均接近或高于4.0分,高于其他现有彩色化方法评价分数。表明本文方法不仅能够保证颜色迁移的准确性和颜色空间的一致性,同时也能获取颜色区分度高的边界细节信息。与现有的典型灰度图像彩色化方法相比,彩色化结果图在颜色迁移的正确性和抑制边界区域颜色的过渡平滑上都有更优的表现。结论 本文算法为灰度图像彩色化过程中抑制颜色越界问题提供了新的指导方法,能有效地应用于遥感、黑白图像/视频处理、医学图像着色等领域。     

基于纹理和草图的图像铅笔画绘制

针对目前铅笔画生成方法中的线条不够灵活、纹理缺少方向感的问题,提出了一种基于带方向的纹理和线条草图将一幅图像转换为铅笔画风格的方法。首先,对输入图像进行直方图匹配得到图像的色调图,并将图像分割为多个区域,对每个区域,根据其颜色和形状计算其色调和方向,以此决定铅笔纹理的色调和方向;然后,通过可调整的线性卷积方法得到铅笔画的线条草图;最后,将纹理和草图结合得到铅笔画效果。运用提出的方法对不同类型的自然图像进行了铅笔画的转换,并与已有的线卷积积分方法和基于色调的方法进行了对比。实验结果表明带方向的区域纹理能更好地模拟手工铅笔画纹理的方向,可调整的线条能够更好地模拟手工铅笔画的线条的随意性和灵活性。     

线积分卷积与双色调映射相结合的彩色素描模拟方法

目的 目前学者已经设计了很多模拟油画、水彩、水墨等风格的非真实感绘制方法,而能够生成彩色素描的算法还不是很多。针对这一课题,在前人工作的基础上,结合线积分卷积与双色调映射技术,改进了一种彩色素描模拟方法。方法 首先基于K-means聚类对彩色图像进行分割,通过计算色彩差异性为每个区域指定两种基本色,并利用双色调映射技术计算每种颜色的密度。而后利用线积分卷积分别生成两个基本色层的素描纹理,并将两层纹理相融合来生成彩色纹理。与此同时,利用霓虹变换生成素描轮廓线。最后,将轮廓与彩色纹理相融合来得到彩色素描效果。结果 实验结果表明,本文方法能够实现由彩色图像到彩铅画的自动、实时转化。结论 本文方法从轮廓和纹理两个角度模拟了真实的彩铅绘画过程。基于K-means聚类的分割方法得到的结果能够更好地反映彩色图像的颜色分布特性。通过色彩差异性计算指定基本色的策略提高了该环节的效率,满足了实时性要求。由于粉笔、蜡笔等绘画风格的调色与彩铅画类似,本文不同颜色层上下叠加的方式可以扩展到对其他介质绘画的模拟当中。     

用小波分层模拟铅笔画纹理

基于原图像根据亮度分层的思想,提出了一种应用小波变换得到不同分层的新方法。采用小波将一幅灰度化后的图像分解并分别对低高频信息进行重构,提取重构后的三幅高频信息,添加高斯噪声,应用运动模糊生成不同方向的纹理。将彩色图像进行霓虹处理,再进行反相计算和灰度化,生成铅笔画中的轮廓。将不同的纹理方向和轮廓图按照一定的方法进行叠加,得到铅笔画图像。实验结果表明,与以往算法相比,能够更快速地将输入图像转换为铅笔画,取得令人满意的效果。     

反馈调节机制的暗通道去雾算法

针对暗通道图像去雾算法在处理不满足暗通道先验条件的明亮区域时,估计的透射率偏小,导致去雾后的图像与原图像相比,色彩和纹理平滑度出现较大偏差的问题,提出反馈调节的暗通道去雾算法。该算法首先通过暗通道算法对原始有雾图像进行去雾,反馈出去雾后的图像与原始图像纹理平滑度的差异,使用模糊C-均值聚类算法分割出明亮的区域;然后用高斯函数调整明亮区域偏小的透射率,使其更加接近实际的透射率;最后利用调整后的透射率求得清晰的无雾图像。实验结果表明,该算法可以有效地处理不满足暗通道先验条件的区域,使得包含明亮区域的雾化图像,去雾后的色彩更加符合真实场景,视觉效果也更好。该算法可以提高户外监视系统的鲁棒性。     

改进的自然图像铅笔画效果生成

目的现有的自然图像素描画效果生成算法存在容易造成画面细节丢失,笔画线条单一等问题。针对这些问题,提出一种改进的自然图像素描画效果生成算法。方法通过模拟艺术家创作素描画过程,采用多层次多尺度方法提取图像中不同层次的细节信息,并使用不同长度不同粗细的笔画来模拟艺术家在创作过程中不同力度的绘画效果,分层绘制画面中不同细节层次,然后融合各层次笔画效果形成最终的素描画笔画效果,最后合并素描画笔画效果和素描画图像底纹。结果通过本文算法,可以得到与原输入自然图像内容一致,色调与艺术家绘制的素描画效果相同,笔画和底纹形式与实际素描画相似,真实感较强的素描画效果输出图像。结论大量实验结果表明,本文算法可以生成高质量的自然图像素描画效果,与现有成熟的铅笔画生成技术相笔,该算法具有较强的可比性。     

改进双边滤波Retinex的多聚焦图像融合

目的 针对传统Retinex算法存在的泛灰、光晕、边界突出以及高曝光区域细节增强不明显的现象,将Retinex和多聚焦融合的思想融合在一起,提出一种基于Retinex的改进双边滤波的多聚焦融合算法。方法 首先根据图像情况在像素级层次将反射图像分解为最优亮暗区域两部分,然后利用线性积分变换和邻近像素最优推荐算法,将原始图像与最优亮区域多聚焦融合得到图像T,再将图像T与最优暗区域重复以上步骤得到图像S,最后利用引导滤波进行边界修复得到最终图像。结果 选择两组图像girl和boat进行实验,与SSR（single scale Retinex）、BSSR（Retinex algorithm based on bilateral filtering）、BIFT（Retinex image enhancement algorithm based on image fusion technology）和RVRG（Retinex variational model based on relative gradient regularization and its application）4种方法进行对比,本文方法在方差和信息熵两方面表现出明显优势。在均值方面,比BIFT和RVRG分别平均提高16.37和20.90;在方差方面,比BIFT和RVRG分别平均提高1.25和4.42;在信息熵方面,比BIFT和RVRG分别平均提高0.1和0.17;在平均梯度方面,比BIFT和RVRG分别平均提高1.21和0.42。对比BIFT和RVRG的实验数据,证明了本文方法的有效性。结论 实验结果表明,相比较其他图像增强算法,本文算法能更有效抑制图像的泛灰、光晕和边界突出现象,图像细节增强效果特别显著。     

结合区域配对的室外阴影检测

目的 针对现有大多数阴影检测算法在检测细长阴影、自阴影、区分阴影与暗色像素等方面的不足,提出一种新的结合区域配对的阴影检测算法.方法 首先通过均值漂移算法和canny检测算法,分割图像得到每个独立的区域;然后从每个区域中提取纹理和亮度建立单个区域的阴影模型,再从区域对中提取纹理直方图的距离、颜色比(分别在RGB和Lab空间下)以及HSI空间下H和I两通道的比值等特征建立区域对的阴影模型;最后根据上述两个模型运用图割理论检测阴影.结果 实验结果表明,本文算法在阴影检测上的准确率高达85.2%,远高于其他算法,检测速度也比其他算法快34%左右.该算法不仅能有效地检测细长阴影和自阴影,还能较好地区分阴影与暗色像素.结论 提出了一种新的阴影检测算法,通过区域配对的方法实时处理单幅室外图像.实验结果表明,该算法在检测细长阴影、自阴影以及区分阴影与暗色像素等方面有良好的效果.     

变差函数和形态学滤波的图像去雾算法

目的 为解决户外视觉系统在恶劣环境下捕捉图像存在细节模糊、对比度较低等问题,提出一种基于变差函数和形态学滤波的图像去雾算法（简称IDA_VAM）。方法 该算法首先利用变差函数获取较准确的全局环境光值,然后对最小通道图采用多结构元形态学开闭滤波器获取粗略的大气散射图,进而估计大气透射率并进行修正,接着采用双边滤波对其进行平滑操作,最后通过物理模型得到复原图像并进行色调调整,获取明亮、清晰无雾的图像。结果 本文算法与多种图像去雾算法进行对比,在含有雾气的近景图像、远景图像以及有明亮区域的图像均能很好地去除雾气,图像的信息熵值相对提高了38.0%,对比度值相对提高了34.1%,清晰度值相对提高了134.5%,得到较好的复原效果,获取一幅自然明亮的无雾图像。结论 大量仿真实验结果证实,IDA_VAM能够很好地恢复非复杂场景下的近景图像、远景图像以及含有明亮区域图像的色彩和清晰度,获得清晰明亮的无雾图像,细节可见度较高,且算法的时间复杂度与图像像素点个数呈线性关系,具有较好的实时性。     

Pencil Drawing Video Rendering Using Convolutional Networks

Traditional pencil drawing rendering algorithms when applied to video may suffer from temporal inconsistency and shower‐door effect due to the stochastic noise models employed. This paper attempts to resolve these problems with deep learning. Recently, many research endeavors have demonstrated that feed‐forward Convolutional Neural Networks (CNNs) are capable of using a reference image to stylize a whole video sequence while removing the shower‐door effect in video style transfer applications. Compared with video style transfer, pencil drawing video is more sensitive to the inconsistency of texture and requires a stronger expression of pencil hatching. Thus, in this paper we develop an approach by combining a latest Line Integral Convolution (LIC) based method, specializing in realistically simulating pencil drawing images, with a new feed‐forward CNN that can eliminate the shower‐door effect successfully. Taking advantage of optical flow, we adopt a feature‐map‐level temporal loss function and propose a new framework to avoid the temporal inconsistency between consecutive frames, enhancing the visual impression of pencil strokes and tone. Experimental comparisons with the existing feed‐forward CNNs have demonstrated that our method can generate temporally more stable and visually more pleasant pencil drawing video results in a faster manner.     

应用运动模糊方法仿真铅笔画纹理

通过分析真实铅笔纹理的特点,提出了一种基于运动滤波器的仿真铅笔纹理的新方法.首先对用户输入的图像进行边缘检测,提取轮廓信息,然后对传统白噪声生成法进行改进,将参考图像由RGB色彩空间转换到HSV色彩空间,通过亮度值控制噪声点的产生几率,最后应用运动模糊方法代替传统的线积分卷积(LIC)方法模拟铅笔纹理,得到具有素描风格的结果图像.实验结果表明,该方法生成效果接近于手绘风格,且无需用户交互,适合于动画制作等很多领域的应用.