基于最佳缝合线的序列遥感图像拼接融合方法

在图像融合过程中常采用重叠区域像素加权融合方法,这会存在鬼影现象。为解决这一问题,提出了一种改进的最佳缝合线生成算法和沿最佳缝合线的融合方法,并将其应用于序列遥感图像的拼接融合。首先在重叠图像中,对重叠区域的边赋予权值,然后进行最大流最小割,最终获取最佳缝合线。在计算边权值时引入了图像梯度信息,使缝合线更准确。在图像融合时,沿最佳缝合线生成一个条带形融合区域,采用渐入渐出法对缝合线两侧的条带形融合区域图像进行过渡处理,使拼接后的图像更为真实。在序列遥感图像拼接上,采用捆绑调整算法调整拼接图像的参数来实现全局误差最小化。实验表明,该方法能够有效消除鬼影并且能获得准确的拼接图像与融合,对于序列遥感图像的拼接融合能够获得很好的效果。     

统筹图像变换与缝合线生成的无参数影像拼接

目的 为解决小重叠度、大视角影像自然拼接问题,提出一种统筹图像变换和缝合线生成过程的影像拼接新方法。方法 主要包括两部分：1）将单应性映射引入到薄板样条变换（thin plate spline,TPS）并建立二次图像变换模型,在同一变换框架下进行全局单应性透视变换及基于径向基函数的局部映射调整,实现拼接影像透视特性良好保持与减少局部变形,且有效满足缝合线控制点无误差配准计算需要;2）根据控制点像素配准精度优于非控制点像素配准精度,对基准影像控制点集进行三角构网,并从中搜索初始缝合线,结合二次配准模型参数和动态规划匹配过程,获得控制点更密集且配准误差总体最小的最终缝合线,有效抑制图像融合时鬼影现象的产生,且计算实现上更简单。结果 对两组标准影像进行拼接测试,并与3种方法（双单应性变换（dual-homography warping,DHW）、平滑变化的仿射拼接（smoothly varying affine stitching,SVA）、尽可能投影（as-projective-as-possible, APAP）的移动直接线性变换拼接（image stitching with moving direct linenr transform（DLT））对比,本文方法拼接影像局部变形失真最小、匹配控制点配准精度最高：在railtracks影像训练集（trarning set, TR）、测试集（test set）上分别为0和2.27;在temple影像训练集TR、测试集TE上分别为0和1.46;不同场景多路采集视频影像拼接透视特性保持良好,视觉效果自然。结论 本文方法影像拼接时无先验知识要求、参数可线性求解,整体视觉效果流畅、重叠区域与非重叠区域过渡平滑,具有较好的应用价值。     

无人机航拍图像拼接重影消除技术研究

为了解决拼接图像中的模糊、畸形,运动物体图像拼接后会出现重影错位等问题,首先在图像配准阶段通过感知哈希值相似度量准则选取变换效果最佳的权重ωi,j来计算局部投影变换矩阵;然后利用帧间差分法和区域生长算法对差异图像中的运动物体进行分割,对差异性区域进行单采样,其他区域采用线性加权融合;最后,构建了一个用于图像拼接的航空影像数据集并进行实验。实验结果证明,该方法运行耗时增加量较小,不仅有效抑制了重叠区域出现的拼接模糊、严重畸形现象,还能消除包含运动物体图像出现的重影错位,显著提高无人机航拍图像的拼接质量。     

局部特征及视觉一致性的柱面全景拼接算法

目的 传统的基于平面拼接算法生成的全景图像存在严重的失真问题,很难保证良好的视觉一致性;而普通柱面拼接算法无法较好地满足实时性要求。为此,提出一种基于改进SIFT（scale-invariant feature transform）特征描述子的柱面全景图像拼接算法。方法 首先将待拼接的图像序列进行柱面投影,利用改进的SIFT特征检测器获取图像中的特征点,生成64维SIFT特征描述子;然后根据特征描述子之间的欧氏距离提取初始特征点对,利用RANSAC（random sample consensus）方法进一步剔除伪匹配特征点对并建立待拼接图像之间的空间变换矩阵;最后根据图像之间的空间变换矩阵进行图像配准,采用加权平均融合的方法完成图像的无缝拼接。结果 本文全景图拼接算法,可以有效地克服平面拼接算法存在的失真问题,保证了全景图像的视觉一致性。同时,相比普通柱面拼接算法,本文算法的拼接速度提高了近一倍。结论 通过对不同尺寸和数量的图像序列构建全景图,相对于平面拼接算法和普通柱面拼接算法,本文算法可以有效实现图像之间的拼接,生成宽视野、高分辨率的全景图像,且能够应用于对实时性要求比较高的图像拼接场合。     

具有直线结构保护的网格化图像拼接

目的 基于网格变形的图像配准方式,针对待拼接图片重叠区域的视差具有一定的容忍性,并且能够适应更复杂的图像拼接场景。在NISwGSP （natural image stitching with the global similarity prior）算法基础上提出了一种具有直线结构保护的图像拼接算法（MISwLP）,该算法通过提取图片中的直线结构并施加约束,可以得到视觉效果自然、畸变较小的图像拼接结果。方法 首先对图片进行网格划分,建立网格优化模型,针对网格顶点坐标集定义能量函数,在保证图片重叠区域高度对齐的同时,对网格进行相似性连续约束,并辅以直线结构约束,最后使用共轭梯度最小二乘法求解得到最优网格顶点集,指导网格变形。结果 针对不同场景下的图片进行拼接实验,同时和几种比较流行的图像拼接软件和算法进行比较。结果表明,同经典拼接算法,比如Autostitch相比,基于网格优化的图像拼接算法能够适应更加复杂的多平面场景,在减小投影失真和对齐误差方面表现更好;同现在比较好的几种网格拼接算法,比如SPHP （shape-preserving half-projective warps for image stitching）、APAP （as-projective-as-possible image stitching with moving DLT）、NISwGSP等的比较,MISwLP算法不仅能够很好地对齐图像和避免投影失真,并且能够保持图像重叠区域到非重叠区域的一致性,即保护原图中的直线结构。结论 提出了一种基于网格优化的直线约束方法,对于具有显著几何结构的图像拼接场景,能够较好地保护拼接后图像中原有的直线结构,具有较好的应用价值。     

使用线约束运动最小二乘法的视差图像拼接

目的 图像配准是影响拼接质量的关键因素。已有的视差图象拼接方法没有解决匹配特征点对间的错误配准问题,容易引起不自然的拼接痕迹。针对这一问题,提出了使用线约束运动最小二乘法的配准算法,减少图像的配准误差,提高拼接质量。方法 首先,计算目标图像和参考图像的SIFT（scale-invariant feature transform）特征点,应用RANSAC（random sample consensus）方法建立特征点的匹配关系,由此计算目标到参考图像的最佳单应变换。然后,使用线约束运动最小二乘法分别配准两组图像：1）第1组是目标图像和参考图像;2）第2组是经单应变换后的目标图像和参考图像。第1组用逐点仿射变换进行配准,而第2组配准使用了单应变换加上逐点仿射变换。最后,在重叠区域,利用最大流最小割算法寻找最优拼接缝,沿着拼接缝评估两组配准的质量,选取最优的那组进行融合拼接。结果 自拍图库和公开数据集上的大量测试结果表明,本文算法的配准精度超过95%,透视扭曲比例小于17%。与近期拼接方法相比,本文配准算法精度提高3%,拼接结果中透视扭曲现象减少73%。结论 运动最小二乘法可以准确地配准特征点,但可能会扭曲图像中的结构对象。而线约束项则尽量保持结构,阻止扭曲。因此,线约束运动最小二乘法兼顾了图像结构的完整性和匹配特征点的对准精度,基于此配准模型的拼接方法能够有效减少重影和鬼影等人工痕迹,拼接结果真实自然。     

一种多尺度PHOG特征和最优缝合线的运动场景图像拼接算法

针对运动物体对图像拼接易造成配准误差和合成鬼影的问题,提出一种多尺度PHOG特征和最优缝合线的运动场景图像拼接算法。首先,在多尺度空间角点检测的基础上,引入分层梯度方向直方图(PHOG)描述方法,生成多尺度PHOG特征,进行稳定配准,避免运动物体的局部影响。然后,通过构建能量函数,采用图割算法搜索几何、灰度差异最小的缝合线,去除运动鬼影。实验结果表明,该方法对存在运动物体的场景拼接具有较高的拼接精度,拼接效果良好。     

基于控制点配准算法的无人机遥感影像自动无缝拼接技术

传统无人机遥感影像自动无缝拼接技术无法精准匹配影像信息,导致无人机遥感影像拼接结果出现大量缝隙,拼接效果差。因此提出了基于控制点配准算法的无人机遥感影像自动无缝拼接技术。遵循无人机影像成像原理,获取无人机遥感影像,并将数据以图像格式文件形式存储。设置阈值,剔除最邻近域和次邻域比值大于阈值的控制点,对影像坐标平移和缩放数据标准化处理,彻底消除坐标变换对图像配准影响。构建相似变换矩阵,获取新的控制点集,使用直接线性变换算法预估变换矩阵,得到线性解。经过粗、细配准,确定不同图像重叠区域。搜索最佳拼接线,使用加权平均融合法消除拼接缝,由此设计拼接流程。由实验结果可知,该技术能够精准匹配影像信息,检测到影像最大分辨率为1000*800,具有良好拼接效果。     

可见光与红外图像区域级反馈融合算法

目的 可见光图像具有丰富的纹理信息,红外图像具有较强的目标指示信息,进行融合时只有合理地设计融合规则才能充分利用两者的互补信息,为此,提出一种基于效果评估的可见光与红外图像区域级反馈融合算法.方法 首先对待融合图像进行非下采样轮廓波变换(NSCT),将其分解为低频和高频部分.同时采用分形特征对红外图像进行人造目标增强,通过阈值分割得到目标区域与背景区域.在设计低频融合规则时,选取目标区域与背景区域的加权融合系数作为参数,根据图像融合效果评估的量化指标,运用遗传算法进行参数的优化求解.对高频部分采用基于区域的加权平均融合规则.最后,利用优化后的融合系数进行NSCT逆变换得到融合图像.结果 采用3组图像,结合主观评价和客观评价指标对4种融合算法的结果进行了比较分析,实验结果表明,本文算法融合后图像更自然,目标更显著,客观评价结果总体上最优.结论 本文算法有效结合了红外图像的目标信息与可见光图像的背景信息,融合图像具有更强的对比度,有利于进行战场态势显示和目标识别任务.     

基于提升小波变换的医学图像融合

目的 将不同模态的医学图像(如CT/MRI图像)进行科学融合,可以有效地丰富图像的信息,提高信息的利用效能,这对于医学临床诊断具有重要的理论研究意义和应用价值。方法 基于提升小波变换的特性,对多模态医学图像的融合算法进行研究。首先,对已配准的源图像进行多尺度分解,得到低频子带和多层高频子带;进而,根据低频子带的特点和各层高频子带的噪声含量不同,提出了低频子带系数采用基于区域平均能量的加权融合规则;对噪声含量较低的低层高频子带采用基于计盒分维法获取分维数,而对噪声含量较高的高层高频子带提出了基于区域梯度能量加权融合规则。结果 分别对灰度图像和彩色图像进行了大量融合实验,并分别在主观视觉特性及客观评价指标下对不同融合算法产生的融合图像的质量进行了分析对比,表明本文算法具有较好的边缘保持度。结论 实验结果表明,较现有算法产生的融合图像,应用本文融合算法得到的图像具有更丰富的信息,更能使图像灰度级分散,具有更良好的视觉特性和评价指标。     

基于拼接缝自适应消除和全景图矫直的快速图像拼接算法

针对图像拼接存在色差过渡不均匀、图像倾斜扭曲及拼接效率低的现象，提出一种基于拼接缝自适应消除和全景图矫直的快速图像拼接算法。首先，用尺度不变特征变换（SIFT）提取图像指定区域特征点并用双向K近邻（KNN）算法进行图像配准，有效提高算法效率；其次，利用动态规划思想提出自适应公式找到最优拼接缝并用图像融合算法对其自适应消除，解决拼接缝色差过渡不均匀问题；最后，针对累积拼接误差形成全景图倾斜的现象，利用边缘检测算法提出自适应拟合四边形矫直模型，把原始全景图矫直为一个全新的全景图。所提算法与分块图像拼接和二叉树图像拼接算法相比，图像质量提升了5.84%~7.83%，拼接时间仅为原来的50%~70%。实验结果表明，该算法不仅通过自适应更新机制减少不同图像背景下拼接缝色差过渡不均匀的现象，从而提高了图像质量；而且提高了拼接效率，降低了全景图倾斜扭曲程度。     

基于Order-Aware网络内点筛选网络的电力巡线航拍图像拼接

电力巡线图像纹理复杂且具有视差变化,针对传统算法获取成对匹配点数量较少、配准精度较低,严重影响电力巡线无人机图像拼接效果等问题,提出了一种基于改进OANet的图像拼接算法。首先,借助加速“风”（AKAZE）算法对待拼接电力巡线图像进行粗匹配;其次,对OANet中Order-Aware模块添加挤压和激励网络（SENet）,从而增强网络对局部和全局上下文信息的抓取能力,得到更精确的成对匹配点;然后,通过MPA算法配准待拼接图像;最后,借助内容压缩感知算法计算重叠区域的最佳缝合线以完成图像拼接。改进OANet相较原OANet的正确匹配点数量增加了10%左右,耗时平均增加了10 ms;与APAP算法、AANAP算法、MPA算法等配准拼接算法相比,所提算法的拼接质量最好,其待拼接图像的重叠区域的均方根误差为0,非重叠区域未发生畸变。实验结果表明,所提算法可快速、稳定地拼接电力巡线航拍图像。     

基于改进IGG模型的全景图像拼接缝消除算法

为了提高序列图像拼接得到的全景图的质量,通常将L-M(Levenberg-Marquardt)算法用于图像拼接中变换模型的参数优化,但L-M算法不能消除误匹配点对模型求解的影响。为了消除误匹配点的影响,提出了基于IGG(Institute of Geodesy & Geophysics)函数模型的抗差L-M算法。首先利用IGG算法的迭代过程具有良好的抗粗差能力和可靠的收敛性等特点来优化变换模型,提高图像配准的精准度。然后采用自适应区域的拉普拉斯多分辨和最优拼接缝相结合的方法对拼接结果进行融合,以消除因拼接缝及光照不均而造成的过渡不连续现象。实验结果表明,所提算法不仅有效提高了配准精度,同时还实现了无缝拼接,获得了高质量的无缝拼接全景图。     

肌骨超声图像特征检测及拼接

目的 肌骨超声宽景图像易出现解剖结构错位、断裂等现象,其成像算法中的特征检测影响宽景图像的质量,也是超声图像配准、分析等算法的关键步骤,但目前仍未有相关研究明确指出适合提取肌骨超声图像特征点的算法。本文利用结合SIFT （scale invariant feature transform）描述子的FAST（features from accelerated segment test）算法以及SIFT、SURF（speeded-up robust features）、ORB（oriented FAST and rotated binary robust independent elementary features（BRIEF））算法对肌骨超声图像序列进行图像拼接,并对各算法的性能进行比较评估,为肌骨超声图像配准、宽景成像提供可参考的特征检测解决方案。方法 采集5组正常股四头肌的超声图像序列,每组再采样10幅图像。利用经典的图像拼接算法进行肌骨图像的特征检测以及图像拼接。分别利用上述4种算法提取肌骨超声图像的特征点;对特征点进行特征匹配,估算出图像间的形变矩阵;对所有待拼接的图像进行坐标变换以及融合处理,得到拼接全景图,并在特征检测性能、特征匹配性能、图像配准性能以及拼接效果等方面对4种算法进行评估比较。结果 实验结果表明,与SIFT、SURF、ORB算法相比,FAST-SIFT算法所提取的特征点分布更均匀,可以检测到大部分肌纤维的端点,且特征点检测时间最短,约4 ms,其平均匹配对数最多,是其他特征检测算法的25倍,其互信息和归一化互相关系数均值分别为1.016和0.748,均高于其他3种特征检测算法,表明其图像配准精度更高。且FAST-SIFT算法的图像拼接效果更好,没有明显的解剖结构错位、断裂、拼接不连贯等现象。结论 与SIFT、SURF、ORB算法相比,FAST-SIFT算法是更适合提取肌骨超声图像特征点的特征检测算法,在图像配准精度等方面都具有一定的优势。     

基于GMS和改进最佳缝合线的视差图像拼接算法

针对视差图像拼接时,拼接图像存在鬼影、亮度不均匀等问题,本文提出一种基于网格运动统计（Grid-based Motion Statistics, GMS）和改进最佳缝合线的视差图像拼接算法。算法首先利用快速特征点提取和描述（Oriented FAST and Rotated BRIEF, ORB）算法提取特征点,并采用GMS算法筛除误匹配点;然后引入HSV颜色空间和图像梯度差改进能量函数,避免缝合线穿过图像边缘;最后基于图切割法求取最佳缝合线,进行图像的梯度融合拼接。仿真实验结果表明,在图像存在较大视差的情况下,本文算法特征点匹配正确率较基于尺度特征不变（Scale Invariant Feature Transform, SIFT）算法和基于加速稳健性特征（Speeded Up Robust Features, SURF）算法最低和最高提高了2.01倍和4.73倍,图像自然度平均提高了22.6%,且拼接的图像亮度均匀、无透视畸变。     

一种改进AKAZE特征和RANSAC的图像拼接算法

针对传统图像描述方法在图像对变化复杂时特征点配准精度低,且传统RANSAC算法计算稳定性差的问题,提出一种结合改进AKAZE特征与RANSAC算法的图像拼接算法。利用AKAZE算法构造非线性尺度空间提取图像特征点,采用卷积神经网络描述符生成128维特征向量描述图像特征点,通过精简特征点并在迭代中设定嵌套阈值改进RANSAC算法得到最优变换矩阵模型,结合最佳缝合线算法和多频段融合算法对变换后的图像进行拼接。实验结果表明,和传统AKAZE算法相比,该算法在图像对的视角差异和光照差异较大时,配准精度分别提高12.60和6.99个百分点,改进后的RANSAC算法计算时间较改进前缩短4.17ms,图像拼接精度更高。     

一种消除图像拼接缝和鬼影的快速拼接算法

由于提取SIFT特征进行图像拼接的算法复杂度较高且不能很好地处理拼接缝和鬼影等问题,提出了一种消除拼接缝和鬼影的快速图像拼接算法.该算法首先划定提取SIFT特征的范围,计算出匹配特征点后使用RANSAC算法求取两幅图像间的坐标变换关系矩阵H,然后结合最佳缝合线算法和改进的加权平均融合算法实现无缝拼接.实验结果表明,提出的算法不仅有效地消除了拼接缝和鬼影,也提高了图像拼接的效率.