基于2维灰度熵阈值选取快速迭代的图像分割

目的 为了使图像阈值分割的精度和速度进一步提高,提出了一种基于2维灰度熵阈值选取快速迭代的图像分割方法。方法 首先,提出了1维灰度熵阈值选取的快速迭代算法;然后,考虑图像目标和背景的类内灰度均匀性,给出了基于灰度—邻域平均灰度级直方图的灰度熵阈值选取准则;最后,提出了2维灰度熵阈值选取的快速迭代算法,并采用递推方式计算准则函数中的中间变量,避免其重复运算,加快了运算速度,大大减少了运算量。结果 大量实验结果表明,与近年来提出的3种阈值分割法相比,所提出的方法分割性能更优,分割后的图像中目标区域完整,边缘清晰,细节丰富且运行时间短,仅为基于混沌小生境粒子群优化的二维斜分倒数熵分割法运行时间的3%左右。结论 本文方法对不同类型灰度级图像的分割效果及运行速度均有明显优势,是实际系统中可选择的一种快速有效的图像分割方法。     

综合边界和纹理信息的合成孔径雷达图像目标分割

目的 针对传统Grab Cut算法需要人工交互操作,无法实现合成孔径雷达（SAR）图像的自动分割,且方式单一（仅利用边界或纹理信息中的一种）的问题,提出一种综合利用边界和纹理信息的改进Grab Cut算法,实现对SAR图像目标的自动分割。方法 首先将其他格式的彩色或灰度SAR图像转化为24 bit的位图,采用图形理论对整幅SAR图像建模,根据最大流算法找到描述图的能量函数最小的割集,从而分割出目标区域;然后采用中值滤波抑制相干噪声;最后通过邻域生长算法滤除图像斑点和小目标的干扰,从而达到目标边界的连接,实现自动对SAR图像中的目标进行分割。结果 在64位Window 7环境下采用MATLAB R2014处理平台,对楼房、车库、大树、汽车群等4幅分辨率不同的SAR图像进行目标分割实验,特征目标被自动分割出来,耗时分别为1.69 s、1.58 s、1.84 s和3.09 s,相比Mean-shift和Otsu算法,平均计算效率分别提升150%和3%,并且图像中的背景杂波、目标阴影和干扰小目标均被有效去除。结论 综合利用边界和纹理信息能够有效抑制相干噪声,去除图像斑点和小目标的干扰,从而达到目标边界的连接,实现对SAR图像目标的自动分割。实验结果表明,本文算法可以满足工程化应用要求,自适应性强,分割精度高,且具有较好的鲁棒性。     

融合视觉词与自注意力机制的视频目标分割

目的 视频目标分割(video object segmentation,VOS)是在给定初始帧的目标掩码条件下,实现对整个视频序列中感兴趣对象的分割,但是视频中往往会出现目标形状不规则、背景中存在干扰信息和运动速度过快等情况,影响视频目标分割质量。对此,本文提出一种融合视觉词和自注意力机制的视频目标分割算法。方法 对于参考帧,首先将其图像输入编码器中,提取分辨率为原图像1/8的像素特征。然后将该特征输入由若干卷积核构成的嵌入空间中,并将其结果上采样至原始尺寸。最后结合参考帧的目标掩码信息,通过聚类算法对嵌入空间中的像素进行聚类分簇,形成用于表示目标对象的视觉词。对于目标帧,首先将其图像通过编码器并输入嵌入空间中,通过单词匹配操作用参考帧生成的视觉词来表示嵌入空间中的像素,并获得多个相似图。然后,对相似图应用自注意力机制捕获全局依赖关系,最后取通道方向上的最大值作为预测结果。为了解决目标对象的外观变化和视觉词失配的问题,提出在线更新机制和全局校正机制以进一步提高准确率。结果 实验结果表明,本文方法在视频目标分割数据集DAVIS (densely annotated video segmentation)2016和DAVIS 2017上取得了有竞争力的结果,区域相似度与轮廓精度之间的平均值J&F-mean (Jaccard and F-score mean)分别为83.2%和72.3%。结论 本文提出的算法可以有效地处理由遮挡、变形和视点变化等带来的干扰问题,实现高质量的视频目标分割。     

心脏动态MRI图像分割的时空多尺度网络

目的 心脏磁共振成像（magnetic resonance imaging,MRI）的自动分割技术有利于在临床诊断中评估心脏的功能参数。然而由于心脏磁共振成像技术产生的图像边界不清晰、各向分辨率异性等特性,现有的大多数方法依旧存在类内不确定、类间不清晰问题。针对这一问题,提出了一种利用时间信息进行特征增强,并利用空间信息进行特征矫正的多输入、多分支和多任务的分割网络（spatio-temporal UNet,ST UNet）。方法 为充分获取动态心脏MRI图像的时间信息,提出了全新的时间增强编码模块,将需要进行分割的目标帧和一段包含了目标帧的连续时间片段作为关键序列一同输入网络。关键序列用于获取更丰富的时间特征,目标帧提供更精准的边缘特征。为了聚集更多有益的特征,更好地融合时域特征和边缘特征,采用可变形全局连接代替传统的长连接,为网络的解码部分提供更广泛的多维特征信息。在训练过程中额外学习空间方向场特征,并使用该特征对原有的分割结果进行矫正。结果 在ACDC （Automated Cardiac Diagnosis Challenge）心脏分割挑战中,以Dice系数和HD （Hausdorff distance）距离为评价指标,该方法在左心室、右心室和左心肌分割的平均Dice系数分别为95%、91.5%和91%,HD距离的平均值分别为6.77、11.39和8.54。结论 实验表明,提出的新型网络能够充分地利用心脏MRI图像的时空信息,有效地提升目标器官的分割效果,更有助于医生对于心脏诊断。     

融合外观和运动特征的在线目标分割

目的 视频中的目标分割是计算机视觉领域的一个重要课题,有着极大的研究和应用价值。为此提出一种融合外观和运动特征的在线自动式目标分割方法。方法 首先,融合外观和运动特征进行目标点估计,结合上一帧的外观模型估计出当前帧的外观模型。其次,以超像素为节点构建马尔可夫随机场模型,结合外观模型和位置先验把分割问题转化为能量最小化问题,并通过Graph Cut进行优化求解。结果 最后,在两个数据集上与5种标准方法进行了对比分析,同时评估了本文方法的组成成分。本文算法在精度上至少比其他的目标分割算法提升了44.8%,且具有较高的分割效率。结论 本文通过融合外观与运动特征实现在线的目标分割,取得较好的分割结果,且该方法在复杂场景中也具有较好的鲁棒性。     

无人机侦察视频超分辨率重建方法

目的 无人机摄像资料的分辨率直接影响目标识别与信息获取,所以摄像分辨率的提高具有重大意义。为了改善无人机侦察视频质量,针对目前无人机摄像、照相数据的特点,提出一种无人机侦察视频超分辨率重建方法。方法 首先提出基于AGAST-Difference与Fast Retina Keypoint (FREAK)的特征匹配算法对视频目标帧与相邻帧之间配准,然后提出匹配区域搜索方法找到目标帧与航片的对应关系,利用航片对视频帧进行高频补偿,最后采用凸集投影方法对补偿后视频帧进行迭代优化。结果 基于AGAST-Difference与FREAK的特征匹配算法在尺度、旋转、视点等变化及运行速度上存在很大优势,匹配区域搜索方法使无人机视频的高频补偿连续性更好,凸集投影迭代优化提高了重建的边缘保持能力,与一种简单有效的视频序列超分辨率复原算法相比,本文算法重建质量提高约4 dB,运行速度提高约5倍。结论 提出了一种针对无人机的视频超分辨率重建方法,分析了无人机视频超分辨率问题的核心所在,并且提出基于AGAST-Difference与FREAK的特征匹配算法与匹配区域搜索方法来解决图像配准与高频补偿问题。实验结果表明,本文算法强化了重建图像的一致性与保真度,特别是对图像边缘细节部分等效果极为明显,且处理速度更快。     

时空图卷积网络与注意机制的视频目标分割

目的 从大量数据中学习时空目标模型对于半监督视频目标分割任务至关重要,现有方法主要依赖第1帧的参考掩膜（通过光流或先前的掩膜进行辅助）估计目标分割掩膜。但由于这些模型在对空间和时域建模方面的局限性,在快速的外观变化或遮挡下很容易失效。因此,提出一种时空部件图卷积网络模型生成鲁棒的时空目标特征。方法 首先,使用孪生编码模型,该模型包括两个分支：一个分支输入历史帧和掩膜捕获序列的动态特征,另一个分支输入当前帧图像和前一帧的分割掩膜。其次,构建时空部件图,使用图卷积网络学习时空特征,增强目标的外观和运动模型,并引入通道注意模块,将鲁棒的时空目标模型输出到解码模块。最后,结合相邻阶段的多尺度图像特征,从时空信息中分割出目标。结果 在DAVIS（densely annotated video segmentation）-2016和DAVIS-2017两个数据集上与最新的12种方法进行比较,在DAVIS-2016数据集上获得了良好性能,Jacccard相似度平均值（Jaccard similarity-mean,J-M）和F度量平均值（F measure-mean,F-M）得分达到了85.3%,比性能最高的对比方法提高了1.7%;在DAVIS-2017数据集上,J-M和F-M得分达到了68.6%,比性能最高的对比方法提高了1.2%。同时,在DAVIS-2016数据集上,进行了网络输入与后处理的对比实验,结果证明本文方法改善了多帧时空特征的效果。结论 本文方法不需要在线微调和后处理,时空部件图模型可缓解因目标外观变化导致的视觉目标漂移问题,同时平滑精细模块增加了目标边缘细节信息,提高了视频目标分割的性能。     

肺实质CT图像细化分割

目的 由于肺部CT图像中各组织结构复杂、灰度分布不均匀,造成肺实质部分难以准确分割和提取。为了提高肺实质分割的准确率,本文提出了一种基于超像素的细化分割与模糊C均值聚类相结合的自动分割算法。方法 该算法充分利用肺部CT图像的灰度、纹理特征,同时为了正确标记超像素的分类,引入一种空间邻域信息来增强空间约束进而有效地解决灰度不均匀的问题,它能够对肺实质进行分割并除去其周围的主血管,然后利用形态学知识去除肺部的分支血管。结果 在临床患有四类疾病的患者CT图像数据集上采用改进的图像特征,使得肺实质分割的准确率提高了0.8%。同时,算法准确率提高到99.46%。结论 实验结果表明,本文算法能够实现肺部CT图像肺实质的自动细化分割,结果准确适用。该算法鲁棒性好、速度快,是一种精确有效的自动肺实质分割方法。     

模糊相关图割的非监督层次化彩色图像分割

目的 基于阈值的分割方法能根据像素的信息将图像划分为同类的区域,其中常用的最大模糊相关分割方法,因能利用模糊相关度量划分的适当性,得到较好的分割结果,而广受关注。然而该算法存在划分数需预先确定,阈值的分割结果存在孤立噪声,无法对彩色图像实施分割的问题。为此,提出基于模糊相关图割的非监督层次化分割策略来解决该问题。方法 算法首先将图像划分为若干超像素,以提高层次化图像分割的效率;随后将快速模糊相关算法与图割结合,构成模糊相关图割2-划分算子,在确保分割效率的基础上,解决单一阈值分割存在孤立噪声的问题;最后设计了自顶向下层次化分割策略,利用构建的2-划分算子选择合适的区域及通道,迭代地对超像素实施层次化分割,直到算法收敛,划分数自动确定。结果 对Berkeley分割数据库上300幅图像进行了测试,结果表明算法能有效分割彩色图像,分割精度优于Ncut、JSEG方法,运行时间较这两种方法也提高了近20%。结论 本文算法为最大模糊相关算法在非监督彩色图像分割领域的应用提供指导依据,能用于目标检测和识别领域。     

自主移动机器人自适应室外道路检测

目的 为降低室外自主移动机器人视觉导航中遇到的阴影、裂纹及道路边界不规则造成的道路检测算法不鲁棒性,提出一种每帧灰度阈值可调的快速自适应道路检测方法。方法 先采用2维离散小波进行道路图像分解与重构,比较各级小波重构后的近似道路图像,确定出不影响“路-非路”灰度二分类的最佳分辨率等级;在低分辨率尺度空间中,用灰度类间最大方差和类内最小方差共同构造适应度函数,采用改进的遗传算法对各帧道路图像进行阈值自适应分割,找到准确的道路边界,最近两边界中心位置即机器人行驶方向。采用小型陆地自主车作为研究平台,并在卡耐基梅隆大学（CMU）提供的室外移动机器人道路视频中进行算法测试。结果 本文方法能够在具有阴影、裂纹、光照度变化的道路条件下鲁棒分割出道路边界,机器人可以平均30 km/h的速度在有较严重阴影干扰的校园道路上行驶,视觉系统的处理速度平均可达到20 ms/帧。结论 本文方法比传统的灰度直方图分割法表现出更强的环境自适应性,可实现较为鲁棒的室外道路检测,并可作为室外自主移动机器人非结构化道路检测的一种鲁棒性较强的方法加以推广。     

一种基于三次帧差边缘交集的视频对象提取方法

为了克服利用变化检测分割视频对象过程中的噪声、复杂运动、暴露背景的影响,提出了一种新的视频对象分割方法。该方法利用间隔为k帧的两帧图像代替连续两帧求帧差,然后取三次帧差边缘的交集,并且对运动对象的断裂轮廓点进行连接。最后,通过填充和数学形态学处理实现视频对象的分割。试验结果表明,该算法能够自动精确的定位运动对象的外轮廓。     

四叉树分块的高光谱图像分布式无损编码

目的 近年来随着光谱成像技术的快速发展,使得高光谱遥感图像能够提供更加丰富的地物信息,然而其所具有的极大数据量给图像的存储、传输和实用带来较大的困难。因此,如何对高光谱遥感图像进行有效编码成为研究热点。方法 基于陪集码的分布式信源编码因其具有良好的压缩性能和较低的编码复杂度而受到重视,在此基础上提出一种基于自适应四叉树分块的高光谱图像分布式无损编码方案。设每个高光谱帧组的第1帧为关键帧,其他帧为普通帧,首先对关键帧进行自适应四叉树分块,然后对每一块与普通帧相应的块进行最佳线性预测,进而根据预测残差确定所需传输的陪集码索引位数以及每个像素的k个最低比特位。结果 本文通过自适应四叉树分块,增强了所形成陪集码的自适应性。所提出的编码方案很好地实现了压缩效果和编码效率的折中。结论 提出的方案能够较好地适应低复杂度环境下对高光谱图像无损编码的需求。     

分裂合并运动分割的多运动视觉里程计方法

目的 视觉里程计（visual odometry,VO）仅需要普通相机即可实现精度可观的自主定位,已经成为计算机视觉和机器人领域的研究热点,但是当前研究及应用大多基于场景为静态的假设,即场景中只有相机运动这一个运动模型,无法处理多个运动模型,因此本文提出一种基于分裂合并运动分割的多运动视觉里程计方法,获得场景中除相机运动外多个运动目标的运动状态。方法 基于传统的视觉里程计框架,引入多模型拟合的方法分割出动态场景中的多个运动模型,采用RANSAC（random sample consensus）方法估计出多个运动模型的运动参数实例;接着将相机运动信息以及各个运动目标的运动信息转换到统一的坐标系中,获得相机的视觉里程计结果,以及场景中各个运动目标对应各个时刻的位姿信息;最后采用局部窗口光束法平差直接对相机的姿态以及计算出来的相机相对于各个运动目标的姿态进行校正,利用相机运动模型的内点和各个时刻获得的相机相对于运动目标的运动参数,对多个运动模型的轨迹进行优化。结果 本文所构建的连续帧运动分割方法能够达到较好的分割结果,具有较好的鲁棒性,连续帧的分割精度均能达到近100%,充分保证后续估计各个运动模型参数的准确性。本文方法不仅能够有效估计出相机的位姿,还能估计出场景中存在的显著移动目标的位姿,在各个分段路径中相机自定位与移动目标的定位结果位置平均误差均小于6%。结论 本文方法能够同时分割出动态场景中的相机自身运动模型和不同运动的动态物体运动模型,进而同时估计出相机和各个动态物体的绝对运动轨迹,构建出多运动视觉里程计过程。     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

基于时域统计变化检测实时分割头肩视频序列

分析了头肩视频序列的特点，提出了基于时域统计变化检测、利用多帧运动信息实时分割视频对象的方法。先选取包括当前帧在内的前连续2N帧图像，将奇数帧与偶数帧图像作差值，形成长度为Ⅳ的帧差图像序列；对每个象素点时域上的Ⅳ个帧差样本值进行分布显著性检验，判断象素点是否发生了变化；对得到的二值图像进行形态学处理，得到完整的分割结果。试验结果表明，该算法能够自动实时的分割视频对象。     

利用多模态U形网络的CT图像前列腺分割

计算机断层扫描（computed tomography,CT）可应用于前列腺癌的检查诊断,但是它对软组织结构对比度不高,因此很难从中分割病变;而核磁共振成像（nuclear magnetic resonance imaging,MRI）具有较高的对比度,能为病变提供丰富的影像信息。为了提升CT图像的前列腺分割精度,本文提出一种新的基于深度学习的多模态U形网络图像分割模型MM-unet,充分运用MRI图像与CT图像间信息互补的特点。具体地,首先运用迁移学习思想分别训练MRI与CT图像的初始分割模型,然后通过设计一种新型的多模态损失函数MM-Loss,建立不同模态分割模型之间的联系,联合训练基于MRI与CT图像的MM-unet。为验证所提模型MM-unet的有效性,我们在某合作医院提供的Prostate数据集上进行了实验,实验结果表明,与U-net方法相比,MM-unet能够获得高出3个百分点Dice的CT图像分割精度。     

Video chroma keying via global sampling and trimap propagation

Chroma keying is a widely used video editing technique, which finely separates the foreground objects from the background. Two major concerns are involved in chroma keying problems: alpha estimation and foreground color restoration. The alpha values reveal the opacity property of the foreground objects. The foreground color restoration removes the background color influence to the foreground appearance especially at transparent regions and objects’ boundaries. In this paper, the color range of the solid background is well analyzed to automatically separate foreground from background. Global sampling is utilized to robustly and reliably estimate the foreground color at boundaries and transparent regions. Furthermore, we propose to propagate the geometric shape of foreground boundaries between adjacent frames by using optical flow and thin plate splines interpolation. The trimap, which is an initial foreground/background/unknown segmentation of each frame can be automatically updated for each video frame by using our proposed propagation method. Compared to previous methods, our proposed matting method estimates high-quality alpha matte and reliable foreground color with least user interference.     

Space‐Time Co‐Segmentation of Articulated Point Cloud Sequences

Consistent segmentation is to the center of many applications based on dynamic geometric data. Directly segmenting a raw 3D point cloud sequence is a challenging task due to the low data quality and large inter‐frame variation across the whole sequence. We propose a local‐to‐global approach to co‐segment point cloud sequences of articulated objects into near‐rigid moving parts. Our method starts from a per‐frame point clustering, derived from a robust voting‐based trajectory analysis. The local segments are then progressively propagated to the neighboring frames with a cut propagation operation, and further merged through all frames using a novel space‐time segment grouping technqiue, leading to a globally consistent and compact segmentation of the entire articulated point cloud sequence. Such progressive propagating and merging, in both space and time dimensions, makes our co‐segmentation algorithm especially robust in handling noise, occlusions and pose/view variations that are usually associated with raw scan data.     

基于灰色系统理论的阈值自动选取算法

针对阈值方法常需要人工干预的问题,提出了一种基于灰色系统理论的阈值自动选取算法。首先利用降低灰度级后的直方图检测峰值,然后自动采集峰间内侧附近的样本作为灰色预测的种子点。通过灰色理论GM（1,1）模型预测种子点发展走向,并计算模拟交汇点,得到最优阈值。利用该算法与经典的Otsu,Kapur 算法以及文献[3]和[4]中的方法对15 组不同复杂度图像进行对比阈值分割,并采用AER进行分割评估,实验表明新算法平均分割误差为19.37%,低于上述四种方法。     

融合全局和局部相关熵的图像分割

目的 针对LCK(local correntropy-based K-means)模型对初始轮廓敏感的问题,提出了新的基于全局和局部相关熵的GLCK(global and local correntropy-based K-means)动态组合模型。方法 首先将相关熵准则引入到CV(Chan-Vese)模型中,得到新的基于全局相关熵的GCK(global correntropy-based K-means)模型。然后,结合LCK模型,提出GLCK组合模型,并给出一种动态组合算法来优化GLCK模型。该模型分两步来完成分割:第1步,用GCK模型分割出目标的大致轮廓;第2步,将上一步得到的轮廓作为LCK模型的初始轮廓,对图像进行精确分割。结果 主观上,对自然图像和人工合成图像进行分割,并同LCK模型、LBF模型以及CV模型进行对比,结果表明本文所提模型的鲁棒性比上述模型都要好;客观上,对BSD库中的两幅自然图像进行分割,并采用Jaccard相似性比率进行定量分析,准确率分别为91.37%和89.12%。结论 本文算法主要适用于分割含有未知噪声及灰度分布不均匀的医学图像及结构简单的自然图像,并且分割结果对初始轮廓具有鲁棒性。