基于GPU的2D-3D医学图像配准

在2D-3D医学图像配准中,数字影像重建(DRR)的生成与相似性测度是最重要同时也是最耗时的两个配准步骤。针对配准过程中计算量大、耗时长的问题,将模式强度与梯度相结合,简化模式强度相似性测度的计算量,同时利用图形处理器(GPU)的多线程并行计算 在GPU上完成 DRR生成与相似性测度,引入梯度下降与多分辨策略对配准过程进行优化,完成整个配准过程。通过与多种相似性测度方法以及基于CPU的配准的比较,表明该方法在很好地兼顾配准精确度的同时,配准速度得到了大大提高。     

基于Powell算法与改进遗传算法的医学图像配准方法

针对基于互信息图像配准的局部极值问题,提出一种基于Powell算法与改进遗传算法结合的医学图像配准方法。该方法对标准遗传算法存在的收敛速度慢、易早熟、有可能导致误配的缺陷,提出了相应的改进策略; 采用Logistic混沌映射生成迭代过程中的个体; 运用基于小波变换的多分辨率分析策略,采用混合优化算法在图像的最低分辨率层进行全局优化,以全局最优值,结合Powell算法完成医学图像配准。实验结果表明,所提方法可有效避免优化算子陷入局部极值,并提高了配准速度; 相对于纯Powell方法和未改进的遗传算法,配准的精确度和性能更好。     

加入迭代因子的层次化颅骨配准方法

目的 在基于知识的颅面复原中,为了对未知颅骨的面貌进行复原,需要在颅骨库里寻找相似颅骨,将相似颅骨的面皮作为参考。寻找相似颅骨的过程即颅骨配准,配准的精度和效率是两个重要性能指标。本文提出一种基于特征区域和改进ICP（iterative closest point）算法的层次化颅骨配准方法。方法 首先,将颅骨模型去噪、简化并归一化,通过计算体积积分不变量,确定每个点的凹凸性;使用K-means方法,将颅骨上的点聚类为多个或凹或凸的特征区域。然后,通过主成分分析法来计算两个颅骨的相似特征区域,对每一个可能的匹配计算3维变换,将两个颅骨粗略对齐;最后,采用加入迭代因子的方法对ICP算法进行改进,使用改进的ICP算法对颅骨进行精配准。结果 将本文方法用于颅骨模型、兵马俑模型以及公共数据集中的3维模型配准,经典ICP算法的配准时间分别为6.23 s、7.61 s、4.17 s,改进的ICP算法配准时间分别为3.02 s、3.23 s、2.83 s,算法效率提高了约2倍,配准效果也有明显提高。实验中通过对迭代因子的测试,发现不同的数据集需要设定不同的迭代因子。结论 本文所提出的基于区域特征的层次化配准方法提高了颅骨配准的精度和效率,整个过程不需要人工干预,该算法具有一定的普适性,可用于相似3维模型配准。     

融合密集残差块和GAN变体的医学图像非刚性配准

目的 现有的医学图像配准算法在处理较大非刚性形变的医学图像时,存在配准精度低和泛化能力不足的问题。针对该问题,提出结合密集残差块和生成对抗网络（generative adversarial network,GAN）的图像配准方法,用于多模态医学图像的非刚性配准。方法 将密集残差块引入到生成器,提取待配准图像对的更多高层特征,从而提高配准精度;在GAN中采用最小二乘损失代替逻辑回归构造的交叉熵损失,由于最小二乘损失的收敛条件更严格,同时能缓解梯度消失和过拟合,从而提高配准模型的稳定性;在判别器网络中引入相对平均GAN（relative average GAN,RaGAN）,即在标准判别器的基础上增加一项梯度惩罚因子,降低判别器的判别误差,从而相对减少配准模型的配准误差,有助于稳定配准精度。结果 在DRIVE（digital retinal images for vessel extraction）数据集上进行训练和验证,在Sunybrook Cardiac数据集和Brain MRI数据集上进行泛化性能测试,并与几种主流医学图像非刚性配准算法进行对比实验,表明,本文配准模型在精度和泛化能力上均有一定程度的提升,相比其他方法,视网膜图像、心脏图像和脑部图像的配准Dice值分别提升了3.3%、3.0%、1.5%。结论 提出的配准方法能够获取更多高层特征信息,从而提升配准精度;同时基于最小二乘法构建损失函数并对判别器进行加强,能够使得配准模型在训练阶段快速收敛,提高了配准模型的稳定性和泛化能力,适合存在较大非刚性形变的医学图像的配准。     

粒子群与改进的鲍威尔算法相结合的多分辨率三维医学图像配准

为克服传统基于互信息的多模医学图像配准算法容易陷入局部最优的问题,提出了一种改进的多分辨率三维医学图像配准算法.该算法通过高斯滤波将三维医学图像进行多尺度化,形成多分辨率图像金字塔,以Mattes互信息作为配准框架的相似性测度.在图像金字塔的低分辨率层使用粒子群优化算法进行全局变换参数的搜索,然后以全局变换参数作为高分辨率层配准的初始参数,并以鲍威尔优化算法进行优化,完成最终的三维医学图像配准.实验结果表明,改进的算法不仅使待配准两幅图像空间位置对齐,而且较传统互信息算法提高了配准精度,鲁棒性更强,有效地解决了基于互信息的配准算法陷入局部最优的可能.     

改进混合策略的多分辨率3D医学图像配准

基于混合策略的多分辨率算法是当前3D医学图像刚体配准中普遍采用的方法,不过其仅仅是优化算法的混合。通过研究不同分辨率对一阶互信息（常称为互信息）和二阶互信息配准的影响,在二级多分辨率策略的配准中,各级采用相对更适合的相似性测度,提出了混合优化算法和混合测度的改进算法。实验表明,改进算法在配准精度上达到了亚体素级,且明显优于基于单一测度的算法,在配准速度上远远快于基于二阶互信息单一测度的算法,略慢于基于一阶互信息单一测度的算法。     

基于动态融合蚁群遗传算法的医学图像配准

将基于动态融合的蚁群遗传算法作为一种新的图像配准优化算法应用在多模医学图像配准中。该算法以互信息作为相似性测度,生成初始信息素分布,采用蚁群算法搜索最优变换参数,其中动态融合策略提高了混合算法的搜索效率。仿真实验结果表明,该算法有效地避免信息函数的局部极值,减少大量重复运算,提高了配准的效率,配准结果具有良好的稳定性。     

空间约束层次加权Gamma混合模型的SAR图像分割

目的 合成孔径雷达（SAR）图像中像素强度统计分布呈现出复杂的特性,而传统混合模型难以建模非对称、重尾或多峰等特性的分布。为了准确建模SAR图像统计分布并得到高精度分割结果,本文提出一种利用空间约束层次加权Gamma混合模型（HWGaMM）的SAR图像分割算法。方法 采用Gamma分布的加权和定义混合组份;考虑到同质区域内像素强度的差异性和异质区域间像素强度的相似性,采用混合组份加权和定义HWGaMM结构。采用马尔可夫随机场（MRF）建模像素空间位置关系,利用中心像素及其邻域像素的后验概率定义混合权重以将像素邻域关系引入HWGaMM,构建空间约束HWGaMM,以降低SAR图像内固有斑点噪声的影响。提出算法结合M-H（Metropolis-Hastings）和期望最大化算法（EM）求解模型参数,以实现快速SAR图像分割。该求解方法避免了M-H算法效率低的缺陷,同时克服了EM算法难以求解Gamma分布中形状参数的问题。结果 采用3种传统混合模型分割算法作为对比算法进行分割实验。拟合直方图结果表明本文算法具有准确建模复杂统计分布的能力。在分割精度上,本文算法比基于高斯混合模型（GMM）、Gamma分布和Gamma混合模型（GaMM）分割算法分别提高33%,29%和9%。在分割时间上,本文算法虽然比GMM算法多64 s,但与基于Gamma分布和GaMM算法相比较分别快600 s和420 s。因此,本文算法比传统M-H算法的分割效率有很大的提高。结论 提出一种空间约束HWGaMM的SAR图像分割算法,实验结果表明提出的HWGaMM算法具有准确建模复杂统计分布的能力,且具有较高的精度和效率。     

利用混合特征的多视角遥感图像配准

目的 多视角遥感图像配准是遥感图像处理领域的一项关键技术,其目的是精确获取图像间被测区域发生的几何变换关系。由于航拍视角变化以及地物的空间分布和几何形状的复杂度,多视角遥感图像间会产生非刚性畸变问题,增加了图像配准的难度,为此本文提出一种利用遥感图像SIFT（scale-invariant feature transform）特征点阵的全局和局部几何结构特征进行多视角遥感图像配准的算法。方法 通过增加对SIFT点阵的几何结构特征描述以及利用SIFT点阵间全局与局部几何结构特征的互补关系,提升存在非刚性畸变的多视角遥感图像配准精度。 结果 实验使用谷歌地球的卫星影像数据以及无人机航拍遥感数据对本文算法进行了测试,并与3种同类算法（SIFT、SURF（speeded-up robust features）、CPD（coherent point drift））进行对比实验,本文算法在存在非刚性畸变的多视角遥感图像配准中能够有效地提升SIFT特征点阵的配准精度,从而获得更加准确的多视角遥感图像配准结果。结论 本文实现了一种结合SIFT特征点阵的全局和局部几何结构特征进行多视角遥感图像配准的算法,实验结果表明了该方法对存在非刚性畸变的多视角遥感图像能够有效地进行配准,可适用于同源多视角情况下的遥感图像配准问题。     

基于改进光流场模型的医学图像配准方法

基于光流场模型的图像配准方法计算简单快速,但采用原始光流场模型进行图像配准会使图像出现严重的模糊导致不能使用。提出了对原始光流场模型的正则项进行改进,同时引入运动模糊图像复原算法,改进的算法改善了原始光流场模型造成的图像模糊。实验结果表明,基于改进光流场模型的医学图像配准算法配准结果准确,具有较快的配准速度。     

基于小波金字塔和轮廓特征的医学图像配准

提出一种快速而精确的自动医学图像配准算法.先提取图像的轮廓,根据力矩主轴法计算初步配准变换参数的值,实现参考图像和待配准图像的初步配准;然后在此基础上,利用小波分解图像,提取图像的边缘特征点,采用小波金字塔分层搜索的策略在一个相对较小的范围对变换参数进行迭代搜索,最终实现图像的精确配准.不但提高了配准的精度,而且可减少精配准过程中所需的时间,有效地降低了配准过程所需的计算量.由实验结果可以看出,配准结果精确,实现速度快,因此是一种实用的多模态配准算法.     

TDFA:一种生成空间影像金字塔的方法

目的 降采样滤波是生成空间金字塔影像数据的主要手段,但目前没有一种客观指标来鉴别滤波器的降采样效果,因为至少需要空间金字塔的两层原始信号才能计算滤波器的降采样峰值信噪比(PSNR)。为解决此难题,本文建立一种研究路线:先基于视频影像数据评选确定一个性能优秀的降采样滤波器,然后验证该滤波器降采样生成遥感金字塔的主观目视效果,提出一种沿图像纹理方向滤波的降采样方法TDFA(texture direction filtering approach),可生成高质量的空间影像金字塔。方法 本文把降采样与升采样结合提出一种重采样滤波对偶RSFP(re-sampling filter pair),作为当前层金字塔数据的一个逼近,用来评价降采样滤波器效果。基于RSFP评价手段,筛选出一种基于纹理滤波的金字塔生成方法TDFA:对每个8×8块,TDFA在直流、水平、135°、垂直和45°等5个方向中搜索确定图像的一个纹理方向,用一个3阶滤波器沿纹理方向实施降采样,效果优于目前最好的最邻近插值方法,无任何伪彩、锯齿、块效应或马赛克。结果 利用大量影像数据实验,同几个典型滤波器的降采样效果对比,TDFA提升平均PSNR的范围,对拉格朗日滤波器是7.29~8.44 dB;对双线性滤波器是6.26~7.40 dB;对AVS的1/4插值滤波器是5.80~6.84 dB;对最邻近插值是4.51~5.70 dB。结论 本文提出的纹理滤波降采样算法可以生成质量优于现有最好水平的遥感金字塔影像,也可以生成高质量的多层视频流媒体数据。所提出的重采样滤波对偶RSFP可以输出当前层的高精度预测,用于可伸缩视频编码处理。     

2D/3D image registration using regression learning

In computer vision and image analysis, image registration between 2D projections and a 3D image that achieves high accuracy and near real-time computation is challenging. In this paper, we propose a novel method that can rapidly detect an object’s 3D rigid motion or deformation from a 2D projection image or a small set thereof. The method is called CLARET (Correction via Limited-Angle Residues in External Beam Therapy) and consists of two stages: registration preceded by shape space and regression learning. In the registration stage, linear operators are used to iteratively estimate the motion/deformation parameters based on the current intensity residue between the target projection(s) and the digitally reconstructed radiograph(s) (DRRs) of the estimated 3D image. The method determines the linear operators via a two-step learning process. First, it builds a low-order parametric model of the image region’s motion/deformation shape space from its prior 3D images. Second, using learning-time samples produced from the 3D images, it formulates the relationships between the model parameters and the co-varying 2D projection intensity residues by multi-scale linear regressions. The calculated multi-scale regression matrices yield the coarse-to-fine linear operators used in estimating the model parameters from the 2D projection intensity residues in the registration. The method’s application to Image-guided Radiation Therapy (IGRT) requires only a few seconds and yields good results in localizing a tumor under rigid motion in the head and neck and under respiratory deformation in the lung, using one treatment-time imaging 2D projection or a small set thereof.     

2D/3D image registration on the GPU

We present a method that performs a rigid 2D/3D image registration efficiently on the Graphical Processing Unit (GPU). As one main contribution of this paper, we propose an efficient method for generating realistic DRRs that are visually similar to x-ray images. Therefore, we model some of the electronic post-processes of current x-ray C-arm-systems. As another main contribution, the GPU is used to compute eight intensity-based similarity measures between the DRR and the x-ray image in parallel. A combination of these eight similarity measures is used as a new similarity measure for the optimization. We evaluated the performance and the precision of our 2D/3D image registration algorithm using two phantom models. Compared to a CPU + GPU algorithm, which calculates the similarity measures on the CPU, our GPU algorithm is between three and six times faster. In contrast to single similarity measures, our new similarity measure achieved precise and robust registration results for both phantom models.     

图像亮度线索下的单目深度信息提取

目的 深度信息的获取是3维重建、虚拟现实等应用的关键技术,基于单目视觉的深度信息获取是非接触式3维测量技术中成本最低、也是技术难度最大的手段。传统的单目方法多基于线性透视、纹理梯度、运动视差、聚焦散焦等深度线索来对深度信息进行求取,计算量大,对相机精度要求高,应用场景受限,本文基于固定光强的点光源在场景中的移动所带来的物体表面亮度的变化,提出一种简单快捷的单目深度提取方法。方法 首先根据体表面反射模型,得到光源照射下的物体表面的辐亮度,然后结合光度立体学推导物体表面辐亮度与摄像机图像亮度之间的关系,在得到此关系式后,设计实验,依据点光源移动所带来的图像亮度的变化对深度信息进行求解。结果 该算法在简单场景和一些日常场景下均取得了较好的恢复效果,深度估计值与实际深度值之间的误差小于10%。结论 本文方法通过光源移动带来的图像亮度变化估计深度信息,避免了复杂的相机标定过程,计算复杂度小,是一种全新的场景深度信息获取方法。     

基于边缘特征和Keren算法的图像配准

为获得高精确度、高稳定度的岩心配准图像,提出利用Sobel算子提取图像边缘并结合keren算法的图像配准方法。该方法首先提取参考图像和待配准图像边缘,接着对边缘图像进行高斯金字塔分解,最后,利用keren改进算法实现由粗到细的岩心图像配准。实验结果表明该算法与Keren算法相比,在小角度下都有较高的配准精度,大角度旋转情况下该方法绝对误差明显降低,且在大角度旋转下平移参数和角度参数分别可获得0.1个像素以下和0.1度以下的绝对误差精度,提高了岩心配准精度。     

改进双边滤波Retinex的多聚焦图像融合

目的 针对传统Retinex算法存在的泛灰、光晕、边界突出以及高曝光区域细节增强不明显的现象,将Retinex和多聚焦融合的思想融合在一起,提出一种基于Retinex的改进双边滤波的多聚焦融合算法。方法 首先根据图像情况在像素级层次将反射图像分解为最优亮暗区域两部分,然后利用线性积分变换和邻近像素最优推荐算法,将原始图像与最优亮区域多聚焦融合得到图像T,再将图像T与最优暗区域重复以上步骤得到图像S,最后利用引导滤波进行边界修复得到最终图像。结果 选择两组图像girl和boat进行实验,与SSR（single scale Retinex）、BSSR（Retinex algorithm based on bilateral filtering）、BIFT（Retinex image enhancement algorithm based on image fusion technology）和RVRG（Retinex variational model based on relative gradient regularization and its application）4种方法进行对比,本文方法在方差和信息熵两方面表现出明显优势。在均值方面,比BIFT和RVRG分别平均提高16.37和20.90;在方差方面,比BIFT和RVRG分别平均提高1.25和4.42;在信息熵方面,比BIFT和RVRG分别平均提高0.1和0.17;在平均梯度方面,比BIFT和RVRG分别平均提高1.21和0.42。对比BIFT和RVRG的实验数据,证明了本文方法的有效性。结论 实验结果表明,相比较其他图像增强算法,本文算法能更有效抑制图像的泛灰、光晕和边界突出现象,图像细节增强效果特别显著。     

Morphological Pyramids in Multiresolution MIP Rendering of Large Volume Data: Survey and New Results

We survey and extend nonlinear signal decompositions based on morphological pyramids, and their application to multiresolution maximum intensity projection (MIP) volume rendering with progressive refinement and perfect reconstruction. The structure of the resulting multiresolution rendering algorithm is very similar to wavelet splatting. Several existing classes of pyramids are discussed, and their limitations indicated. To enhance the approximation quality of visualizations from reduced data (higher levels of the pyramid), two approaches are explored. First, a new class of morphological pyramids, involving connectivity enhancing operators, is considered. In the pyramidal analysis phase, a conditional dilation operator is used, with a given number n of iterations. The corresponding pyramids for n = 0 and n = 1 are known as the adjunction pyramid and Sun-Maragos pyramid, respectively. We show that the approximation quality when rendering from higher levels of the pyramid does increase as a function of the number of iterations n of the conditional dilation operator, but the improvement for n > 1 is limited. The second new approach, called streaming MIP-splatting, again starts from the adjunction pyramid. The new element is that detail coefficients of all levels are considered simultaneously and are resorted with respect to decreasing magnitude of a suitable error measure. All resorted coefficients are projected successively, until a desired accuracy of the resulting MIP image is obtained. We show that this method outperforms the previous methods based on morphological pyramids, both with respect to image quality with a fixed amount of detail data, and in terms of flexibility of controlling approximation error or computation time.Jos B.T.M. Roerdink received his M.Sc. (1979) in theoretical physics from the University of Nijmegen, the Netherlands. Following his Ph.D. (1983) from the University of Utrecht and a two-year position (1983–1985) as a Postdoctoral Fellow at the University of California, San Diego, both in the area of stochastic processes, he joined the Centre for Mathematics and Computer Science in Amsterdam. There he worked from 1986–1992 on image processing and tomographic reconstruction. He was appointed associate professor (1992) and full professor (2003), respectively, at the Institute for Mathematics and Computing Science of the University of Groningen, where he currently holds a chair in Scientific Visualization and Computer Graphics. His current research interests include morphological image processing, biomedical visualization, neuroimaging and bioinformatics.     

基于GPU的快速三维医学图像刚性配准技术*

自动三维配准将多个图像数据映射到同一坐标系中,在医学影像分析中有广泛的应用。但现有主流三维刚性配准算法(如FLIRT)速度较慢,2563大小数据的刚性配准需要300 s左右,不能满足快速临床应用的需求。为此提出了一种基于CUDA(compute unified device architecture)架构的快速三维配准技术,利用GPU(gra-phic processing unit)并行计算实现配准中的坐标变换、线性插值和相似性测度计算。临床三维医学图像上的实验表明,该技术在保持配准精度的前提下将速度提     

A new digital image registration algorithm based on the double spatial intensity gradients using pyramids

The new mathematical model for image registration is based on the double spatial intensity gradients. For high precision, the algorithm for image registration using pyramids is presented, which has a better results with the double-gradient registration than the mono-gradient registration.