基于数字人彩色图像的三维重建算法研究

对数字人彩色照片数据进行高质量的实时三维表面重建提出了一种新算法。该算法利用交互分割平台提取出彩色体数据中单个器官的三维表面点集,再根据对二值体数据滤波后的灰度值计算灰度梯度估算得到表面点的法向量。最后用带颜色的表面点来描述器官的三维表面,利用显卡OpenGL接口对表面点集进行三维显示。在微机环境下对美国数字人照片数据集中的肝脏和肺部两个器官进行了三维重建,在保证图像质量的前提下重建速度超过25帧/s。提出的算法能对高分辨率的彩色体数据进行高质量的实时三维表面重建。     

点集模型的直接可见性测试与基于视点的绘制

点集模型作为一种新兴的三维几何形体表示形式,近年来备受关注.本文运用点集法向计算与凸包构建等技术,对原始点集模型进行直接可视性计算,并利用可见性计算的结果对点集模型进行基于视点的绘制.算法首先对原始模型进行基于视点的精简,剔除大部分不可见点;再对精简后的模型进行球面对称变换,并构建变换后点集的凸包,进而提取出可见点集;最后运用真实感图形绘制技术实现可见点集的快速绘制.实验证明,本文算法能够快速地计算点集模型中采样点的可见性.该算法可应用于点集模型基于视点的绘制与曲面重建,以及点集模型的阴影绘制等领域.     

基于等值面点的快速三维表面重建算法

医学图像可视化技术利用二维医学图像序列重建出三维模型,为医生提供了直观、全面、准确的病灶和正常组织信息。传统的方法直接采用由序列轮廓线生成的三角片来拟合曲面,重建的速度与效果均有限。本文采用了一种直接绘制等值面点的三维重建算法,该算法只对视觉有贡献,约占总体数据的2%左右表面点进行遍历绘制,大大提高了绘制速度。另外,本文提出了由等值面数据计算法向量的方法,实现了在只有等值面坐标数据的情况下计算法向量。     

一种由轮廓线重建物体表面的方法

针对基于轮廓线拼接重建物体表面所出现的轮廓对应和分叉问题,提出了一种通过体数据转换由轮廓线实现重建物体表面的方法。在分析体数据构造中出现逼近精度问题的前提下,通过提高轮廓线上点的密度,生成精确度较高的体数据。该方法通过对相邻层轮廓线区域的集合运算,只对处于集合运算解中的像素点进行距离函数值的计算。采用MC（Marching Cubes）算法生成等值面,完成物体的表面重建。实验结果表明,该方法能顺利解决基于轮廓线拼接重建物体表面中出现的轮廓对应问题和分叉问题,既提高重建表面精确度,又加快整个表面的重建速度,是一种可行的方法。     

基于Double Marching Cubes的表面重建算法

为克服基于Marching Cubes的表面重建算法在绘制三维表面时因二义性面的存在而使生成的表面网格易出现错误连接而形成层间空洞的不足,提出了基于Double Marching Cubes的表面重建算法.该算法采用双立方体体素作为生成表面网格的基本单元,以双立方体的12个特征点的标记情况为依据,建立一个双立方体体素索引表,通过查找索引表的方法绘制三维表面.该算法在建立双立方体索引表时就排除掉了二义性面的所有错误连接方式,因而生成的表面网格不会出现层间空洞,避免了为消除二义性面所进行的复杂计算,加快了表面重建的速度.     

一种由二维轮廓线重建物体表面的方法

本文提出一种通过体数据转换实现由轮廓线重建物体表面的方法 .该方法根据“表面投影区”比较两相邻切平面上对应像素点的状态函数值 ,以确定影响等值面生成的像素点 ,从而只进行影响等值面生成的像素点的距离函数的计算 ,并可在根据需要对相邻切平面上的对应点进行插值计算后 ,生成分辨率较高的体数据 .本文采用改进的 MT算法生成等值面 ,完成物体的表面重建 .该方法缩短了体数据的构造时间 ,在保证了重建正确性的前提下提高了整个表面的重建速度     

像素的移动体素面绘制算法

移动立方体算法是最具影响力的等值面构造算法。本文以移动立方体算法为基础,提出了像素点移动体素面绘制算法。根据物体表面的显示特性和体素特点,利用像素点组成的边界体素绘制物体的等值面,实现物体表面的三维重建。在实验中,对一组CT图像中的骨骼组织进行三维表面重建和显示,并与用Matlab绘制函数重建的三维结果进行比较。实验分析表明,该算法能对物体进行三维重建,避免了二义性问题,但重建表面不光滑,重建花费的时间较长。     

基于特征检测的曲面分片构造方法

目前主流曲面分片构造法大多无法直接应用于具有尖锐特征的目标表面重建。针对该问题,提出一种新的曲面分片构造方法。通过建立目标表面采样点的空间三角网格模型,对网格模型进行特征检测,根据特征检测结果计算网格顶点法向量集,并基于顶点空间坐标和法向量集进行分片二次曲面插值,实现目标表面三维重建。实验结果表明,该方法重建表面达到C~0连续,满足可视化等应用要求,相对主流算法,信噪比提高2倍以上,均方误差至少降低1个数量级。     

基于面绘制技术的医学影像立体显示

医学影像立体显示技术利用二维医学图像序列重建出三维模型,为医生提供了直观、全面、准确的病灶和正常组织信息,给临床诊断和治疗带来了巨大进步,是当今医学领域研究的热点。三维重建有体绘制和面绘制两种方法,本文主要介绍了面绘制方法的原理和实现,选择基于体素的表面重建方法,利用国际上广泛应用的可视化工具包VTK提供的MC算法实现面绘制,并对轴、冠、矢三个方向的任意切面进行显示。     

基于图片序列的三维表面重建

根据非透明物体内部不可见的实际,提出了一种基于图片序列的三维表面重建算法.该算法首先利用传统的八叉树算法重建出物体的三维模型,然后利用一种新颖的表面点提取算法提取出物体表面点,最后利用这些表面点进行三角网格剖分,进而重建出光滑的三维物体表面.在表面点的提取过程中,算法对处于不同状态(处于立方体的顶点、棱、面)的点赋予不...     

轮廓线的经纬线连接法

为了减少面绘制中三角面片数量,节省空间,提高重建效果,提出了经纬线连接法。该方法利用夹角对轮廓线进行重采样,并用等比法生成辅助采样点,实现采样点一一对应,连接采样点形成四角面片来组成物体表面,实现三维重建。以一组头部CT图像为研究对象进行实验仿真,仿真分析表明对轮廓线进行重采样,用四边形代替三角形,减少了面片数量,节省了存储空间,重建时间较短,重建效率较高。     

基于VTK人体肺部的三维重建

医学图像三维重建技术是利用二维医学图像序列重建出三维模型,为医生提供直观、全面、准确的病灶和正常组织信息,是当今医学影像领域研究的热点之一。利用一个包含了多种面绘制技术的基于面向对象方法设计的、功能强大的可视化类库Visuali zation ToolKit（VTK）进行人体肺部断层图像的三维重建,讨论了面绘制算法中最常用的移动立方体法（MC）。重建效果表明基于VTK的面绘制技术具有应用灵活、重建效果逼真、重建速度较快等优点。为进一步研究人体肺部的动态建模打下基础。     

可微绘制技术研究进展

可微绘制技术是当前虚拟现实、计算机图形学与计算机视觉领域研究的热点,其目标是改造计算机图形学中以光栅化或光线跟踪算法为主的真实感绘制流程,支持梯度信息回传以计算由输出图像的变化导致的输入几何、材质属性变化,通过与优化及深度学习技术等相结合支持从数据中学习绘制模型和逆向推理,是可微学习技术在计算机图形学绘制技术中的应用的具体体现,在增强/虚拟现实内容生成、三维重建、表观采集建模和逆向光学设计等领域中有广泛的应用前景。本文对可微绘制当前的发展状况进行调研,重点对该技术在真实感绘制、3维重建和表观采集建模中的研究和应用情况进行综述,并对可微绘制技术发展趋势进行展望,以期推动可微技术在学术界和产业界的进一步发展。     

A pipeline for computer aided polyp detection

We present a novel pipeline for computer-aided detection (CAD) of colonic polyps by integrating texture and shape analysis with volume rendering and conformal colon flattening. Using our automatic method, the 3D polyp detection problem is converted into a 2D pattern recognition problem. The colon surface is first segmented and extracted from the CT data set of the patient's abdomen, which is then mapped to a 2D rectangle using conformal mapping. This flattened image is rendered using a direct volume rendering technique with a translucent electronic biopsy transfer function. The polyps are detected by a 2D clustering method on the flattened image. The false positives are further reduced by analyzing the volumetric shape and texture features. Compared with shape based methods, our method is much more efficient without the need of computing curvature and other shape parameters for the whole colon surface. The final detection results are stored in the 2D image, which can be easily incorporated into a virtual colonoscopy (VC) system to highlight the polyp locations. The extracted colon surface mesh can be used to accelerate the volumetric ray casting algorithm used to generate the VC endoscopic view. The proposed automatic CAD pipeline is incorporated into an interactive VC system, with a goal of helping radiologists detect polyps faster and with higher accuracy.     

Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering

Superior human pose and shape reconstruction from monocular images depends on removing the ambiguities caused by occlusions and shape variance. Recent works succeed in regression-based methods which estimate parametric models directly through a deep neural network supervised by 3D ground truth. However, 3D ground truth is neither in abundance nor can efficiently be obtained. In this paper, we introduce body part segmentation as critical supervision. Part segmentation not only indicates the shape of each body part but helps to infer the occlusions among parts as well. To improve the reconstruction with part segmentation, we propose a part-level differentiable renderer that enables part-based models to be supervised by part segmentation in neural networks or optimization loops. We also introduce a general parametric model engaged in the rendering pipeline as an intermediate representation between skeletons and detailed shapes, which consists of primitive geometries for better interpretability. The proposed approach combines parameter regression, body model optimization, and detailed model registration altogether. Experimental results demonstrate that the proposed method achieves balanced evaluation on pose and shape, and outperforms the state-of-the-art approaches on Human3.6M, UP-3D and LSP datasets.     

A computational model of bounded developable surfaces with application to image‐based three‐dimensional reconstruction

Developable surfaces have been extensively studied in computer graphics because they are involved in a large body of applications. This type of surfaces has also been used in computer vision and document processing in the context of three‐dimensional (3D) reconstruction for book digitization and augmented reality. Indeed, the shape of a smoothly deformed piece of paper can be very well modeled by a developable surface. Most of the existing developable surface parameterizations do not handle boundaries or are driven by overly large parameter sets. These two characteristics become issues in the context of developable surface reconstruction from real observations. Our main contribution is a generative model of bounded developable surfaces that solves these two issues. Our model is governed by intuitive parameters whose number depends on the actual deformation and including the “flat shape boundary”. A vast majority of the existing image‐based paper 3D reconstruction methods either require a tightly controlled environment or restricts the set of possible deformations. We propose an algorithm for reconstructing our model's parameters from a general smooth 3D surface interpolating a sparse cloud of 3D points. The latter is assumed to be reconstructed from images of a static piece of paper or any other developable surface. Our 3D reconstruction method is well adapted to the use of keypoint matches over multiple images. In this context, the initial 3D point cloud is reconstructed by structure‐from‐motion for which mature and reliable algorithms now exist and the thin‐plate spline is used as a general smooth surface model. After initialization, our model's parameters are refined with model‐based bundle adjustment. We experimentally validated our model and 3D reconstruction algorithm for shape capture and augmented reality on seven real datasets. The first six datasets consist of multiple images or videos and a sparse set of 3D points obtained by structure‐from‐motion. The last dataset is a dense 3D point cloud acquired by structured light. Our implementation has been made publicly available on the authors' web home pages. Copyright © 2012 John Wiley & Sons, Ltd.     

基于Kohonen神经网络的B样条曲面重构

探讨了三维散乱数据点的自由曲面自组织重构方法。建立了基于自组织特征映射神经网络的矩形网格重构模型及其训练算法。所建模型利用神经元对曲面散乱数据点的学习和训练来模拟曲面上点与点之间的内在关系,节点连接权向量集作为对散乱数据点集的工程近似化并重构曲面样本点的内在拓扑关系。通过该方法不仅能够对无规则散乱数据点进行逼近,并且通过该方法得到的曲面也可以作为后继曲面重构的初始曲面。仿真实验表明,所建神经网络模型可实现三维密集无规则数据点的曲面自组织重构集自压缩于一体。     

激光三维扫描数据的表面重建

对激光三维扫描系统获得的没有任何附加信息的轮廓线点云数据进行处理，首先采用求最大连通域的方法删除噪声点，利用设定相邻点连线夹角正切阈值的方法精简数据，然后采用基于局部切平面簇的方法对数据点云进行切平面的估算、法向量的调整和计算距离函数，用改进的MC方法输出三维网格，并且应用基于顶点的网格删除算法对三维网格进行简化，在估算切平面的时候采用新的估算原则，提高了重建速度，改善了重建效果，所表述的重建流程，成功地解决了激光扫描系统所得轮廓数据点的表面重建问题。     

基于MC的医学三维等值面的平滑与归并

为了提高医学三维图象的重建效果和速度,在对用于构造等值面的MC（Marching Cubes）算法进行分析的基础上,提出了对等值面进行三维空间方向平滑和多边形法形法向归并的方法。等值面方向平滑的方法就是将等值面分解为一个三维坐标场和一个法向矢量场,然后对其法向矢量场作矢量平滑处理;而等值面的多边形法向归并则是根据适当的门限值,将原来由大量小三角面片构成的等值面归并成由较少的多边形面片构成的等值面。实验结果表明,该方法能显著改善三维重建的效果,并能提高三维绘制的速度。