结合卷积神经网络与曲线拟合的人体尺寸测量

目的 人体尺寸测量是服装制作中的一个重要环节。非接触式人体测量具有效率高、方便快捷的优点,但存在测量精准度较低、对设备和外界环境要求高等问题。为进一步改进这些问题,本文基于卷积神经网络建立模型,相继提出人体分割和关键点检测的方法、基于Bezier曲线的人体肩宽测量方法和基于双椭圆拟合的人体围度测量方法。方法 通过摄像头获取人体的正面、侧面及背面图像;利用Deeplabv3+算法对人体图像进行分割获得人体轮廓,利用OpenPose算法对人体关键点进行检测及定位,利用肩部端点处的角度特征并结合人体肩部关节点信息确定肩部端点,利用肩部曲线与Bezier曲线的相似性通过计算肩部Bezier曲线的长度得到肩宽,通过关键点信息确定胸围、腰围及臀围的宽度和厚度,并建立围度曲线的双椭圆拟合模型,采用线性回归法训练得到拟合模型中的参数,最后利用双椭圆拟合曲线的周长得到人体围度。结果 根据本文方法对100位被测者进行肩宽计算,对132位被测者进行人体围度计算,平均绝对误差均在3 cm以内,符合国家测量标准,且整套方法操作方便,结果稳定。结论 实验验证了本文方法在人体尺寸测量中的精度,降低了非接触式人体测量法对外界环境和设备的依赖程度,提高了系统的鲁棒性,为非接触式人体测量走向实用化打下了坚实基础。     

球面全景影像自动测量路灯坐标的方法

目的 针对城市实施的路灯杆编码项目,即获取路灯坐标并依次编号,传统的测量方法耗费大量人力物力,且作业周期长,虽然激光测量精度高,但成本也高。为此本文提出一种将基于深度学习的目标检测与全景量测结合自动获取路灯坐标的方法。方法 通过Faster R-CNN（faster region convolutional neural network）训练检测模型,对全景图像中的路灯底座进行检测,同时输出检测框坐标,并与HOG（histogram of oriented gradient）特征结合SVM（support vector machine）的检测结果进行效果对比。再将检测框的对角线交点作为路灯脚点,采用核线匹配的方式找到两幅图像中一个或多个路灯相对应的同名像点并进行前方交会得到路灯的实际空间坐标,为路灯编码做好前期工作。结果 采用上述两种方法分别对100幅全景影像的路灯进行检测,结果显示Faster R-CNN具有明显优势,采用Faster R-CNN与全景量测结合自动获取路灯坐标。由于路灯底部到两成像中心的距离大小及3点构成的交会角大小对坐标量测精度具有较大影响,本文分别对距离约为7 m、11 m、18 m的点在交会角为0°180°的范围进行量测结果对比。经验证,交会角在30°150°时,距离越近,对量测精度的影响越小。基于上述规律,在自动量测的120个路灯坐标中筛选出交会角大于30°且小于150°,距离小于20 m的102个点进行精度验证,其空间坐标量测结果的误差最大不超过0.6 m,中误差小于0.3 m,满足路灯编码项目中路灯坐标精度在1 m以内的要求。结论 本文提出了一种自动获取路灯坐标的方法,将基于深度学习的目标检测应用于全景量测中,避免手动选取全景图像的同名像点进行双像量测,节省大量人力物力,具有一定的实践意义。本文方法适用于城市车流量较少的路段或时段,以免车辆遮挡造成过多干扰,对于路灯遮挡严重的街道全景,本文方法存在一定的局限性。     

结合极值区域检测的血管内超声图像并行分割

目的 血管内超声（IVUS）图像动脉壁边界分割不仅对血管壁和斑块特征的定量分析至关重要,而且对血管弹性定性分析和重建动脉3维模型也是必需的。针对IVUS图像传统分割方法建模复杂、运算量大且需分别设计算法串行提取内膜和外膜的缺点,本文提出基于极值区域检测的IVUS图像并行分割方法。方法 本文方法包含极值区域检测、极值区域筛选以及轮廓拟合3部分。对单帧IVUS图像提取极值区域,经面积筛选后得到候选区域,并将区域的局部二值模式（LBP）特征、灰度差异和边缘周长的乘积作为筛选矢量在候选区域中提取代表管腔和介质的两个极值区域,并进行轮廓的椭圆拟合化,完成分割。结果 在包含326幅20 MHz的IVUS（intravascular ultrasound）B模式图像的标准公开数据集上,定性展示极值区域轮廓和椭圆拟合轮廓,并与专家手动绘制的结果进行对比;然后使用DC（dice coefficient）、JI（jaccard index）、PAD（percentage of area difference）指标以及HD（hausdorff distance）对本文算法做鲁棒性测试和泛化测试,实验中内膜各指标值分别为0.94±0.02,0.90±0.04,0.05±0.05,0.28±0.14 mm,外膜各指标值分别为0.91±0.07,0.87±0.11,0.11±0.11,0.41±0.31 mm,与相关文献的定量对比实验结果表明本文算法提取的内外膜性能均有所提高。此外,本文方法在临床数据集上的测试效果也很好,与专家手动描绘十分接近。结论 结合极值区域检测的IVUS图像并行分割,算法在精度和鲁棒性方面均得到了改善。     

融合型UNet++网络的超声胎儿头部边缘检测

目的 超声胎儿头部边缘检测是胎儿头围测量的关键步骤,因胎儿头部超声图像边界模糊、超声声影造成图像中胎儿颅骨部分缺失、羊水及子宫壁形成与胎儿头部纹理及灰度相似的结构等因素干扰,给超声胎儿头部边缘检测及头围测量带来一定的难度。本文提出一种基于端到端的神经网络超声图像分割方法,用于胎儿头部边缘检测。方法 以UNet++神经网络结构为基础,结合UNet++最后一层特征,构成融合型UNet++网络。训练过程中,为缓解模型训练过拟合问题,在每一卷积层后接一个空间dropout层。具体思路是通过融合型UNet++深度神经网络提取超声胎儿头部图像特征,通过胎儿头部区域概率图预测,输出胎儿头部语义分割的感兴趣区域。进一步获取胎儿的头部边缘关键点信息,并采用边缘曲线拟合方法拟合边缘,最终测量出胎儿头围大小。结果 针对现有2维超声胎儿头围自动测量公开数据集HC18,以Dice系数、Hausdorff距离（HD）、头围绝对差值（AD）等指标评估本文模型性能,结果Dice系数为98.06%,HD距离为1.21±0.69 mm,头围测量AD为1.84±1.73 mm。在妊娠中期测试数据中,Dice系数为98.24%,HD距离为1.15±0.59 mm,头围测量AD为1.76±1.55 mm。在生物医学图像分析平台Grand Challenge上HC18数据集已提交结果中,融合型UNet++的Dice系数排在第3名,HD排在第2名,AD排在第10名。结论 与经典超声胎儿头围测量方法及已有的机器学习方法应用研究相比,融合型UNet++能有效克服超声边界模糊、边缘缺失等干扰,精准分割出胎儿头部感兴趣区域,获取边缘关键点信息。与现有神经网络框架相比,融合型UNet++能充分利用上下文相关信息与局部定位功能,在妊娠中期的头围测量中,本文方法明显优于其他方法。     

结合全卷积网络和GrowCut的肾皮质分割算法

目的 肾脏图像分割对于肾脏疾病的诊断有着重要意义,临床上通过测量肾皮质的体积和厚度可判断肾脏是否有肿瘤、慢性动脉硬化性肾病和肾移植急性排斥反应等。现有的肾脏分割算法大多针对一种模态,且只能分割出肾脏整体。本文提出一种基于全卷积网络和GrowCut的肾皮质自动分割算法,用于多模态肾脏图像分割。方法 首先用广义霍夫变换对肾脏进行检测,提取出感兴趣区域,通过数据增强扩充带标签数据;然后用VGG-16预训练模型进行迁移学习,构建适用于肾皮质分割的全卷积网络,设置网络训练参数,使用扩充数据训练网络。最后用全卷积网络分割图像,提取最后一层卷积层的特征图得到种子点标记,结合肾脏图像的先验知识纠正错误种子点,将该标记图作为GrowCut初始种子点可实现肾皮质准确分割。结果 实验数据为30组临床CT和MRI图像,其中一组有标记的CT图像用于训练网络并测试算法分割准确性,该文算法分割准确率IU（region intersection over union）和DSC（Dice similarity coefficient）分别达到91.06%±2.34%和91.79%±2.39%。与全卷积网络FCN-32s相比,本文提出的网络参数减少,准确率更高,可实现肾皮质分割。GrowCut算法考虑像素间的邻域信息,与全卷积网络结合可进一步将分割准确率提高3%。结论 该方法可准确分割多模态肾脏图像,包括正常和变异肾脏的图像,说明该方法优于主流方法,能够为临床诊断提供可靠依据。     

应用图像块和全卷积神经网络的肩关节MRI自动分割

目的 MRI正逐步代替CT进行骨头与关节的检查,肩关节MRI中骨结构的精确自动分割对于骨损伤和疾病的度量与诊断至关重要,现有骨头分割算法无法做到不用任何先验知识进行自动分割,且通用性和精准度相对较低,为此提出一种基于图像块和全卷积神经网络（PCNN和FCN）相结合的自动分割算法。方法 首先建立4个分割模型,包括3个基于U-Net的骨头分割模型（肱骨分割模型、关节骨分割模型、肱骨头和关节骨作为整体的分割模型）和一个基于块的AlexNet分割模型;然后使用4个分割模型来获取候选的骨头区域,并通过投票的方式准确检测到肱骨和关节骨的位置区域;最后在检测到的骨头区域内进一步使用AlexNet分割模型,从而分割出精确度在像素级别的骨头边缘。结果 实验数据来自美国哈佛医学院/麻省总医院骨科的8组病人,每组扫描序列包括100片左右图像,都已经分割标注。5组病人用于训练和进行五倍的交叉验证,3组病人用于测试实际的分割效果,其中Dice Coefficient、Positive Predicted Value（PPV）和Sensitivity平均准确率分别达到0.92±0.02、0.96±0.03和0.94±0.02。结论 本文方法针对小样本的病人数据集,仅通过2维医学图像上的深度学习,可以得到非常精确的肩关节分割结果。所提算法已经集成到我们开发的医学图像度量分析平台"3DQI",通过该平台可以展示肩关节骨头3D分割效果,给骨科医生提供临床的诊断指导作用。同时,所提算法框架具有一定的通用性,适应于小样本数据下CT和MRI中特定器官和组织的精确分割。     

慢阻肺患者CT图像中肺内血管分割及定量分析

目的 肺内血管形态结构的改变是慢性阻塞性肺疾病（慢阻肺）的一种重要病理改变。针对慢阻肺中肺血管疾病的定量评估问题,提出一种基于各向异性连续最大流的肺内血管自动分割方法,并定量分析不同半径的肺内血管体积分布,以研究慢阻肺病程中肺血管重塑规律。方法 使用U-Net分割肺体,获取肺脏区域,减少后续血管增强与分割的运算量;借助基于多尺度Hessian矩阵的血管增强方法,获得血管的似然增强结果和轴向方向;将血管似然结果和轴向信息以数据保真项和各向异性正则项的形式融入到连续最大流分割框架,实现肺血管的自动分割。结果 在公开数据集ArteryVein和仿真数据集VascuSynth上对肺内血管分割方法的有效性进行测试;在从4家医院收集的614例临床影像数据上分析小半径血管体积占比情况,对比慢阻肺组与非慢阻肺组之间肺血管重塑差异。肺血管分割方面,对于增加不同程度的高斯噪声（σ=5,10,15,20,25,30,35）的VascuSynth仿真数据,本文方法获得的Dice值分别为0.87,0.80,0.77,0.75,0.73,0.71,0.69;对于低剂量数据集ArteryVein,Dice值为0.79。肺血管定量分析方面,非慢阻肺组和慢阻肺组的小血管体积平均占比值为0.656±0.067,0.589±0.074。不同慢阻肺分级GOLD1—4组小血管占比为0.612±0.051、0.600±0.078、0.565±0.067、0.528±0.053。结论 本文提出的肺内血管算法可以用于肺血管重塑研究,通过实验分析验证了非慢阻肺组与慢阻肺组小血管体积占比存在显著差异;基于慢阻肺分级指数（global initiative for chronic obstructive pulmonary disease,GOLD）的不同慢阻肺病人之间,小血管体积占比在轻症和重症之间也存在显著差异。     

利用运动线索的单目深度测量

目的 传统的单目视觉深度测量方法具有设备简单、价格低廉、运算速度快等优点,但需要对相机进行复杂标定,并且只在特定的场景条件下适用。为此,提出基于运动视差线索的物体深度测量方法,从图像中提取特征点,利用特征点与图像深度的关系得到测量结果。方法 对两幅图像进行分割,获取被测量物体所在区域;然后采用本文提出的改进的尺度不变特征变换SIFT（scale-invariant feature transtorm）算法对两幅图像进行匹配,结合图像匹配和图像分割的结果获取被测量物体的匹配结果;用Graham扫描法求得匹配后特征点的凸包,获取凸包上最长线段的长度;最后利用相机成像的基本原理和三角几何知识求出图像深度。结果 实验结果表明,本文方法在测量精度和实时性两方面都有所提升。当图像中的物体不被遮挡时,实际距离与测量距离之间的误差为2.60%,测量距离的时间消耗为1.577 s;当图像中的物体存在部分遮挡时,该方法也获得了较好的测量结果,实际距离与测量距离之间的误差为3.19%,测量距离所需时间为1.689 s。结论 利用两幅图像上的特征点来估计图像深度,对图像中物体存在部分遮挡情况具有良好的鲁棒性,同时避免了复杂的摄像机标定过程,具有实际应用价值。     

多层语义融合CNN的步态人体语义分割

目的 针对反恐、安防领域利用监控视频进行步态识别时由光照、拍摄角度、遮挡等多协变量引起的轮廓缺失、人体阴影和运算时间等问题，提出了一种基于RPGNet（Regin of Interest+Parts of Body Semantics+GaitNet）网络的步态人体语义分割方法。方法 该方法按照功能划分为R（region of interest）模块、P（parts of body semantics）模块和GNet（GaitNet）模块。R模块提取人体步态感兴趣区域，起到提升算法效率和图像去噪的作用。P模块借助LabelMe开源图像注释工具进行步态人体部位语义标注。GNet模块进行步态人体部位语义训练与分割。借鉴ResNet和RefineNet网络模型，设计了一种细节性步态语义分割网络模型。结果 对步态数据库1 380张图片进行了测试，RPGNet方法与6种人体轮廓分割方法进行了对比实验，实验结果表明RPGNet方法对细节和全局信息处理得都很精确，在0°、45°和90°视角都表现出较高的分割正确率。在多人、戴帽和遮挡条件下，实验结果表明RPGNet方法人体分割效果良好，能够满足步态识别过程中的实时性要求。结论 实验结果表明，RPGNet步态人体语义分割方法在多协变量情况下能够有效进行步态人体语义分割，同时也有效提高了步态识别的识别率。     

深度学习结合影像组学的肝脏肿瘤CT分割

目的 从医学影像中进行肝脏与肿瘤分割是计算机辅助诊断和治疗的重要前提。常见的胸部和腹部扫描成像效果中,图像对比度偏低,边界模糊,需要医生丰富的临床解剖学知识才能准确地分割,所以精确的自动分割是一个极大的挑战。本文结合深度学习与医学影像组学,提出一种肝脏肿瘤CT（computed tomography）分割方法。方法 首先建立一个级联的2D图像端到端分割模型对肝脏和肿瘤同时进行分割,分割模型采用U-Net深度网络框架,在编码器与解码器内部模块以及编码器与解码器层次之间进行密集连接,这种多样化的特征融合可以获取更准确的全局位置特征和更丰富的局部细节纹理特征;同时融入子像素卷积与注意力机制,有利于分割出更加微小的肿瘤区域;接着生成两个用于后处理的学习模型,一个基于影像组学的分类模型用于假阳性肿瘤的去除;另一个基于3D体素块的分类模型用于分割边缘的细化。结果 实验数据来自某医院影像科300个肝癌病例CT,每个序列中的肝脏与肿瘤都是由10年以上的医学专家进行分割标注。对数据进行5倍交叉验证,敏感度（sensitivity）、命中率（positive predicted value）和戴斯系数（Dice coefficient）在验证结果中的平均值分别达到0.87±0.03、0.91±0.03和0.86±0.05,相比于性能第2的模型分别提高了0.03、0.02和0.04。结论 肝脏肿瘤CT的精确分割可以形成有价值的术前预判、术中监测和术后评价,有助于制定完善的手术治疗方案,提高肝脏肿瘤手术的成功率,且该方法不局限于肝脏肿瘤的分割,同样也适用于其他医学影像组织器官与肿瘤的分割。     

Use of discrete gradient operators for the automatic determination of vanishing points: Comparative analysis

Thales’ second theorem can be used for the automatic detection of the vanishing points of an image. This paper explores its reliability and accuracy according to the type of operator used for the detection of edges. An algorithm has been used which processes a photographic image according to the operator selected. The result is a point cloud which is then used to find the desired solution. The comparison between the four discrete gradient operators (Frei-Chen, Prewitt, Roberts and Sobel) has been made taking into account the resolution of the image and the number of vanishing points. The results obtained show that Frei-Chen’s operator shows good performance in determining vanishing points with respect to the spatial X axis, Sobel’s operator is the best for determining the vanishing point with respect to the spatial Y axis, Roberts’ operator gives good results for calculating vanishing points in both spatial axes, and Prewitt’s operator is not appropriate for processing this type of image.     

由灭点进行径向畸变的自动校正

目的镜头畸变影响着3维重建、几何量测等工作的质量。根据图像中的灭点几何约束条件,提出一种根据灭点进行弱径向畸变自动校正方法。方法为避免包含畸变中心参数的非线性模型优化结果的不稳定性,在求解径向畸变系数之后进一步对畸变中心进行优化。首先根据灭点几何约束条件建立关于灭点与径向畸变系数的非线性模型,使用Levenberg-Marquardt(LM)算法估计灭点坐标与径向畸变参数,然后根据质量评价准则对畸变中心和径向畸变系数进一步迭代优化;最后,通过真实图像对该方法的可行性进行分析验证。结果采用不同的数据对径向畸变进行了有效地校正,并采用校正后的数据进行了相机标定,标定结果相对于传统基于非量测校正方法有明显的提高。结论充分利用图像中的灭点属性,提出一种新的镜头径向畸变校正方法。实验结果表明,该方法能够有效地对径向畸变进行校正,并克服了传统基于非量测畸变校正方法的不稳定性。     

显微细胞图像的自动分割

由于细胞组织本身的复杂特性以及显微镜的影响,细胞图像的分割成为图像分割中的一大难题,考虑到边缘检测可以准确的为分割提供边缘点,提出了基于区域一致性测度的边缘检测算法,针对细胞图像的特点,实现其初始轮廓的自动获取,运用活动轮廓模型对初始轮廓进行优化,从而达到在大样本条件下直接对彩色细胞图像自动分割的目的。     

基于彩色形态筛的建筑物主体轮廓提取算法

针对常见的城市建筑物图像,提出了一种由单幅图像自动完成建筑物主体轮廓提取的算法。算法利用基于凸包彩色形态筛的多尺度性,设计了城市建筑物场景贝叶斯概率统计模型,由最大化后验概率(Maximum a pos-terior,MAP)估计消隐点在图像中的投影,利用边缘像素分类的结果获得建筑物的主体轮廓。该算法可用于单幅图像,不需要边缘检测和Hough变换等处理。实验结果证明,通过估计该场景结构可以自动获得消隐点在图像中的投影,进而提取建筑物的平行六面体主体轮廓。     

基于国家标准的三维扫描人体尺寸提取技术

针对人体点云模型特征点和尺寸自动提取的难点问题,提出基于国家标准统计数据的人体关键尺寸提取技术。采用国家标准GB10000 1988《中国成年人人体尺寸》所提供的基础数据划分特征点的搜索域,首先,在搜索域内将坐标值和点到直线投影距离比较相结合来提取人体特征点;然后通过改进的凸壳法计算特征平面轮廓周长进行围度尺寸测量,再利用z坐标差值和两点的距离实现长度尺寸计算。实验表明,该方法受人体体型的影响小,尺寸测量鲁棒性好、计算速度快、精度高。     

形状角计算改进及其在矩形目标识别中的应用

目的 在轮廓特征识别中,形状角理论已经被证明为一种有效方法.形状角的计算精度和时间开销取决于轮廓上各离散点处切线方向的计算效率.现有基于Vialard算法的切线方向计算方法在处理矩形轮廓时步骤烦琐且存在较大的误差,导致使用形状角识别矩形时效率不高.针对此问题,提出一种基于傅里叶拟合的离散点切线方向计算方法.方法 首先对离散点进行极坐标转化,然后使用傅里叶级数拟合整个轮廓,最后再对拟合之后的曲线求导,从而计算出轮廓上各点的切线方向.结果 在本文所给出的实例中,本文方法计算平均耗时为1.5775 s,传统方法平均耗时为156.155 s,且计算结果更加精确.结论 本文方法可以避免Vialard算法及其衍生方法在处理矩形轮廓时产生的过度迭代的问题,时间复杂度降低两个数量级,结果更加准确.最后,将所提的改进形状角计算方法应用矩形轮廓识别中,通过实例分析,验证了该方法的准确性和可靠性.     

结合边缘和区域的活动轮廓模型SAR图像目标轮廓提取

目的 目标轮廓表征了目标形状,可用于目标方位角估计、自动目标识别等,因此提取合成孔径雷达（SAR）图像中的目标轮廓受到了人们的广泛关注。受SAR图像乘性噪声的影响,传统的目标轮廓提取方法应用在SAR图像时失效。针对这一问题,提出一种将基于边缘的活动轮廓模型和基于区域的活动轮廓模型相结合的活动轮廓模型。方法 以真实SAR图像为基础,分析了向量场卷积（VFC）活动轮廓模型以及区域竞争（RC）活动轮廓模型各自的特点和优势,发现这两个模型存在一定的互补性,因此将这两个模型进行了结合,得到了一种新的SAR图像目标轮廓提取方法。结果 基于真实SAR图像的实验结果表明,本文方法能较好地应对SAR图像信噪比较低、目标边缘模糊等特点,能准确地获得SAR图像目标轮廓。结论 本文方法可用于执行实际的SAR图像轮廓提取任务,为后续的SAR图像自动识别和特征级图像融合等任务提供了较为优良的输入信息。     

自适应特征点检测的可见-红外图像配准

目的 针对可见—红外图像之间配准点的数量不足、分布严重不均匀以及配准点之间的错配率高这3个核心问题,提出一种基于自适应特征点检测的可见—红外图像配准方法。方法 本文提出的自适应特征点检测方法,以Harris corner作为基本特征点;以特征点数目与空间分布为检测目标,从而自动地估计合适不同空间位置的特征点的检测阈值。在特征点对匹配中,将梯度方向与互信息相融合有效地添加了相似性函数的空间位置信息。结果 自适应Harris corner检测方法能够有效地提供空间分布均匀、数量充足的特征点。而梯度方向与互信息相融合的相似性匹配函数提高特征点的匹配率20%,降低配准误差50%。结论 本文提出的多传感器图像配准方法能够快速、准确地实现可见光图像与红外图像之间的配准,在CCD-IR图像融合领域具有很好的实用价值。     

基于人脸认知模式的相似脸搜索

目的 人类对人脸认知模式的探索由来已久,并且已经成功应用于美容整形等研究领域。然而,目前在计算机视觉和模式识别领域,计算人脸相似度的方法没有考虑人对人脸的认知模式,使得现有方法的计算结果从人的认知习惯角度来讲并非最佳。为克服以上缺陷,提出一种基于人脸认知模式的相似脸搜索算法。方法 依据人脸认知模式,选取特征点,并计算特征量,构造各面部器官（眼睛、鼻子、嘴巴、脸型）分类模型,即面部器官形状相似性度量模型,并采用圆形LBP算子,计算两幅人脸对应器官的纹理相似度,二者综合作为相似脸搜索的依据。结果 分别用本文方法和代表相似脸搜索最高水平的Face++的方法对80幅正面、中性表情、平视角度拍摄的人脸图像进行测试。本文方法的整体准确率高于Face++方法,其中,TOP1、TOP2最相似搜索结果准确率优势明显,均高出Face++方法12%以上。结论 实验结果表明,本文方法的搜索结果更加符合人脸认知模式,可应用于正面、中性表情、平视角度拍摄的人脸图像的相似脸搜索。此外,还可以将此类基于认知模式的图像搜索思路推广应用于商业领域,如基于图像的相似网购商品搜索等。