一种基于多模态特征融合的骨质疏松评估方法

针对现有骨质疏松评估中诊断依据单一、准确率低的问题,综合考虑骨骼图像数据和问卷数据,首先提出一种基于深度神经网络的多模态特征融合骨质疏松评估方法;然后,针对骨骼图像特征较浅、结构固定的特点,使用Unet进行图像分割预处理,去除冗余信息以提升分类准确性;最后,针对普通卷积操作在把握全局信息方面的不足,提出采用基于non-local模块的卷积神经网络来进一步丰富特征信息.交叉验证结果表明,提出的多模态特征融合方法与仅单独使用图像数据或问卷数据的机器学习方法相比具有明显的优势,分类准确率分别提升了3.2%和22.3%.     

胶质母细胞瘤多模态磁共振图像自动分割

针对大多数传统胶质母细胞瘤（GBM）多模态磁共振（MR）图像分割算法未能将整个肿瘤细分为不同子区域的问题,提出基于混合特征和先验知识的GBM多模态MR图像自动分割算法. 配准GBM多模态MR图像,将头部区域方位调整到近似未旋转位置,并利用N4ITK法进行偏置场校正. 在提取GBM多模态MR图像局部位置特征、强度特征、纹理特征、对称特征和上下文特征后,应用随机森林分类器初步分割GBM多模态MR图像. 考虑GBM肿瘤解剖结构先验知识,移除小区域和中值滤波后得到最终分割结果. 以Dice相似性系数作为评价指标,利用所提出的算法对TCGA-GBM和CH-GBM数据库中整个肿瘤进行分割,获得的平均Dice相似性系数分别为0.871、0.882. 结果表明,该算法能以较高的准确率分割GBM多模态MR图像,适用于临床GBM多模态MR图像分割任务.     

基于卷积神经网络的图像精度深度优化

传统的图像精度深度优化方法优化后的图像精度仍然较差,为此设计一种基于卷积神经网络的图像精度深度优化方法.采用目标监测方法提取图像目标区域特征,对图像的原始特征提取,利用深度学习框架生成多个特征图表示图像信息,并对图像像素集分割,固定待提高精度的图像,利用卷积神经网络修复图像,以实现图像增强,完成基于卷积神经网络的图像精...     

一种两阶段的由粗到细的多模态脑肿瘤分割框架

从核磁共振图像中提取脑肿瘤在临床诊断及手术规划中起到关键作用。该文提出了一种两阶段的由粗到细的自动分割框架对多模态脑肿瘤图像进行分割。该框架分为粗分割及细分割两部分。粗分割部分采用一个深度卷积神经网络对脑肿瘤五分类，生成4种肿瘤组织的粗分割概率图；细分割部分将这些概率图作为掩膜促使卷积网络关注高概率区域。此外，为了减轻数据不均衡，细分割部分采用了双分支输出，一个支输出五分类结果，并采用带掩膜的交叉熵损失函数；另外一个分支输出二分类结果来标记整个脑肿瘤，采用了均方误差。利用BRATS 2015数据集进行验证，结果表明该方法具有很好的效果。     

多模态多维信息融合的鼻咽癌MR图像肿瘤深度分割方法

收集421名鼻咽癌患者头颈部水平位T1加权（T1W）、T2加权（T2W）以及T1增强（T1C）三种模态MR图像,并由2名经验丰富的临床医生对图像中的肿瘤区域进行勾画,将其中346位患者的多模态图像及其标签作为训练集,将剩余75位患者的多模态图像及其标签作为独立测试集;分别构建单模态多维信息融合、两模态多维信息融合以及多模态多维信息融合（MMMDF）的卷积神经网络（CNN）,并对模型进行训练和测试;使用Dice、豪斯多夫距离（HD）与面积差占比（PAD）评估3种模型的性能,结果表明,多模态多维融合模型的性能最优,两模态多维信息融合模型性能次之,单模态多维信息融合模型性能最差. 结果证明,多模态二维与三维特征融合的深度卷积网络能够准确有效地分割鼻咽癌MR图像中的肿瘤.     

基于深度学习的多模态多任务端到端自动驾驶研究

当前端到端自动驾驶系统的研究方法主要是采用图像或图像序列作为输入,使用卷积神经网络直接预测方向盘转角,取得了较好的效果,但仅通过转向命令并不足以完成自动驾驶车辆的控制.为了更好地实现对自动驾驶车辆的横纵向控制,构建基于端到端学习的CNN-LSTM(卷积神经网络-长短时记忆)多模态多任务神经网络模型,将图像、速度序列和方...     

基于标记提取分水岭算法的医学图像分割

针对医学图像分割中分水岭算法的过分割问题,提出了一种改进的基于标记提取的分水岭算法．此算法埘分水岭算法进行厂两点改进：一是在预处理阶段,先对原始图像做腐蚀滤波和膨胀滤波处理,将原始吲像与腐蚀图像相加后减去膨胀图像得到合并图像,再对合并图像做开、闭运算,从而达到滤除原始图像中的噪声和非感知信息、保留原始图像结构信息的目的;二是在分割阶段,对开、闭运算后的图像进行分水岭分割,该分割由形态梯度计算、标记提取和分水岭分割二部分组成．改进后的算法因为无需进行分割后的区域合并处理,降低了分割的复杂性,同时能较好地抑制慨部医学图像中的过分割问题,并把图像中的病变区域有效分割出来．     

基于卷积神经网络的深度线段分类算法

为解决单目图像中冗余像素点不利于深度神经网络快速完成深度信息检测的问题,提出一种基于卷积神经网络的深度线段分类算法。对NYU-Depth数据集使用线段检测算法进行线段检测得到原始图像的线段特征图,通过数据预处理结合深度数据得到表征深度信息的线段集合及其标签,提出适用于线段特征的卷积神经网络,实现单目图像中深度线段的分类。通过在不同线段数目上进行多次多组对比试验,深度线段分类准确率达到73.50%。试验结果证明了利用卷积神经网络实现深度线段分类的可实施性,有助于更好的利用图像几何特征解决深度估计问题。     

基于特征融合的卷积神经网络乳腺癌图像分类

传统乳腺癌图像分类方法需要从医学图像中人工提取特征,不仅需要具备专业医学知识,而且存在耗时费力、提取高质量特征困难等问题.因此,提出了一种基于特征融合的卷积神经网络乳腺癌图像分类方法.首先预训练了两个不同结构的卷积神经网络,然后利用卷积神经网络自动提取特征的特性,将两个结构提取到的特征进行融合,最后利用分类器对融合的特征进行分类;同时,为避免卷积神经网络模型受小样本量限制出现过拟合现象,通过乳腺病变区域提取、区域细化和数据增强等方法对图像进行适当预处理,并通过过采样方法解决了正负样本不平衡的问题.实验结果显示,该方法在乳腺癌图像数据集BCDR-F03上分类AUC达到89%,对乳腺癌图像的分类精度较传统方法有明显提高.     

基于卷积神经网络视觉融合的动态手势识别

为了提高多帧视频序列中动态手势的识别效果,结合计算机视觉分析,提出了基于卷积神经网络视觉融合的动态手势识别方法.采用模糊数据多频谱方法进行多帧视频序列中动态手势视觉图像采集,对采集的图像用Harris角点检测和多传感识别方法进行多模状态分层特征点标定,用卷积神经网络视觉融合方法提取多帧视频序列中动态手势动作的边界轮廓特征点信息,分析多帧视频序列中动态手势的层次化分割特征,用图像分割和边缘信息增强方法,提高动态手势图像的分辨能力,结合角点优化检测技术,用视觉动态跟踪分析实现对手势动作特征点的自动化标定,根据动态手势的帧点分布规则实现多帧视频序列中动态手势动作图像的自适应特征检测和识别.仿真结果表明,采用该方法进行多帧视频序列中动态手势识别的准确性较高、实时性较好.     

多尺度卷积神经网络的单幅图像去雨方法

雨天气会影响户外拍摄图像质量,模糊和覆盖图像信息.为提高受雨天气影响的户外拍摄图像的清晰度,恢复图像特征信息,提高很多计算机视觉算法在雨天气条件下的准确性,提出一种基于多尺度卷积神经网络的单幅图像去雨方法.首先建立多尺度卷积神经网络网络结构,通过多尺度卷积提取图像信息,用于去除雨线和重建图像,然后结合雨线在图像中的低饱和度、高亮度的特征,对网络进行训练,获取网络最优参数值,最终得到可以有效去除雨线的卷积神经网络.实验结果表明:提出的方法相较于现有算法有更好的雨线去除效果,并且可以更好地保持图像的原有信息,避免图像模糊现象.同时,利用多尺度卷积提取图像特征信息可以使特征信息更加丰富,有利于提升卷积神经网络的去雨能力.     

一种多尺度嵌套卷积神经网络模型

卷积神经网络模型要求训练图像与测试图像在空间尺度上一致.为弱化这一限制,对卷积层特征提取器进行多尺度改进,提出了一种尺度不变卷积神经网络模型,以自动适应输入图像在平面空间上的尺度变化.同时,将多层Maxout网络嵌入新模型中,以进一步提高特征提取能力,提高图像识别与分类的准确性.实验测试结果表明,该模型提高了传统卷积神经网络模型的尺度不变性和分类精度.     

一种多视角高精度图片的深度估计方法

针对多视图的重建中高精度图片难以有效重建的问题,提出了基于学习的深度估计方法.该方法利用空洞卷积神经网络对图片进行特征提取,利用长短期记忆网络构建并优化三维代价体,并且采取有监督和无监督2种方式进行训练.在2个真实场景中的多视角图片数据集上的实验结果表明,相比于传统方法和其他基于学习的方法,该网络所需的显存大大减少,因此能用于高精度图片的重建,同时,提高了模型深度预测的准确性和完整性.     

基于卷积神经网络的彩色铅笔画算法

为了解决传统彩色铅笔画算法生成结果单一的问题,提出了一种基于卷积神经网络（CNN）生成彩色铅笔画的算法.采用分数阶微分获取原始图像轮廓信息,用卷积神经网络获取艺术家手绘铅笔画风格,利用直方图匹配获取与手绘铅笔画相似的色调,并使用L-BFGS优化算法来合成具有铅笔画效果的图像.该算法能够生成具有不同风格的彩色铅笔画图像.实验结果表明,该算法生成的图像保留了更多原始图像的细节信息,风格更加灵活多样.     

基于双路式卷积神经网络的车辆与行人检测

针对低能见度状态下对车辆与行人的视觉特征难以提取的问题, 提出一种将2路卷积神经网络融合从而实现对车辆与行人识别的方法。采用高斯背景差分法实现图像去模糊, 在双路网络中分别采用不同尺寸的滤波器, 调整滤波器的大小得到不同环境下图片的特征值, 采用反向传播算法计算梯度。实验结果显示, 与单路式卷积神经网络对比, 在能见度低的环境中, 该方法对车辆的辨识率提高至83.49%, 对行人的辨识率提高至87.36%, 表明在低能见度环境中, 双路式卷积神经网络识别准确率高于单路式卷积神经网络。     

基于CNNs的两次训练融合的分类方法

该文基于卷积神经网络（CNNs）模型，提出一种模型融合的图像分类方法，将原图像经过图像增强和数据标准化后获得的数据作为原始数据，将原始数据取反后作为映射数据，分别使用原始数据和映射数据训练CNNs模型，通过融合训练后的两组CNNs模型获得改进的CNNs模型。通过假设、验证、理论推导步骤证明了该方法在简单模型上的有效性，进而推广到更复杂的卷积神经网络模型。实验结果表明，改进的CNNs模型与原始CNNs模型分类精度对比，在CIFAR-10和CIFAR-100数据集上分别提升了1%和3%，有效提升了模型的分类精度。     

基于PSO-ConvK卷积神经网络的肺部肿瘤图像识别

针对卷积核随机初始化以及梯度下降法训练卷积神经网络易陷入局部最值问题,提出粒子群算法优化卷积核(particle swarm optimization-convolution kernel, PSO-ConvK)的图像识别方法。使用参数迁移法构造卷积神经网络,并提取卷积核,利用PSO不断更新粒子的速度和位置,寻找全局最优值以初始化卷积核,将其传递到卷积神经网络,用肺部肿瘤数据训练卷积神经网络,结合梯度下降法修正网络权重,使得PSO算法的全局优化能力与梯度下降法的局部搜索能力相结合。试验通过批次大小、迭代次数以及网络层数3个角度验证方法的有效性,并与高斯函数优化卷积核进行对比。结果显示, PSO优化卷积核的识别率始终高于随机化卷积核和高斯卷积核,识别率最终达到98.3%,具有一定的可行性和优越性。     

基于像素统计特性及细胞神经网络的运动目标分割

针对动态图像序列中背景成像过程因各种因素而变化存在复杂性，提出了一种基于像素统计特性及细胞神经网络（CNN）的目标分割方法。首先建立图像每一像素点的高斯分布模型，并根据图像序列中的当前帧及历史帧信息自适应地调整模型的参数。然后结合图像的帧间信息将图像从空间域映射到统计域。最后在统计域中用细胞神经网络方法对其进行目标分割。由于CNN是由局部互连的细胞组成，因此易于用VLSI实现。通过对图像像素建立细胞近邻模型，可以获得较强的鲁棒运动目标分割。实验的结果反映了该方法的有效性。     

基于深度卷积神经网络的图像自编码算法

针对目前图像编码的研究工作更加重视信息无损性,而没有体现出社交网络图像区分度的问题,本研究提出一种新颖的基于深度卷积神经网络的社交网络图像自编码算法,将深度卷积神经网络提取特征的能力与社交网络中图像的特点相结合,得到性能良好的图像自编码。结合社交网络图片的特性与聚类算法,先将图片进行聚类得到距离信息,再利用深度卷积神经网络学习图片的距离信息,提取深度卷积神经网络中的全连接层作为编码,重复以上步骤,并得到最终的图像编码。试验结果表明,本研究提出的算法在图像搜索中的效果好于其他算法,更利于在社交网络图像搜索中使用。     

融合特征编码的面部表情编辑技术

为解决当前连续面部表情生成模型易在表情密集区域产生伪影、表情控制能力较弱等问题,该文对GANimation模型进行了研究改进,提高对表情肌肉运动单元AU控制的准确度。在生成器的编码和解码特征层之间引入多尺度特征融合(MFF)模块,以长跳跃连接的方式将得到的融合特征用于图像解码。在生成器的解码部分中加入一层逆卷积,便于MFF模块添加,更加高效合理。在自制的数据集上与原网络进行对比实验,表情合成的准确度和生成的图像质量分别提高了1.28和2.52,验证了该算法在生成图像没有模糊和伪影存在的情况下,面部表情编辑能力得到加强。