基于多模态卷积神经网络的脑血管提取方法研究

提出了一种基于多模态的卷积神经网络对脑部CT血管造影图像（CTA）进行分割,从而实现脑血管的单独提取。该方法首先对原始CTA图像进行高斯和拉普拉斯处理, 并将处理后的图像与原始图像共同构成多模态图像作为输入,然后通过多个并行的卷积神经网络对多模态图像进行分割,最终将所有的分割结果通过线性回归进行融合从而提取出脑血管。该文通过一系列的实验不仅证明了卷积神经网络在脑血管分割上的有效性,而且证明了本文所提出方法的分割效果比现有的脑血管分割算法更加出色。     

基于神经网络的水下灵巧手阻抗控制

水下灵巧手抓取物体时,物体与指尖存在力控制问题,但是由于动力学模型、被抓取物体位置和刚度的不确定性,采用传统阻抗控制方法不具有鲁棒性.文中基于位置型阻抗控制方法,提出采用神经网络对手指动力学模型、物体刚度和物体位置误差进行补偿.对补偿策略进行了详细的推导,并通过仿真实验验证了该方法的补偿效果,结果表明基于神经网络的位置型阻抗控制器具有较强的鲁棒性.     

多模态多维信息融合的鼻咽癌MR图像肿瘤深度分割方法

收集421名鼻咽癌患者头颈部水平位T1加权（T1W）、T2加权（T2W）以及T1增强（T1C）三种模态MR图像,并由2名经验丰富的临床医生对图像中的肿瘤区域进行勾画,将其中346位患者的多模态图像及其标签作为训练集,将剩余75位患者的多模态图像及其标签作为独立测试集;分别构建单模态多维信息融合、两模态多维信息融合以及多模态多维信息融合（MMMDF）的卷积神经网络（CNN）,并对模型进行训练和测试;使用Dice、豪斯多夫距离（HD）与面积差占比（PAD）评估3种模型的性能,结果表明,多模态多维融合模型的性能最优,两模态多维信息融合模型性能次之,单模态多维信息融合模型性能最差. 结果证明,多模态二维与三维特征融合的深度卷积网络能够准确有效地分割鼻咽癌MR图像中的肿瘤.     

结合PCM和MIE的多模态图像配准方法

针多模态图像配准问题,提出了一种基于相位一致性模型（PCM）和互信息熵（MIE）的配准方法.通过相位一致性模型同时提取多模态图像的角点和边缘特征,在边缘图上取角点的邻域,依据邻域间互信息熵的最小值在估计区域搜索匹配特征,利用RANSAC算法去除错配,进而确定待配准图像间的变换参数.实验表明：该方法达到了像素级配准精度、求解稳定,对多模态引起的非线性灰度变化、光照变化、噪声等都具有较强的鲁棒性;计算精度较基于同类特征的配准方法高,角点、边缘等几何特征综合运用在多模态图像配准中效果良好.     

基于图像生成的多模态视网膜图像配准方法

针对多模态视网膜的全局粗配准,提出了一种基于图像生成的多模态视网膜配准方法. 不同于当前主流的提取多模态视网膜图像血管再进行配准的方法,使用GAN模型对不同模态的视网膜图像进行像素级映射,再通过特征点匹配的方式计算图像仿射矩阵,实现图像粗配准. 基于彩色眼底图像与荧光素血管造影图像的实验结果表明,该方法与当前主流的视网膜粗配准方法相比,具有快速且鲁棒的优势.     

基于语义增强特征融合的多模态图像检索模型

为了在多模态图像检索任务中建立文本特征与图像特征的相关性，提出基于语义增强特征融合的多模态图像检索模型（SEFM）.该模型通过文本语义增强模块、图像语义增强模块2部分在特征融合时对组合特征进行语义增强.在文本语义增强模块建立多模态双重注意力机制，利用双重注意力建立文本与图像之间的关联以增强文本语义；在图像语义增强模块引入保留强度和更新强度，控制组合特征中查询图像特征的保留和更新程度.基于以上2个模块可以优化组合特征使其更接近目标图像特征.在MIT-States和Fashion IQ这2个数据集上对该模型进行评估，实验结果表明在多模态图像检索任务上该模型与现有方法相比在召回率和准确率上都有所提升.     

面向Web图像检索的语义关联多模态哈希方法

随着计算机网络和多媒体技术的迅猛发展,针对大规模多模态图像检索的需求变得越来越广泛。如何有效解决多模态性,语义鸿沟和大规模性已经成为Web图像检索中的三大重要挑战。最近提出的语义标注和哈希技术可以分别用来解决语义鸿沟和大规模性,但它们无法涵盖目前存在的所有问题。在本文中,我们提出了语义关联多模态哈希用于多模态图像检索,它能够综合语义学习和哈希技术的优点。首先,通过基于图学习的半监督学习来增强训练样本的语义。然后构造所有样本的语义关联并将其保存在哈希函数中。学习出的哈希函数能够将所有模态均映射到统一的哈希空间中,从而支持多模态检索。在两个真实图像数据集上的实验结果证明了所提出方法的检索效果和效率。此外,实验结果也证明学习语义关联能够提高检索效果。     

一种基于多模态特征融合的骨质疏松评估方法

针对现有骨质疏松评估中诊断依据单一、准确率低的问题,综合考虑骨骼图像数据和问卷数据,首先提出一种基于深度神经网络的多模态特征融合骨质疏松评估方法;然后,针对骨骼图像特征较浅、结构固定的特点,使用Unet进行图像分割预处理,去除冗余信息以提升分类准确性;最后,针对普通卷积操作在把握全局信息方面的不足,提出采用基于non-local模块的卷积神经网络来进一步丰富特征信息.交叉验证结果表明,提出的多模态特征融合方法与仅单独使用图像数据或问卷数据的机器学习方法相比具有明显的优势,分类准确率分别提升了3.2%和22.3%.     

融合信息化边界和多模态特征的室内空间布局估计

为感知室内空间布局,提出一种基于信息化边界和多模态特征的场景布局估计方法.首先,采用VGG-16全卷积神经网络预测蕴含空间布局先验的信息化边界图.其次,采用Canny边缘检测和投票策略估计水平和竖直方向消失点,从消失点等角度间隔引出射线细采样信息化边界能量高的区域.接着,采用VGG空间多尺度卷积神经网络估计几何深度和法向特征.然后,积分几何求和候选布局多边形中多模特征描述一元共生,候选布局的表面法向平滑和位置关系确定二元标记约束.最后,采用结构化支持向量机学习模型,最大布局候选得分以推理布局.实验结果表明,与经典方法相比,本估计方法可以有效改善布局的完整度.     

面向多模态数据的混合型FIB

针对未来网络转发信息库（FIB）中多模态数据带来的差异化快速索引、高效存储转发信息和多模态数据最长前缀匹配等问题，设计了一种支持多模态数据索引的混合型FIB，称为Hybrid-FIB.通过对不同类型的数据进行差异化处理，得到可供神经网络模型学习的输入向量，进而训练出能够实现均匀分布的神经网络混合索引模型.为了实现多模态数据最长前缀匹配，在片上静态随机存取存储器中部署两组Hybrid-FIB结构.实验结果表明，该混合型FIB在误判率、存储消耗及吞吐量等方面具备优异性能.     

多模态特征联合稀疏表示的视频目标跟踪

针对复杂跟踪环境下,单模态方法不能很好地跟踪目标的问题,提出了一种基于多模态特征联合稀疏表示的目标跟踪方法。该方法对每个候选样本的多模态特征进行联合稀疏表示,将各模态重建误差之和用于计算候选样本的观察概率,并将具有最大观察概率的候选样本确定为目标。通过与其他一些流行跟踪算法进行对比实验,结果表明本方法在遮挡、光照变化等场景下均能可靠跟踪,具有更好的跟踪效果,从而验证了方法的可行性。     

基于深度学习的多模态多任务端到端自动驾驶研究

当前端到端自动驾驶系统的研究方法主要是采用图像或图像序列作为输入,使用卷积神经网络直接预测方向盘转角,取得了较好的效果,但仅通过转向命令并不足以完成自动驾驶车辆的控制。为了更好地实现对自动驾驶车辆的横纵向控制,构建基于端到端学习的CNN-LSTM（卷积神经网络-长短时记忆）多模态多任务神经网络模型,将图像、速度序列和方向盘转角序列作为输入,从而同时预测车辆的方向盘转角和速度值。在搭建的基于GTAV（Grand Theft Auto V, 侠盗猎车5）仿真平台数据集和真实场景数据集上进行实验和测试,实验结果表明模型能够较好地完成车道保持的驾驶行为和基本实现自动驾驶避障测试。     

配置机械手的轮式移动机器人目标物体跟踪与抓取

针对配置机械手的室内轮式移动机器人目标物体识别、跟踪和抓取问题,采用一种目标物体识别和机器人定位的方法,利用一种基于模糊控制的轮式移动机器人视觉伺服跟踪控制的方法。针对机器人目标识别跟踪及抓取过程中受环境条件变化的影响,采用HSI颜色模型和基于阈值的区域分割的图像处理方法可以完成目标颜色物体的快速准确识别。基于云台摄像机角度信息的机器人小车目标定位方法和模糊控制理论,设计了模糊跟踪控制器,使机器人输出合适的线速度和角速度,能够实现机器人目标跟踪,使移动机器人趋近目标物体位置,并完成机械手目标物体抓取任务。仿真和实时实验结果表明：所设计的系统具有良好的目标物体识别、跟踪和准确抓取目标的能力。     

概念整合视角下多模态隐喻的意义构建研究——以野生动物保护公益广告为例

以Fauconnier和Turner的概念整合理论为基础,选取典型的野生动物保护公益广告隐喻进行个案解析,探索该语类中多模态隐喻意义构建过程。研究表明在野生动物保护公益广告中,主要通过颜色,文字和图像协同参与多模态隐喻意义构建,而概念整合理论通过整合模型能够更有力的阐释多模态隐喻意义的动态构建。     

一种未知光源参数的明暗恢复形状方法

针对传统SFS(shape from shading)必须已知光源参数的缺陷，提出了一种新的使用神经网络恢复单幅未知光源参数环境中物体三维形状的方法。该算法利用前向神经网络的非线性映射能力，建立了物体表面形状和其对应的图像灰度值之间的非线性关系，所得权值可视为环境光源参数，由此得出反射图函数。基于该反射模型，物体表面高度值通过迭代的方法求得，并使用多分辨率分级实现SFS算法以减小算法复杂度。实验结果表明该算法对于无光源环境，能给出有效的恢复结果。相比传统算法，精度提高了约29％。     

视频广告中多模态的隐喻认知建构——以香奈儿可可小姐香水广告为例

在认知语言学隐喻认知角度分析广告文本研究的基础上,本文加入了多模态的分析方法,认为图像、声音等模态的引入使从隐喻角度分析视频广告成为可能。文章通过对视频广告香奈儿可可小姐香水广告的多模态隐喻认知分析,证明了该分析方法是一种有效的了解动态文本认知建构过程的方法。     

基于前馈径向基网络的动态抓取参数估计方法

针对机器人抓取非匀速运动物体过程中需要估计目标运动参数的问题,提出一种基于前馈径向基网络的物体运动参数估计方法．该方法首先采用核相关滤波算法实时跟踪目标位置,建立目标的运动模型;然后,通过径向基网络预测目标的运动参数,动态调整卡尔曼滤波运动估计方程的采样时间,大幅降低了计算耗时,同时提高了机器人对运动参数估计的准确性;最后,利用UR5机器人开展了抓取平面自由运动物体的实验．结果表明,与前馈感知机网络相比,所提出方法将抓取所需的时间缩短了20%,能较好地解决机器人抓取物体过程中,由于物体运动或方向变化造成的抓取失败问题．     

基于多模态的音乐推荐系统

使用传统协同过滤的方式进行推荐往往会忽视音乐底层特征.通过将音乐的音频特征与歌词信息进行多模态融合,并将融合后的特征信息作为协同过滤推荐的补充,提出了一种基于多模态的音乐推荐系统.主要探讨了音频特征与歌词信息的提取,并在提取歌词信息时利用LDA主题模型进行特征降维.针对多模态融合问题,使用一种特征级联早融合法(EFFC)融合方式,并将多模态融合后的结果与单模态结果进行了比较.对于结果的推荐,以多模态特征信息为依据建立用户兴趣模型,并将该模型通过LSTM神经网络,以过滤与优化协同推荐的用户组.结果表明,基于多模态的音乐推荐系统将推荐结果的误差项平方和(SSE)由传统的2. 009降至0. 388 6,验证了该方法的有效性.     

基于kinect的物体抓取场景认知

针对RoboCup竞赛家庭组比赛对物体抓取的要求,研究了物体抓取场景认知问题。设计了一种基于kinect的物体抓取场景认知系统。先将kinect传感器得到的深度图像转换为3维(3D)点云图,然后计算每个3D点所在曲面的局部法向量,再根据法向量和距离特征分割提取出水平桌面;采用3D点与水平桌面的位置关系分离出潜在的抓取物体目标点,选择随机抽样一致(RANSAC,Random Sample Consensus)算法完成圆柱形抓取物体的定位。使用实验室采集的场景深度图对认知系统进行测试。结果表明,设计的系统可以可靠提取水平桌面和桌面上的圆柱形物体,可以达到物体抓取比赛的要求。     

视频广告中多模态的隐喻认知建构

在认知语言学隐喻认知角度分析广告文本研究的基础上，本文加入了多模态的分析方法，认为图像、声 音等模态的引入使从隐喻角度分析视频广告成为可能。文章通过对视频广告香奈儿可可小姐香水广告的多模态隐 喻认知分析，证明了该分析方法是一种有效的了解动态文本认知建构过程的方法。