多模态图像检索技术的研究

随着人类社会的不断进步和信息技术的发展,对智能化设备和技术需求越来越高,为了让计算机更好的理解世界,诞生了计算机视觉这门科学。目前计算机视觉已经遍及生活各个方面,并且在日常生活、医学应用、工业检测等领域中发挥重要的作用。图像纹理是人类观察物体获取的重要信息之一,也是最有感知意义的主要特征。在计算机视觉技术的应用中,图像分析、物体识别等应用都和匹配密切相关。此研究从图像的纹理特征为切入点,研究多模态图像检索技术,讨论纹理特征抽象与图像查询的匹配方法,对跨媒体图像检索技术具有借鉴和指导意义。     

医学口腔图像检索的快速无监督多模态哈希方法

针对医学图像数据检索和存储效率低的问题,提出了一种基于多模态哈希编码的一种简单而有效的快速无监督多模态哈希(FUMH)方法.首先将多模态特征中的判别语义协同保存到哈希码中,构建新的无监督多模态哈希学习模型.然后利用新的无参数多模态二值哈希投影加权方案,自动计算模态组合权值,实现优秀的检索准确性和存储效率.最后通过实验方...     

多模态数据哈希检索方法综述

最近,在多模态数据中进行搜索已经引起了越来越多的关注,能够保持相似性的大规模多模态搜索也在如今的大数据时代尤为重要。文章简要介绍现有的多模态检索的经典方法。不同的表达和模态中的数据最终被映射到一个公共的海明空间,在公共海明空间中,通过异或和位运算操作进行计算,使可以进行有效的搜索。文章还总结了这些方法的改进空间。     

基于概率图模型的多模态数据联合检索算法

为了提高多模态检索的性能,提出一种多模态文档语义生成模型以及基于该模型的多模态数据联合检索算法。多模态文档语义生成模型认为文档中每个模态数据都是由相同的语义概念生成的,并且文档是多个模态数据的联合分布。为了简化模型的求解过程,假设各个模态数据之间的生成过程是相互独立的,于是可以对每个模态的条件概率进行单独计算。在多模态联合检索中,通过计算查询数据和待检索文档的联合概率来计算它们之间的相似度。实验结果表明,提出的方法与两步检索、语义索引和排序学习三种多模态检索方法相比具有更好的检索性能。此外,该方法可以扩展应用到具有三个及以上模态数据的文档联合检索中。     

多模态融合情感分析模型研究

本文提出了一种新颖的多模态情感分析模型。该方法利用发音连续帧上的特定界标的位移来提取发音特征。并分析每个界标时间变量的时间序列。并提取主要的视觉特征,然后将所有特征融合起来,最终构建出特征矢量,以此对情感进行分析。     

多模态自适应特征融合的目标检测

随着深度学习的发展,基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试,但在低光照环境下,检测性能显著下降。为解决此问题,提出了一种基于YOLOv5构建的多模态目标检测网络模型,将RGB图像和热红外图像相结合,以充分利用多模态特征融合信息,从而提升目标检测精度。为了实现多模态特征信息的有效融合,提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息,实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息,从而显著提高检测精度。     

基于多模态融合的社交媒体文本地理位置预测方法

挖掘社交媒体文本的地理位置信息能发现其空间关系,提出了基于多模态融合的社交媒体文本地理位置预测方法,利用文本获取的相关图片作为增强数据,构建图文数据集,以提高地理位置预测的准确性。多模态融合模型分别利用图片通道和文本通道提取两者的地理位置信息。同时,引入图文匹配模块对图文对进行降噪,解决图文不匹配问题。在Geotext数据集上进行的地理位置预测实验结果显示,与基线模型相比,中值误差距离降低了18.8%,平均误差距离降低了4.5%。     

基于松弛Hadamard矩阵的多模态融合哈希方法

哈希作为一种有效的数据表征技术,已经在应对爆炸式增长的多媒体数据中扮演了重要的角色.它由于低存储和高效率的优势,在多媒体检索领域受到了越来越多的关注.目前多模态哈希学习方法在多媒体检索任务中得到了较好的研究和发展.然而,多数的方法通过编码特征的内积重构成对相似度来保持原始数据的结构信息,但是带来较复杂的优化问题.此外一...     

面向媒体融合的新一代媒资系统建设研究

全媒体时代,版权媒资作为传统媒体的重要战略资源和核心竞争力日益受重视,而智能化加持的新一代媒资系统作为融合传播体系建设的关键要素,是打通广电体制壁垒,实现信息资源有序共享的必经之路.本文以新一代媒资系统建设为契机,对系统的建设目标、设计思路以及智能技术应用创新点进行研究探讨.     

基于多模态融合的视觉问答传输注意网络

针对传统视觉问答任务无法完全捕捉多模态特征之间复杂相关性的缺点,文中提出了基于多模态融合的视觉问答传输注意网络。在特征提取部分,分别利用GloVe词嵌入+LSTM提取问题特征,并使用ResNet-152网络提取图像特征。通过3层传输注意网络进行多模态融合来学习全局多模态嵌入信息,进而使用该嵌入重新校准输入特征。文中设计了一个多模态传输注意学习架构,通过对传输网络进行重叠计算,使组合特征聚焦在图像和问题的细粒度部分,提高了预测答案的准确率。在VQA v1.0数据集上的实验结果表明,该模型的总体准确率达到了69.92%,显著优于其他5种主流视觉问答模型的准确率,证明了该模型的有效性和鲁棒性。     

智能媒资检索系统设计与实现*

针对目前媒资管理系统依赖编目信息进行检索而出现的编目信息难以覆盖媒资数据的所有语义内容、由于人的理解不同而导致的编目信息不一致、媒资编目费力费时等问题,设计了不依赖编目信息的基于全文检索、语音识别、人脸识别、关键帧提取等的智能媒资检索系统,对媒资内容自动分析、媒资特征索引、媒资特征检索进行了阐述,并采用基于B/S的分布式架构进行了实现.结果证明,该方案设计具有较高的可靠性和稳定性,在媒资管理中得到了良好的应用.     

内容检索在媒体资产管理中应用的探讨

媒体资产管理系统通常采用文本检索方式检索多媒体音像资料,由于标注工作量巨大,且标注存在不完备和主观性,影响检索效率.基于内容的多媒体检索技术改善了检索效率,在媒体资产管理系统中有着广阔的应用前景.     

广电融媒体智能媒资系统研究

首先分析广电行业融媒体建设的主要内容,其次阐述融媒体智能媒资系统建设中存在的不足,最后重点探究广电媒体智能媒资系统构建的主要途径,以期促进广电媒体行业发展。     

媒资管理系统中新闻节目高效检索的研究

提出了一种基于多特征融合的新闻节目高效检索方法.该方法充分利用媒资管理系统中新闻视频的文字描述和关键帧的图像特征,能够实现视频节目快速、准确的检索,提升新闻检索的性能.将文字描述、人脸和场景图像作为搜索项,通过Fisherfaces和LBP算子相结合的人脸识别算法,以及基于重要性加权的局部直方图匹配算法,实现样例图像与关键帧的匹配.实验结果表明,该方法能够提升媒资管理系统中新闻节目检索的准确度和效率,满足新媒体时代节目快速制作和发布的要求.     

忻州电视台媒体资产管理系统介绍

电视台媒体资产管理系统的应用,可实现节目信息的集中保存和统一管理及节目资料的快捷检索和查询。通过对山西省忻州市广播电视台忻州电视台媒体资产管理系统的介绍,阐述了媒体资产管理系统的应用和特点。     

一种电视台媒体资产管理解决方案

对于电视台，最重要的资产就是历年来积累的视音频多媒体资料。这些资料长期妥善的保存和再利用具有极大的社会效益和经济效益。随着网络化和数字化的发展，媒体资产管理系统成为长期存储、灵活管理、方便引用多媒体资料的一个解决方案，为电视台充分发挥这些视音频资料的实用价值提供了有效的途径。     

高校媒体资产管理系统关键技术的研究与实现

存储和检索是高校媒体资产管理系统的关键技术。重点研究与实现了存储中的基于SAN存储架构、迁移策略和检索中的镜头切换检测提取关键帧等关键技术。     

城市电视台如何建立以媒资管理系统为核心的数字化综合信息平台

随着电视技术的飞速发展，节目的制作、存储、交换、播出等发生了革命性的变革，如何适应发展是必须要考虑的问题。建立以媒资管理系统为核心的数字化综合信息平台的技术、时机已经成熟。给出了建立这一信息平台的设想。     

高校媒体资产管理系统的建设

本文介绍浙江传媒学院校园媒体资产管理系统实验室的建设,阐述校园媒体资产管理系统的功能、设计和特点.     

移动智能终端操作系统安全评估方法

随着移动互联网的发展,移动智能终端成为了访问互联网的主要方式之一。由于移动智能终端的自身能力受限,传统的基本安全防护方法难以直接应用于移动智能终端。文中针对移动智能终端面临的安全问题,结合移动智能终端的自身特性,提出了移动智能终端安全操作系统的评估体系和方法,给出了移动智能终端安全功能的测试过程和方法。此方法具有开销小,安全性高的特点,能够从源头上保证移动互联网的安全。