跨模态表征与生成技术

多媒体数据持续呈现爆发式增长并显现出异源异构的特性,因此跨模态学习领域研究逐渐引起学术和工业界的关注。跨模态表征与生成是跨模态学习的两大核心基础问题。跨模态表征旨在利用多种模态之间的互补性剔除模态之间的冗余,从而获得更为有效的特征表示;跨模态生成则是基于模态之间的语义一致性,实现不同模态数据形式上的相互转换,有助于提高不同模态间的迁移能力。本文系统地分析了国际与国内近年来跨模态表征与生成领域的重要研究进展,包括传统跨模态表征学习、多模态大模型表示学习、图像到文本的跨模态转换和跨模态图像生成。其中,传统跨模态表征学习探讨了跨模态统一表征和跨模态协同表征,多模态大模型表示学习探讨了基于Transformer的模型研究,图像到文本的跨模态转换探讨了图像视频的语义描述、视频字幕语义分析和视觉问答等领域的发展,跨模态图像生成从不同模态信息的跨模态联合表示方法、图像的跨模态生成技术和基于预训练的特定域图像生成阐述了跨模态生成方面的进展。本文详细综述了上述各个子领域研究的挑战性,对比了国内外研究方面的进展情况,梳理了发展脉络和学术研究的前沿动态。最后,根据上述分析展望了跨模态表征与生成的发展趋势和突破口。     

谈岩板产品

正2019年,岩板如一阵突如其来的暴雨从天而降,国内的很多陶瓷媒体、石材媒体都在大肆宣扬最早来自意大利的陶瓷岩板,随后国内的岩板也立即纷至踏来了,岩板成为了一匹悄然杀入陶瓷业和石材业的黑马。它在这两个市场里横冲直撞、飞蹄狂奔。国内外一些资深的陶瓷业专家议论,未来石材市场有可能50%的市场将被岩板刮分,这是不是有些耸人听闻呢?岩板真的会对石材业构成如此大的威胁吗?岩板     

装饰石材产品检验时应掌握的方法与指标(一)

<正>本文介绍了装饰石材制品的检验,涉及了荒料、毛板、成品板材、异型板材、线条、圆柱、拼花、马赛克、台面板的检验具体内容。其目的是使初学者掌握对装饰石材产品的检验工具、检验方法、指标体系、等级判定的技能,在生产中给予积极主动地应用,可以通过自检互检来控制产品质量,判断产品是否合格,为提高产品质量创造条件。通过本文的学习可以明显提高自己的加工技术水平,防止不合格产品进入下道工序和进入市场。     

石材业对比陶瓷业的差距己见

正每当听到央视一台广告上播放的简一瓷砖的广告词:高档装修,不要用大理石,就用简一大理石瓷砖。心里那个别扭,那个气愤难以言状。虽然"高—简"之争多年,似乎也没阻止央视一台停止播放简一的这个商业广告,天天听到,听到就别扭。但想一想,也令我感叹这并不能责怪简一在贬低石材行业,这么多年来我钦佩陶瓷行业,因为陶瓷行业意识到传统的瓷砖与天然石材之间的天壤之别。因此,知耻奋     

石材行业转型升级路在哪里?

<正>中国这些年石材行业发展迅猛,各地石材企业以前所未有的势头发展,这对石材行业来说是好事,也是坏事。好事是石材行业在发展,坏事是石材行业由于人才的缺乏,管理与技术跟不上,出现了多而不强、散而乱的局面,导致石材行业产品同质化严重,产品质量差,资源浪费严重,环境破坏,人才青黄不     

关联模态补偿的视频动作识别算法

随着深度摄像机的发展,不同模态的视频数据更易获得.基于多模态数据的视频动作识别也受到越来越广泛的关注.不同模态的数据能够从多个角度对视频动作进行描述,如何有效地利用多模态数据并形成优势互补是视频动作识别中的重要方向.提出了一种基于关联模态补偿的视频动作识别算法.该方法以RGB和光流场视频数据为源模态,以3D骨架数据为辅助模态,利用源模态和辅助模态高层特征空间的关联性,补偿源模态的特征提取.该算法基于卷积神经网络和长短期记忆网络,对源模态数据和辅助模态数据进行时空域特征建模.在此基础上,提出了基于残差子网络的模态适应模块,通过统一源模态特征和辅助模态特征的数据分布,实现辅助模态对源模态的特征补偿.考虑到源模态数据和辅助模态数据在动作类别或动作样本等方面存在不同程度的对齐情况,设计了多层次模态适应算法,以适应不同的训练数据.所提算法仅在训练过程中需要辅助模态的帮助,在测试过程中可以仅根据源模态数据进行动作的识别,极大地拓展了该算法的实用性.在通用公共数据集上的实验结果表明,相比于现有动作识别算法,该算法取得了更加优越的性能.     

从深圳地铁用无机人造石质量问题看其改善方向

2020年深圳地铁6号、8号、10号,4号线的延长线下半年相继开通,刚开通不到1个月,我到各条线参观无机石产品装饰效果.我是带着对无机石产品美好愿望和前景的心情去看的,但看了一些站点的实际装饰效果后我失望和叹息了!这些地铁线才营运不到1个月,一些无机石表面就已经变得面目全非、不堪入目了.毫无任何装饰性可言,也根本体现不...     

《中国图象图形学报》低质图像增强专刊简介

<正>计算机视觉在户外交通导航、安防监控、目标检测、医学影像辅助分析、诊断及水下探测、目标识别等领域具有广泛应用。清晰的图像画面对于计算机视觉获取正确的图像信息至关重要。然而在各种复杂成像条件(如雾、霾、沙尘、雨雪等恶劣天气及海洋等弱光低照环境)下,受光照及各种介质的影响,     

基于隐式分段自回归模型的图像插值算法

利用自然图像信号的分段统计稳态性可以有效地对图像信号进行建模.其分段统计稳态区域往往具有非规则的形态.采用规则窗口对图像统计稳态区域内的统计量进行估计存在较大的误差.提出一种基于概率描述的隐式分段自回归模型来刻画分段统计稳态区域形态,并基于该模型提出了一种改进的图像插值算法.实验结果表明,该方法可以较好地改善插值图像中在边缘处的模糊、振铃和噪声等瑕疵现象.     

对石材行业噪声治理的几点看法

这些年,国家及地方政府非常重视劳动职业病的预防,也加大了对易产生劳动职业病的行业检查力度。在某些职业病的预防上取得了较大的成绩,比如尘肺病。但在某职业病上由于技术上涉及的因素太多,问题太复杂,需要通过各方面、各行业通力协作,综合技术措施才可能解决,如果职业噪声耳聋这种职业病,目前似乎没有什么可行性的手段和方法解决。