基于图像云模型语义标注的条件生成对抗网络

在图像补全技术中,当图像丢失较多信息时,仅凭自身已有的信息很难补全图像.因此,文中使用条件生成对抗网络(CGAN)和多粒度认知相结合的方式研究图像的降噪和补全.首先借助云模型中高斯云变换算法提取无标签图像的多层语义信息,并根据不同层次的语义信息对图像进行不同粒度的分割,同时对已分割图像进行自动语义标注.然后将各粒层图像和其对应的语义信息分别作为CGAN的训练数据,得到图像生成对抗网络模型.最后依据此模型补全图像的缺失信息.实验表明,对于Caltech-UCSD Birds和Oxford-102flowers数据集的图像降噪和图像补全,文中算法取得较好效果.     

基于数据包分析的流媒体多语义流行度模型

流媒体技术和应用的迅猛发展,给网络带宽和系统资源带来了巨大的压力,网络信息的语义深度挖掘和兴趣偏好分析变得越来越重要。提出exUCL网络语义描述模型用于描述网络各层中数据的语义信息,通过对网络节点数据包的分析建立多语义的流媒体资源流行度模型,并采用卡方检验法和真实网络数据验证模型的有效性。该模型对提高流媒体资源的缓存替换算法效率、服务质量等均具有明显作用。     

融合图注意力的摄影测量点云语义分割研究

随着无人机倾斜摄影测量技术的发展,通过密集影像匹配可以快速获得类比激光扫描数据精度的大规模室外点云,但是这些点云存在着不规则、遮挡严重、数据量庞大的特点,同时因为缺乏对象信息无法深入进行语义分析.针对上述问题,本文提出一种融合图注意力的摄影测量点云语义分割方法.首先构建了一种新的图卷积模块,在网络的每一层动态的更新点云局部邻域图,将跨层点描述与上下文特征结合起来并逐层汇聚点云空间潜在语义信息;然后在每个网络层引入通道注意力机制使网络能够自适应学习通道间的权重,并由此建立基于一种新的图注意模块的点云语义分割网络,实现复杂点云的细粒度语义分割.通过在两个公开的室外点云基准数据集上的实验结果表明,该方法能够显著提升网络对局部拓扑特征信息的学习能力,且对复杂场景点云语义分割具有良好的泛化能力.     

SMR:一种支持高维数据KNN查询的P2P语义覆盖网络

高维数据查询处理技术一直是P2P领域的研究热点.现有方法大都存在维护代价大、查询处理性能不高的问题.提出一种有效支持高维数据KNN查询处理的P2P语义覆盖网络--语义多层环SMR(semantic multi-level ring).SMR能够按照语义信息将数据对象和节点划分成多个语义簇,每个语义簇通过维护近邻索引和远端索引将不同层次环中的语义簇相互连接,形成P2P语义覆盖网络.在SMR中,采用一种高效语义簇编码方法将高维语义空间转换成一维编码空间降低了高维空间维护代价.在此基础上,提出一种高效的KNN查询处理算法.基于真实数据集和合成数据集的实验表明,SMR具有良好的查询处理能力、语义簇划分能力和可扩展性.     

语义对等覆盖网中社区结构的发现和评价

最近,通过建立语义覆盖网络来提高大规模分布式网络环境中信息检索服务的性能成为对等计算领域的研究热点.目前,研究者们在语义覆盖协议和搜索算法方面已经做了大量研究,证明了语义覆盖在基于对等网络模型的内容定位应用方面极为有效.然而,分析和评价语义覆盖网络特征的研究工作确非常有限.文中通过建立数学模型和设计启发式回溯-贪婪混合算法、确认了语义覆盖网络的一种主要内在特性——社区结构特性.利用评价模型比较了SemreX语义覆盖网络和Gnutella网络的性能,实验结果显示SemreX覆盖网具有显著的社区结构特征,而Gnutella网络却没有这样的特征.另外,通过分别在两种覆盖网中仿真洪泛协议发现具有显著社区结构特征的覆盖网在内容定位方面效率更高.     

视频描述中全局-局部联合语义生成网络

针对视频描述中语义特征不能兼顾全局概括信息和局部细节信息,影响视频描述效果的问题,提出一种视频描述中全局-局部联合语义生成网络GLS-Net.首先利用全局与局部信息的互补性设计全局和局部语义提取单元, 2个单元采用残差结构的多层感知机(residualmulti-layerperceptron,r-MLP)来增强特征提取效果;然后联合概括性全局语义和细节性局部语义增强语义特征的表达能力;最后将该语义特征作为视频内容编码,提升视频描述模型性能.在MSR-VTT和MSVD数据集上,以语义辅助视频描述(semantics-assistedvideocaptioningnetwork,SAVC)网络为基础进行的实验的结果表明, GLS-Net优于现有同类算法,与SAVC网络相比,准确率平均提升6.2%.     

应用本体解决面向语义的信息集成中的查询处理

面向语义的信息集成中基于Web的查询处理应用本体来解决在多个领域中检索数据可能产生的语义层的异构,对于在统一的用户界面下提交的查询请求,根据语义,从Web上搜索相关领域的信息,最终将结果显示在用户界面上.该过程是通过查询分解、子查询转换、分发子查询和子查询结果收集及语义转换来完成的.同时,考虑到基于Web的信息查询一般要涉及多个分布的数据源,查询的响应时间要依赖于网络的传输速度,一般来讲比较长,还借鉴了缓存系统的思想,在查询处理架构中引入了缓存数据库,有选择地存放最常用的查询信息,以提高整个查询的速度.     

基于FC的航电数字视频传输技术研究

光纤通道音视频协议(FC-AV)定义了视频信息在光纤通道FC网络传输方法,为视频设备之间互连提供一种接口标准,代表航电系统视频信息传输技术的发展趋势.深入研究光纤通道音视频协议的基本原理,基于FPGA实现视频信息采集、容器系统的组织、FC数据帧的组织封装以及显示容器系统显示控制等关键技术,研制一套硬件接口模块,构建一个视频传输网络,验证了基于光纤通道传输图像信息方法,解决图像信息远距离的难题,为航空电子应用光纤通道传输图像信息奠定了基础.     

基于本体的语义检索技术研究与实现

随着网络技术的发展和Internet上信息量的激增,信息检索系统作为网络信息平台的一个重要组成部分,在用户获取准确的网络信息过程之中发挥着重要的作用.传统的检索技术不能对这些信息提供语义级的组织、理解以及处理,寻找新的方法成为目前研究的热点.在现有语义检索方法的基础上,以本体为依据,提出了基于本体的信息检索系统.通过构建领域本体和推理规则,运用Jena实现了语义推理与检索功能,得出潜在的语义查询结果.提高了检索的查全率与查准率.     

TBSN:一种基于分类层次的P2P网络

构建语义覆盖网络是支持基于语义的搜索、提高P2P网络查找性能和可扩展性的重要手段.现有的基于分类层次的P2P语义覆盖网络并不能充分利用分类层次所包含的语义信息,为此提出了一种基于分类层次的P2P网络(TBSN),该网络充分考虑遵循某种分类层次的数据源的特点,能够利用分类层次所包含的语义信息,动态地将peer节点聚簇成不同的语义簇,语义簇之间根据语义关系建立相应的语义路由,从而形成了一种基于语义的P2P网络.每个语义簇由一个super-peer节点和多个peer节点组成,仅负责回答其语义子空间上的查询.查询根据语义首先被路由到可能有结果的语义簇中,然后转发给相关的peer节点,从而减少查询所涉及的节点和消息的数量,提高了网络的性能.实验表明,TBSN网络在查找性能和开销之间取得了良好的平衡,同时较好地保持了语义簇之间的负载平衡和簇中数据之间的语义关系.     

多层视频语义概念分析与理解

基于统计学理论,提出了一种视频多粒度语义分析的通用方法,使得多层次语义分析与多模式信息融合得到统一.为了对时域内容进行表示,首先提出一种具有时间语义语境约束的关键帧选取策略和注意力选择模型;在基本视觉语义识别后,采用一种多层视觉语义分析框架来抽取视觉语义;然后应用隐马尔可夫模型(HMM)和贝叶斯决策进行音频语义理解;最后用一种具有两层结构的仿生多模式融合方案进行语义信息融合.实验结果表明,该方法能有效融合多模式特征,并提取不同粒度的视频语义.     

基于多模态特征的视频密集描述生成方法

根据视频内容自动生成文本序列的密集描述生成融合了计算机视觉与自然语言处理技术。现有密集描述生成方法多强调视频中的视觉与运动信息而忽略了其中的音频信息,关注事件的局部信息或简单的事件级上下文信息而忽略了事件间的时序结构和语义关系。为此,该文提出一种基于多模态特征的视频密集描述生成方法。该方法首先在动作提议生成阶段使用Timeception层作为基础模块以更好适应动作片段时间跨度的多样性,其次在动作提议生成和描述生成两阶段均利用音频特征增强提议和描述生成效果,最后使用时序语义关系模块建模事件间的时序结构和语义信息以进一步增强描述生成的准确性。特别地,该文还构建了一个基于学习场景的视频密集描述数据集SDVC以探究该文所提方法在学习场景现实应用中的有效性。在ActivityNet Captions和SDVC数据集上的实验结果表明,动作提议生成AUC值分别提升0.8%和6.7%;使用真实动作提议进行描述生成时,BLEU_3值分别提升1.4%和4.7%,BLEU_4值分别提升0.9%和5.3%;使用生成的动作提议进行描述生成时,SDVC数据集BLEU_3、BLEU_4值分别提升2.3%和2.2%。     

基于内容的视频分层语义联想模型

提出一种视频的分层语义联想模型,构造三个层次的信息：概念层次树,场景网络和语义对象网络。利用概念层次树来适应不同的应用环境,场景网络表示视频的时间信息,而语义对象及其关系用来表示视频镜头的内容,通过分属不同镜头的语义对象的关系来表示镜头间的语义相关度。该模型采用基于时间和语义关系的检索方法,搜索结果是收敛的。     

基于FC的航电数字视频传输技术研究

光纤通道音视频协议（FC-AV）定义了视频信息在光纤通道FC网络传输方法,为视频设备之间互连提供一种接口标准,代表航电系统视频信息传输技术的发展趋势。深入研究光纤通道音视频协议的基本原理,基于FPGA实现视频信息采集、容器系统的组织、FC数据帧的组织封装以及显示容器系统显示控制等关键技术,研制一套硬件接口模块,构建一个视频传输网络,验证了基于光纤通道传输图像信息方法,解决图像信息远距离的难题,为航空电子应用光纤通道传输图像信息奠定了基础。     

一种基于多模态特征的新闻视频语义提取框架

为提高视频语义信息提取准确率,提出了一种基于多模态特征的新闻视频语义提取框架。在视频中提取主题字幕信息,对音频进行分类和语音识别,根据主题字幕信息借助搜索引擎得到与新闻视频相关的网页;最后利用网页文本对语音识别的结果进行纠错,从而通过视频字幕信息和语音脚本的跨模态融合提高视频语义提取的准确率。在中等规模的新闻视频(含新闻网页)库测试表明了该方法的有效性,经纠错后的语音识别准确率达到了65%左右。     

A Survey of MPEG-1 Audio,Video and Semantic Analysis Techniques

Digital audio & video data have become an integral part of multimedia information systems. To reduce storage and bandwidth requirements, they are commonly stored in a compressed format, such as MPEG-1. Increasing amounts of MPEG encoded audio and video documents are available online and in proprietary collections. In order to effectively utilise them, we need tools and techniques to automatically analyse, segment, and classify MPEG video content. Several techniques have been developed both in the audio and visual domain to analyse videos. This paper presents a survey of audio and visual analysis techniques on MPEG-1 encoded media that are useful in supporting a variety of video applications. Although audio and visual feature analyses have been carried out extensively, they become useful to applications only when they convey a semantic meaning of the video content. Therefore, we also present a survey of works that provide semantic analysis on MPEG-1 encoded videos.     

一种互联网内容安全检测过滤系统*

为了解决互联网上内容安全问题,提出一种互联网内容安全检测系统。该系统包括四层,即网络层、信息识别层、信息流过滤层和内容检测层。网络层中是互联网上通过的文本信息、音频信息以及图像与视频信息等。这一层网络中的信息可以通过网络抓包器来捕获网络数据包,并送给第二层信息识别层进行分类。信息识别层中主要是对从网络上来的信息进行识别,分清楚它们是文本信息、音频信息还是图像及视频信息。信息流过滤层主要任务是对信息识别层传来的信息进行多特征融合判定。对有用的信息进行过滤,对信息的格式进行标准化等。内容检测层是整个系统的核心     

ITPDA算法在构建语义网中的应用

自动获取视频语义信息有助于提高基于内容的视频检索系统的性能。其主要方法之一是利用视频语义网络推理得到视频的语义。为了获得视频语义网络,在传统的三阶段相关性分析算法（TTPDA）的基础上,提出了改进的三阶段相关性分析算法（ITPDA）,用以学习语义概念之间的联系,以便对视频进行语义标注。相比于TTPDA、ITPDA算法的优点是：在无法获得节点的排序或只能获得部分节点排序的情况下,也能较快地学习得到语义网络结构,而且确定语义网中边方向的时间复杂度从TTPDA的O（n⁴）降为O（n²）（其中n是语义网中节点的数目）。实验结果表明：利用ITPDA算法建立语义网是行之有效的,而且在所得到的语义网上进行视频语义标注,其效果优于TTPDA。