一种残差置乱上下文信息的场景图生成方法

场景图在视觉理解中有着很重要的作用.现有的场景图生成方法对于主语、宾语以及主宾语间的视觉关系进行研究.但是,人类通过空间关系上下文、语义上下文和目标之间的互动信息来进行关系的理解和推理.为了获得更好的全局上下文表示,同时减少数据集偏差的影响,提出了一个新的场景图生成框架RSSQ(residual shuffle sequence model).该框架由目标解码、残差置乱和位置嵌入3部分构成.残差置乱模块由随机置乱和残差连接的双向LSTM的基本结构叠加而成,利用迭代方式实现随机打乱双向LSTM的隐藏状态以减少数据集偏差影响,利用残差连接提取共享的全局上下文信息.在位置嵌入模块中,通过对目标的相对位置和面积比例的编码则可以增强目标对之间的空间关系.在数据集Visual Genome的3个不同层次子任务的实验中,证明了提出的RSSQ方法因全局上下文改善和空间关系增强,在Recall@50和Recall@100指标评价下,相对于现有方法能生成更好的场景图.     

结合外部知识库与适应性推理的场景图生成模型

为在场景图生成网络中获得重要的上下文信息,同时减少数据集偏差对场景图生成性能的影响,构建一种基于外部知识库与适应性推理的场景图生成模型。利用结合外部知识库的目标检测模块引入语言先验知识,提高实体对关系类别检测的准确性。设计基于Transformer架构的上下文信息提取模块,采用两个Transformer编码层对候选框和实体对关系类别进行处理,并利用自注意力机制分阶段实现上下文信息合并,获取重要的全局上下文信息。构建特征特殊融合的适应性推理模块,通过软化分布并根据实体对的视觉外观进行适应性推理关系分类,缓解实体对关系频率的长尾分布问题,提升模型推理能力。在VG数据集上的实验结果表明,与MOTIFS模型相比,该模型在谓词分类、场景图分类和场景图生成子任务上的Top-100召回率分别提升了1.4、4.3、7.1个百分点,对于多数关系类别具有更好的场景图生成效果。     

基于均匀置乱的图像位置置乱衡量方法

由于图像置乱分成位置和像素值置乱两类,图像置乱衡量也从这两方面进行分析。目前基于像素值的衡量效果依赖于原始图像,存在局限性;基于位置的衡量随着置乱距离的不同效果也有很大偏差,同样存在局限性。从图像位置置乱的实质出发,提出均匀置乱的概念,从偏离度和均匀度的角度对图像位置置乱效果进行衡量。通过对大量实验结果的分析得出,该衡量算法可以准确地衡量图像置乱程度,与人的视觉评价保持一致,具有可行性和有效性。     

基于增强语义信息理解的场景图生成

场景图生成（SGG）任务旨在检测图像中的视觉关系三元组,即主语、谓语、宾语,为场景理解提供结构视觉布局。然而,现有的场景图生成方法忽略了预测的谓词频率高但却无信息性的问题,从而阻碍了该领域进步。为了解决上述问题,提出一种基于增强语义信息理解的场景图生成算法。整个模型由特征提取模块、图像裁剪模块、语义转化模块、拓展信息谓词模块四部分组成。特征提取模块和图像裁剪模块负责提取视觉特征并使其具有全局性和多样性。语义转化模块负责将谓词之间的语义关系从常见的预测中恢复信息预测。拓展信息谓词模块负责扩展信息谓词的采样空间。在数据集VG和VG-MSDN上与其他方法进行比较,平均召回率分别达到59.5%和40.9%。该算法可改善预测出来的谓词信息性不足问题,进而提升场景图生成算法的性能。     

基于图像二级置乱的信息隐藏技术

随着计算机网络及各种数字作品制作技术的迅速发展，信息隐藏技术越来越受到人们的关注。本文在分析了已有置乱方法优缺点的基础上，提出了图像的二级置乱法。它改进了原有方法中变换矩阵的形式，分别对原始图像的位置和灰度级进行不同类型的置乱，既改变了图像的纹理信息又改变了图像的统计特性，使其仅经过一次迭代就可以达到满意的效果。与其他方法相比，其计算量相对较小，且增强了图像的保密性，提高了保密信息的迷惑性，减小了攻击者的注意力。通过仿真实验证明，该方法具有较好的实用性。     

图像置乱的相对置乱度评价方法

定义了衡量图像置乱效果的标准,拓展了衡量图像置乱效果的方法,且填补了对该方法进行系统评价的空缺.首先结合混沌理论、熵的概念及图像自身属性,定义了乱图像的标准,并给出一幅趋于这个标准的乱图像生成方法及过程;在定义与生成标准乱图像的基础上,进一步明确提出了评价图像置乱效果的相对置乱度的计算方法.对这种方法进行了全面的测试,实验结果表明,该方法具有相应的灵敏度、可用性和适应性.最后也探讨了对图像置乱效果计算方法进行评价的框架.     

图注意力网络的场景图到图像生成模型

目的 目前文本到图像的生成模型仅在具有单个对象的图像数据集上表现良好，当一幅图像涉及多个对象和关系时，生成的图像就会变得混乱。已有的解决方案是将文本描述转换为更能表示图像中场景关系的场景图结构，然后利用场景图生成图像，但是现有的场景图到图像的生成模型最终生成的图像不够清晰，对象细节不足。为此，提出一种基于图注意力网络的场景图到图像的生成模型，生成更高质量的图像。方法 模型由提取场景图特征的图注意力网络、合成场景布局的对象布局网络、将场景布局转换为生成图像的级联细化网络以及提高生成图像质量的鉴别器网络组成。图注意力网络将得到的具有更强表达能力的输出对象特征向量传递给改进的对象布局网络，合成更接近真实标签的场景布局。同时，提出使用特征匹配的方式计算图像损失，使得最终生成图像与真实图像在语义上更加相似。结果 通过在包含多个对象的COCO-Stuff图像数据集中训练模型生成64×64像素的图像，本文模型可以生成包含多个对象和关系的复杂场景图像，且生成图像的Inception Score为7.8左右，与原有的场景图到图像生成模型相比提高了0.5。结论 本文提出的基于图注意力网络的场景图到图像生成模型不仅可以生成包含多个对象和关系的复杂场景图像，而且生成图像质量更高，细节更清晰。     

图像置乱程度的衡量方法

图像置乱变换是信息隐藏和图像加密常用的方法,如何衡量一种置乱变换的好坏,是研究的热点和难点问题。基于置乱前后位置变化的方法可以作为一个衡量的标准,但是位置变化并不能代表像素点值的改变,而且把图像作为一个整体来考虑也会产生一些偏差。为了克服这个缺点,提出了一种基于各点相关性的图像置乱程度衡量方法,主要是通过比较置乱前后每个点与其相邻点相关性的差异来进行衡量。由Matlab仿真结果表明,该方法可以很好地衡量图像置乱次数与置乱效果的关系,而且与人类的视觉具有比较好的一致性。     

视频信息隐藏的置乱策略与方法

随着网络和多媒体技术的飞速发展,视频数据的安全问题越来越突出。深入探讨了视频数据在空域、频域以及运动矢量上的置乱策略与方法。对如何提高置乱方法的安全强度,以及如何降低置乱对编码效率与视频图像质量的影响进行了详细分析,提出了置乱应遵循的原则。在此基础上,改进现有的算法,并通过实验进行了验证。实验结果表明,基于频域与运动矢量相结合的视频置乱策略与方法具有更强的安全性。与传统数据加密方法不同,置乱方法能够与视频编解码进行紧密的结合。     

一种改进的数字图像置乱方法

图像置乱技术利于图像的保护,有效地保护数字图像内容为目的,结合Rijndael算法理论,提出了一种新的图像置乱算法.算法在原Rijndael算法的密钥扩展方案上进行了改进,综合运用了像素值置乱、像素位置乱、块置乱等技术,增强了图像置乱的效果.同时,算法改进了种子密钥的长度策略,使其与待加密图像的像素个数相等,以便适应于各种尺寸的数字图像,并有效提高了算法执行效率.采用图像相似度和图像直方图的评价方法对置乱的效果进行仿真计算.计算机仿真结果表明,与传统方法相比,算法对图像置乱简单高效,达到了很好的效果.     

基于场景图的段落生成序列图像方法

通过生成对抗网络进行段落生成序列图像的任务已经可以生成质量较高的图像.然而当输入的文本涉及多个对象和关系时,文本序列的上下文信息难以提取,生成图像的对象布局容易产生混乱,生成的对象细节不足.针对该问题,文中在Sto-ryGAN的基础上,提出了一种基于场景图的段落生成序列图像方法.首先,通过图卷积将段落转换为多个场景图,...     

基于图神经网络和引导向量的图像字幕生成模型

近年来,深度学习已在图像字幕技术研究中展现其优势。在深度学习模型中,图像中对象之间的关系在图像表示中起着重要作用。为了更好地检测图像中的视觉关系,本文基于图神经网络和引导向量构建了图像字幕生成模型（YOLOv4-GCN-GRU, YGG）。该模型利用图像中被检测到的对象的空间和语义信息建立成图,利用图卷积神经网络（Graph convolutional network, GCN）作为编码器对图的每个区域进行表示。在字幕生成阶段,额外训练一个引导神经网络来产生引导向量,从而辅助生成模型自动生成语句。基于MSCOCO图像数据集的对比实验表明,YGG模型具有更好的性能,将CIDEr-D的性能从138.9%提高到了142.1%。     

一种基于知识图谱的威胁路径生成方法

威胁路径分析是网络安全评估的重要组成部分,传统的基于攻击图的威胁路径生成方法无法有效整合多源信息,在大规模网络上可扩展性较差,难以适应网络攻防态势快速变化.针对以上问题,提出基于知识图谱的威胁路径生成方法.首先构建网络安全本体模型,通过本体建模领域概念及关系,关联整合多源信息;以本体为基础构建知识图谱,在图数据库存储知...     

基于模型的图形用户界面事件交互图生成方法

用户界面(GUI)测试是一项很困难的工作,一个重要的原因是背景事件会影响测试结果,基于模型的图形用户界面测试技术可以解决这个问题。目前基于模型的图形用户界面测试技术有两种常用的GUI模型:事件流图(EFG)和事件交互图(EIG)。这两种模型可以表示GUI事件之间的交互关系,其中EIG是从EFG转换而来的。通过一个简单的GUI实例对GUI中的事件进行了明确的划分,并且为适应文中的划分事件改进了原有的MX算法。最后根据GUI的事件驱动性和对GUI事件的划分提出了一种由EFG转换成EIG的新方法:驱动算法。实例表明,此方法使EFG转换成EIG的过程更简单。     

基于Rete算法的攻击图构建方法

针对现有攻击图构建方法适用的网络规模受限的问题,通过分析现有方法存在的缺陷及构建过程中的特点,使构建攻击图转化为威胁行动属性之间的模式匹配,将Rete引入到攻击图构建过程中,提出基于Rete的攻击图构建方法。实验结果表明,该方法具有较好的构建效率,能够适用于大规模网络的攻击图构建。     

一种基于场景图分割的混合式多视图三维重建方法

针对大范围三维重建, 重建效率较低和重建稳定性、精度差等问题, 提出了一种基于场景图分割的大范围混合式多视图三维重建方法.该方法首先使用多层次加权核K均值算法进行场景图分割; 然后,分别对每个子场景图进行混合式重建, 生成对应的子模型, 通过场景图分割、混合式重建和局部优化等方法提高重建效率、降低计算资源消耗, 并综合采用强化的最佳影像选择标准、稳健的三角测量方法和迭代优化等策略, 提高重建精度和稳健性; 最后, 对所有子模型进行合并, 完成大范围三维重建.分别使用互联网收集数据和无人机航拍数据进行了验证, 并与1DSFM、HSFM算法在计算精度和计算效率等方面进行了比较.实验结果表明, 本文算法大大提高了计算效率、计算精度, 能充分保证重建模型的完整性, 并具备单机大范围场景三维重建能力.     

基于时序关系的系统失效可达图生成方法

针对状态事件故障树生成系统可达图过程中存在的状态空间爆炸问题,提出了一种基于时序关系的系统失效可达图生成方法。通过分析触发和被触发类型事件的时序关系,对存在时序关系的事件进行排序,根据时序关系获得系统构件间的所有不可同时到达状态对,对构件间的可同时到达状态建立笛卡尔积,获得系统的所有可同时到达状态对,根据连接表和最小割集获得系统失效的状态可达图,从而有效解决系统失效可达图生成过程中存在的状态空间爆炸问题。应用基于时序关系的系统失效可达图方法生成鱼攻系统失效可达图,实验结果 验证了该方法的可行性与稳定性; 同时也为表明其能有效地缓解状态空间爆炸问题,为状态事件故障树生成系统可达图提供了一种新的方法。     

基于贪心策略的网络攻击图生成方法

网络攻击者总是希望更快地渗入网络内部,能够直接访问更加重要的主机,获得更高的主机访问权限。基于这一前提,分析各种网络攻击过程中的贪心策略,并建立相应的模型,应用这些贪心策略约束攻击图的生成过程。实验结果表明,生成的攻击图的规模明显减小,且没有丢失重要的网络攻击路径,同时改善了攻击图的可视化效果。