多模态自适应特征融合的目标检测

随着深度学习的发展,基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试,但在低光照环境下,检测性能显著下降。为解决此问题,提出了一种基于YOLOv5构建的多模态目标检测网络模型,将RGB图像和热红外图像相结合,以充分利用多模态特征融合信息,从而提升目标检测精度。为了实现多模态特征信息的有效融合,提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息,实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息,从而显著提高检测精度。     

多模态特征融合的人脸活体检测算法

针对人脸识别技术应用中,使用人脸图像或虚拟人脸等技术手段欺骗识别系统进而降低系统安全性的问题,提出了一种多模态特征融合的人脸活体检测算法.该算法将人脸的RGB图、深度图和红外图分别输入到3个相同的残差网络结构中提取特征;通过基于通道注意力机制的方式对3个模态的特征图进行融合;对融合特征做出决策.在CASIA-SURF数...     

网络安全态势评估和预测的新进展

网络安全态势的研究是动态地认识大规模分布式网络安全的信息安全新热点之一.由于大规模网络的复杂性,及对网络整体安全越来越高的要求,常规的安全解决方案不能较好地完成保障网络安全的任务.网络安全态势的研究将解决这一问题,使网络安全整体上得以保障.本文首先从网络安全态势研究内容的角度,指出了其研究的难点,接着探讨了现有的网络安全态势研究的框架和思路,然后比较了典型的网络安全态势评估和预测的模型,最后总结了网络安全态势的最新研究成果,并指出了网络安全态势值得深入研究的方向.     

多模态神经网络的网络舆情大数据特征识别

传统网络舆情大数据特征识别方法所构建的演化模型损失值偏高,导致识别结果属性不一致,因此提出基于多模态神经网络的网络舆情大数据特征识别方法.布设网络舆情大数据情感维度空间,在该空间中分析网络舆情在三个阶段的演化规律,以此构建网络舆情大数据演化模型.采用多模态神经网络进行模型演化结果学习,识别具有相同属性的网络舆情大数据特...     

基于多模态融合的视觉问答传输注意网络

针对传统视觉问答任务无法完全捕捉多模态特征之间复杂相关性的缺点,文中提出了基于多模态融合的视觉问答传输注意网络。在特征提取部分,分别利用GloVe词嵌入+LSTM提取问题特征,并使用ResNet-152网络提取图像特征。通过3层传输注意网络进行多模态融合来学习全局多模态嵌入信息,进而使用该嵌入重新校准输入特征。文中设计了一个多模态传输注意学习架构,通过对传输网络进行重叠计算,使组合特征聚焦在图像和问题的细粒度部分,提高了预测答案的准确率。在VQA v1.0数据集上的实验结果表明,该模型的总体准确率达到了69.92%,显著优于其他5种主流视觉问答模型的准确率,证明了该模型的有效性和鲁棒性。     

基于多源数据融合的网络安全态势评估方法研究

针对层次分析法进行网络安全态势评估存在主观性过强的问题,文中提出了一种基于Hadoop的网络安全态势评估算法。该算法采用Hadoop作为并行数据融合平台,使用LSTM作为多数据特征提取算法。为了弥补分类功能的缺陷,通过随机森林模型增强算法的分类性能,最后将LSTM随机森林算法部署在Hadoop集群中,完成多源数据的融合。实验结果表明,相较于其他算法,所提算法的预测性能更强、误差更小,从而进一步提升了网络安全态势评估的精度。     

全局卷积与亲和度融合的多模态特征蒸馏情感识别方法

为提升人机交互时的用户体验以及满足多元化用途的需求,交互设备正逐步引入情感智能技术,其中,实现产业和技术有效融合的前提是可以对人类情感状态进行正确的识别,然而,这仍然是一个具有挑战性的话题。随着多媒体时代的快速发展,越来越多可利用的模态信息便逐步被应用到情感识别系统中。因此,本文提出一种基于特征蒸馏的多模态情感识别模型。考虑到情感表达往往与音频信号的全局信息密切相关,提出了适应性全局卷积（Adaptive Global Convolution, AGC）来提升有效感受野的范围,特征图重要性分析（Feature Map Importance Analysis,FMIA）模块进一步强化情感关键特征。音频亲和度融合（Audio Affinity Fusion, AAF）模块通过音频-文本模态间的内在相关性建模亲和度融合权重,使两种模态的情感信息得到有效融合。此外,为了提升模型泛化能力,有效利用教师模型中概率分布所携带的隐藏知识,帮助学生模型获取更高级别的语义特征,提出了在多模态模型上使用特征蒸馏。最后,在交互式情感二元动作捕捉（Interactive Emotional Dyadic Mot...     

移动设备生物特征识别多模态融合标准研究及展望

针对用于移动设备的生物特征识别多模态融合技术框架不统一以及标准缺失的问题,提出了多模态融合的分类、层级以及标准统一技术框架。首先分析国内外与移动设备生物特征识别相关的标准化现状;其次研究移动设备生物特征识别标准的本地识别以及远程识别应用模式,分析提出多特征、多算法、多实例、多传感器4种多模态融合分类方法,研究并提出样本级融合、特征级融合、分数级融合和决策级融合4种多模态融合的层级,并且提出用于移动设备的生物特征识别多模态融合标准技术框架;最后对移动设备生物特征识别多模态融合技术应用进行展望。     

应用于网络态势感知的安全数据聚合分析

为了处理异构网络安全设备产生的海量报警数据,提出一种基于加权DS证据理论和FCM的安全数据聚合算法.首先利用网络安全设备的权重以及对不同攻击的置信度信息,运用DS证据理论对报警数据进行初步融合,然后借助FCM的模糊推理能力对数据进行全局融合,克服了漏报率高的缺陷,曾强了系统处理复杂攻击的能力.     

基于神经网络的数据融合方法

作为一种新的方法体系,人工神经网络具有分布并行处理、非线性映射、自适应学习、较强的鲁棒性和容错等特性,这使得它在模式识别、控制优化、智能信息处理以及故障诊断等方面都有广泛的应用。本文对BP神经网络模设计、建立及训练进行了深入的讨论,研究了基于BP神经网络的数据融合的优缺点。     

基于多特征的视频内容安全过滤方法

应国家对视频网站加强有序管理的迫切要求,文中应用一种基于多模态特征的网络视频分类方法,实现对网络视频的安全监管。该方法对从网络视频中提取三大类的视频特征,分别针对音频特征、运动和颜色以及空间和时间特征,递进地对视频进行过滤。通过对视频中不良场景的定义,包括恐怖、暴力和色情语义,以检测网络视频内容中潜在的不良信息,实验证明该方法有效地提高了不良视频检测和分类的准确率。     

基于RBF神经网络的空袭目标威胁评估模型研究

为了辅助作战指挥员对空袭目标威胁程度做出正确判断,对作战提供正确决策,将径向基函数（RBF）神经网络应用于防空指挥控制系统中,给出了涉及空袭目标威胁评估的因素及其数学模型,建立了基于RBF神经网络的空袭目标威胁评估算法。同时,通过专家给出的训练样本在Matlab环境下对该模型进行了仿真计算,结果表明该模型方法评估结果准确、快速。     

网络安全态势的云预测

针对现有网络安全态势预测算法存在的主观因素影响较大、预测结果与选取数据关联程度较高的情况,以云的网络安全态势预测规则挖掘算法为基础,提出了一个改进算法。该改进算法不仅拥有原挖掘算法无需对初始数据进行预先处理的优点,同时避免了预测规则与实际情况相孤立造成预测错误的情况,并通过实验验证了算法的可行性和有效性。基于云的网络安全态势预测改进算法,有效地提高了网络安全态势预测的准确性。     

网络安全态势量化评估模型研究

对网络对抗过程进行抽象描述是网络安全态势评估量化、提高攻击预测能力和防御主动性的必要基础。由于网络状态及信息获取途径的复杂性、模糊性和不确定性,建立有效的网络对抗模型非常困难。利用博弈论与有限状态机理论,提出一种新的更加切合实际过程的网络对抗模型,并以此为基础给出安全态势量化模型,结合对抗策略对系统安全风险有影响,按安全属性计算系统安全风险。利用上述模型可有效识别攻击意图,计算系统安全风险概率,为网络安全态势量化评估奠定了基础。     

基于RBF神经网络的激光雷达图像滤波融合算法

单一算法对激光雷达图像的滤波很难达到实用的理想效果,本文分析了激光雷达图像的噪声特点和各种滤波算法的优势,提出一种基于RBF神经网络的激光雷达图像滤波融合算法,仿真的结果显示了该算法能够在噪声抑制和信息熵保持两个方面都能达到很好的效果.     

一种新的网络安全态势评估方法

提出了基于隶属云的网络安全态势评估方法。首先从传输服务、资产、脆弱性、安全事件和物理设备五个维度入手,构建一种多层次、多维度、可扩展的网络安全评估指标体系,并给出各维度指标的预处理方法。然后设计了包含数据层、信息层和知识层的三层模型框架,给出了指标标准化及权重计算方法、安全态势计算流程并给出态势计算方法。最后设计了网络安全态势评估实验平台并进行了仿真验证实验。实验结果表明提出的方法对网络安全态势评估具有很好的有效性和合理性。     

基于模型互更新的多模图像融合跟踪算法

针对复杂环境下引起的目标失跟问题,提出了一种基于模型互更新的可见光与红外图像融合跟踪算法。基于把视觉跟踪问题视为“中心-周围”分类的思想,首先从可见光与红外图像中分别提取目标及周围像素点的特征,然后采用Boosting算法训练得到跟踪模型。基于分类结果计算像素点的置信度,采用决策级融合方法得到似然图像,通过均值漂移算法估计目标位置。最后在Co-Training框架下结合目标跟踪结果进行模型的互更新。实验结果表明,该算法提高了跟踪的鲁棒性,有效利用了多模图像的信息。     

一种基于数据分析的网络安全态势感知系统设计与实现

业务承载网是各项工作信息通信的重要支撑。传统烟囱林立的安防建设难以形成协同效益且运维困难,APT攻击、勒索病毒等恶意代码爆发、新单位接入都给网络安全运行带来较大风险挑战。建立一个对各类安全态势信息进行统计分析和多形式的可视化呈现的系统,通过对各网络安全情况汇集整编和态势融合展现,实现对网络空间态势常态化监控。测试表明系统支持设备日志采集、资产探测、安全事件特征提取、关联分析,可以帮助网络运维人员随时掌握网络空间安全态势情况,提升网络整体安全防护能力。