移动设备生物特征识别多模态融合标准研究及展望

针对用于移动设备的生物特征识别多模态融合技术框架不统一以及标准缺失的问题,提出了多模态融合的分类、层级以及标准统一技术框架。首先分析国内外与移动设备生物特征识别相关的标准化现状;其次研究移动设备生物特征识别标准的本地识别以及远程识别应用模式,分析提出多特征、多算法、多实例、多传感器4种多模态融合分类方法,研究并提出样本级融合、特征级融合、分数级融合和决策级融合4种多模态融合的层级,并且提出用于移动设备的生物特征识别多模态融合标准技术框架;最后对移动设备生物特征识别多模态融合技术应用进行展望。     

基于数字孪生的自组网多模态数据快速融合

随着自组网性能的提升与大规模应用,其内部数据呈现出多模态特征,数据量更是达到了海量级别,为数据融合处理工作带来了极大的挑战。为此,提出基于数字孪生的自组网多模态数据快速融合方法。实时采集自组网数据后,利用NLM算法与卡尔曼滤波算法去除数据中的噪声与冗余信息。然后,构建数字孪生自组网（包括自组网、孪生网络与服务系统）,从服务系统加载的数据中提取多模态数据特征,搭建双线性融合模型,从而实现对多模态数据的快速融合处理。实验表明：应用该方法后,多模态数据融合过程的时延始终保持在3 s以下,融合后多模态数据质量系数可达到0.9,证明该方法具有更优的数据融合性能。     

多模态技术及其在网络视听内容监管中的应用研究

多模态技术为文本、语音、视频、图像等非结构化数据的智能处理提供了可能性。本文基于对多模态深度学习模态表示等关键技术的研究,针对网络视听监管业务的工作需求,对多模态技术在网络视听内容监管方面的应用进行了初步探索,旨在有效提升网络视听大数据处理的准确性和效率。     

智能视频监控物联网技术的分析

本文对智能视频监控物联网技术进行了深入的分析。智能视频监控物联网技术结合了视频监控和物联网技术的优势,通过摄像头、传感器和通信技术实现设备互联、数据共享和智能决策。本文从物联网技术的概念入手,通过管理模块、感知层、网络层阐述了智能视频监控物联网技术的关键组成部分,并提出了智能视频监控与物联网技术的融合方式。通过对相关理论、方法的综合分析,推动智能视频监控物联网技术的应用和发展,为智慧城市、智能交通和工业安全等领域提供参考。     

基于多传感器信息融合技术的智能视频监控系统研究

介绍了一种基于多传感器信息融合技术的智能视频监控系统的信息融合设计.为了降低监控系统中的单一传感器的误报率和漏报率,通过对视频监控系统的人体红外、视频摄像等多种传感器的网络集成,将不同传感器采集的不同的描述信息进行了有效地特征提取和传输,并运用模糊神经网络的多传感器信息融合算法进行多次仿真实验.实现了该系统对检测区域的...     

基于音视频的情感识别方法研究

近年来,情感计算逐渐成为人机交互发展突破的关键,而情感识别作为情感计算的重要部分,也受到了广泛的关注。本文实现了基于ResNet18的面部表情识别系统和基于HGFM架构的语音情感识别模型,通过调整参数,训练出了性能较好的模型。在此基础上,通过特征级融合和决策级融合这两种多模态融合策略,实现了包含视频和音频信号的多模态情感识别系统,展现了多模态情感识别系统性能的优越性。两种不同融合策略下的音视频情感识别模型相比视频模态和音频模态,在准确率上都有一定的提升,验证了多模态模型往往比最优的单模态模型的识别性能更好的结论。本文所实现的模型取得了较好的情感识别性能,融合后的音视频双模态模型的准确率达到了76.84%,与现有最优模型相比提升了3.50%,在与现有的音视频情感识别模型的比较中具有性能上的优势。      

数据智能在内容安全治理中的应用

在当前互联网产业快速发展的背景下,为了满足复杂环境下的内容安全治理需求,通过对自然语言处理、视图像智能识别和跨媒体感知等相关技术进行研究,提出了融合数据和内容安全的网络空间内容安全治理方案,对网络媒体中的文字、图片、视频等数据进行虚假信息检测、视图像内容分析以及多模态内容的感知,以此提高数据治理能力。     

基于自编码器与多模态数据融合的视频推荐方法

现今常用的线性结构视频推荐方法存在推荐结果非个性化、精度低等问题,故开发高精度的个性化视频推荐方法迫在眉睫。提出了一种基于自编码器与多模态数据融合的视频推荐方法,对文本和视觉两种数据模态进行视频推荐。具体来说,所提方法首先使用词袋和TF-IDF方法描述文本数据,然后将所得特征与从视觉数据中提取的深层卷积描述符进行融合,使每个视频文档都获得一个多模态描述符,并利用自编码器构造低维稀疏表示。本文使用3个真实数据集对所提模型进行了实验,结果表明,与单模态推荐方法相比,所提方法推荐性能明显提升,且所提视频推荐方法的性能优于基准方法。     

智能视频监控系统中人脸识别技术的研究分析

智能技术在现代社会得到了广泛运用,大大提升了工作质量、管理效率,人脸识别技术是一种智能技术,在智能视频监控系统中的应用较普遍。文中尝试对智能视频监控系统、人脸识别技术进行简述,再以此为基础,论述基于人脸识别技术的智能视频监控系统设计思路、工作过程和环境要求,最后分析智能视频监控系统中人脸识别技术应用的注意事项,包括数据的准确性、管理的可控性、控制的综合性等,以服务相关技术的进一步发展,提升管理活动质量。     

基于异构多流网络的多模态人体动作识别

人体动作识别在人机交互、视频内容检索等领域有众多应用,是多媒体信息处理的重要研究方向。现有的大多数基于双流网络进行动作识别的方法都是在双流上使用相同的卷积网络去处理RGB与光流数据,缺乏对多模态信息的利用,容易造成网络冗余和相似性动作误判问题。近年来,深度视频也越来越多地用于动作识别,但是大多数方法只关注了深度视频中动作的空间信息,没有利用时间信息。为了解决这些问题,本文提出一种基于异构多流网络的多模态动作识别方法。该方法首先从深度视频中获取动作的时间特征表示,即深度光流数据,然后选择合适的异构网络来进行动作的时空特征提取与分类,最后对RGB数据、RGB中提取的光流、深度视频和深度光流识别结果进行多模态融合。通过在国际通用的大型动作识别数据集NTU RGB+D上进行的实验表明,所提方法的识别性能要优于现有较先进方法的性能。      

智能小车的多传感器数据融合

智能车辆是近年来发展起来的一门新兴综合技术，在军事、科研和工业中有广阔的应用前景。以电动小车为研究对象，分析了智能小车传感系统的各种特征值，包括智能小车的状态特征值和道路环境特征值，并建立了相应的坐标系。根据小车行驶的实际情况，设计了智能小车的多传感器系统，包括：传感器的种类、数量以及在智能小车上的安装位置。重点讨论了多传感器数据融合结构和融合算法。智能小车多传感器的数据融合结构采用混合式，融合算法采用贝叶新推理法。     

基于云边协同的复杂交通场景智能视频监控方法研究

由于传统视频监控方法难以并行处理爆炸式增长的视频采集数据和有效地调度云边协同资源,文章提出一种基于云边协同的复杂交通场景视频智能监控方法。利用协同表示方法融合全局特征,生成全局特征字典后,改进图像特征表示算法;采用背景差分法获取目标参数特征,利用云边协同多目标跟踪处理方法,实时检测交通异常事件;通过改进的人工蜂群算法实现云边协同资源调度,根据适应度函数寻得最优解,完成复杂交通场景视频协同处理。测试结果表明：视频智能监控应用云边协同计算后,复杂交通场景平均响应时间为22.03s,且准确度维持在90%以上。     

基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。      

一种基于DWT通道分离和函数提取的运动目标检测新方法

智能视频监控由于其智能性、实时性和高检测率成为交通和安防领域的热点研究方向,其中运动目标实时检测是智能视频监控中的一个基本和重要的部分。本文提出一种针对智能视频监控的运动目标检测新方法：包括视频帧的小波变换、YCb Cr通道分离、目标检测与融合等环节。与传统的检测方法相比,该方法检测运动目标速度较快,精确度较高,且同时还能抑制弱的阴影。     

视频智能管理系统在智慧工地中的应用

在施工工地应用视频智能管理系统对施工现场视频进行智能管理非常重要。文章简述了施工现场需求;视频智能管理实施背景;视频智能管理系统技术包括智能分析技术简介,智能视频识别技术实现,后台管理系统实现等,从硬件到软件形成了一个完整的管理体系;施工现场的应用情况,施工现场部署的固定摄像机视频智能分析系统应用;探讨了视频智能管理系统实现对施工现场改善项目现场管理现状,实现现场实时监控,数据及时传输,保障现场安全,减少项目管理成本,实现智慧管理具有重要意义。     

基于多尺度卷积和LSTM的多模态隐式认证

针对以往身份认证大多基于单一模态信号、准确率不够高等问题,提出了一种基于多尺度卷积和长短期记忆网络融合的多模态隐式认证方案(MMC-LSTM)。结合智能移动设备在多传感器下的运动特征和触摸特征作为多模态特征进行输入,根据并行的多尺度卷积层捕获多维度的行为特征,并使用长短期记忆网络弥补对短序列识别的不足,从而实现更准确的认证。为减少用户姿态转变带来的影响,构建了先识别不同姿态再进行认证的总体框架。实验结果表明,所提方案在公开数据集上的认证准确率可达到98.2%,比单模态特征认证准确率提高了1.3%,能有效提升身份认证的准确性。     

基于多模态融合的全媒体新闻智能编目系统设计

全媒体新闻中包含影像、字幕、语音、人物等多模态信息,已有的计算机编目系统常对单模态信息进行处理,生成的编目信息不够全面和准确.本文提出一种基于多模态融合的全媒体新闻智能编目系统,它通过多模态媒体内容统一表征与融合理解的核心算法来自动化生成拆条标记、影像描述、关键词、场景分类标签等关键信息,实现对新闻内容的全流程智能编目...     

基于多模态的车辆行人检测技术研究

针对单一传感器在复杂路况以及恶劣天气情况下车辆行人检测效果不佳,搭建了一套可见光、可见光偏振、短波红外和长波红外多模态数据采集系统,构建了一个多模态数据集,并提出了一种多模态车辆行人检测算法。首先,提出了一种基于改进型SIFT特征点的多尺度部分强度不变特征的异源图像配准算法;然后,提出基于YOLOv5多模态数据目标检测网络。最终实现了平均精度在日间数据集1.0%的提升,日间夜间混合数据集10.9%的提升。     

基于物联网的电梯智能数据采集系统

电梯智能数据采集系统采用传感器采集电梯运行数据,通过微处理器进行数据分析,由网络传输至数据处理服务器,实现电梯困人救援、故障报警、日常管理、质量评估、隐患防范等功能的综合性电梯管理平台。电梯智能数据采集系统可融合电梯运行状态采集和视频语音监控系统技术、数据交换技术、网站服务技术、手机应用系统技术、标识及公示系统技术等。     

鲁棒性压缩感知重构技术及其在智能视频监控中的应用研究

在视频监控中需要进行鲁棒性压缩感知重构,降低视频丢包和时延等因素的影响,提出一种基于隐马尔科夫模型的鲁棒性压缩感知重构技术并应用在智能视频监控中。首先利用隐马尔科夫模型对智能视频监控系统中的视频帧序列进行频域特征点奇偶分裂处理;然后计算视频监控编码的标量量化码率分配系数,建立视频压缩感知重构的时空方向树,采用隐马尔科夫模型进行解码重建,实现视频帧的鲁棒性压缩感知重构;最后进行仿真测试。结果表明,采用该方法进行监控视频的压缩感知重构,能有效降低丢包率和传输时延,在智能视频监控中具有较好的应用价值。