基于改进偏最小二乘法的多模态过程故障检测方法

针对传统的数据驱动方法偏最小二乘法（PLS）中存在的多模态数据故障检测效果不佳的问题,提出了一种新的故障检测方法——基于局部近邻标准化（LNS）的PLS（LNS-PLS）。首先,利用LNS方法对原始数据进行高斯化处理,在此基础上建立PLS的监控模型,确定T²和平方预测误差（SPE）的控制限;其次,对测试数据同样进行LNS标准化处理,再计算出测试数据的PLS监控指标来进行过程监视及故障检测,解决了PLS中无法处理多模态的问题。将所提方法应用于数值例子和青霉素生产过程,并将其测试结果与主成分分析（PCA）、K最近邻（KNN）、PLS等方法进行对比分析。实验结果表明,所提方法的故障检测效果优于PLS、KNN、PCA,该方法在分类及多模态过程故障检测方面有较高的准确性。     

Convolutional neural network based early fire detection

The detection of manmade disasters particularly fire is valuable because it causes many damages in terms of human lives. Research on fire detection using wireless sensor network and video-based methods is a very hot research topic. However, the WSN based detection model need fire happens and a lot of smoke and fire for detection. Similarly, video-based models also have some drawbacks because conventional algorithms need feature vectors and high rule-based models for detection. In this paper, we proposed a fire detection method which is based on powerful machine learning and deep learning algorithms. We used both sensors data as well as images data for fire prevention. Our proposed model has three main deep neural networks i.e. a hybrid model which consists of Adaboost and many MLP neural networks, Adaboost-LBP model and finally convolutional neural network. We used Adaboost-MLP model to predict the fire. After the prediction, we proposed two neural networks i.e. Adaboost-LBP model and convolutional neural network for detection of fire using the videos and images taken from the cameras installed for the surveillance. Adaboost-LBP model is to generate the ROIs from the image where emergencies exist Our proposed model results are quite good, and the accuracy is almost 99%. The false alarming rate is very low and can be reduced more using further training.

     

基于多模态深度融合的虚假信息检测

针对虚假信息检测中图片特征提取不充分,以及忽视了单模内关系以及单模与多模之间交互作用的问题,提出一种基于文本和图片信息的多模态深度融合(MMDF)模型.首先,用双向门控循环单元(Bi-GRU)提取文本的丰富语义特征,用多分支卷积?循环神经网络(CNN-RNN)提取图片的多层次特征;然后,建立模间和模内的注意力机制以捕获...     

多模态多层次事件网络的谣言检测

目的 自动检测谣言至关重要,目前已有多种谣言检测方法,但存在以下两点局限：1）只考虑文本内容,忽略了可用于判断谣言的辅助多模态信息;2）只关注时间序列模型捕捉谣言事件的时间特征,没有很好地研究事件的局部信息和全局信息。为了克服这些局限性,有效利用多模态帖子信息并联合多种编码策略构建每个新闻事件的表示,本文提出一种新颖的基于多模态多层次事件网络的社交媒体谣言检测方法。方法 通过一个多模态的帖子嵌入层,同时利用文本内容和视觉内容;将多模态的帖子嵌入向量送入多层次事件编码网络,联合使用多种编码策略,以由粗到细的方式描述事件特征。结果 在Twitter和Pheme数据集上的大量实验表明,本文提出的多模态多层次事件网络模型比现有的SVM-TS（support vector machine—time structure）、CNN（convolutional neural network）、GRU（gated recurrent unit）、CallAtRumors和MKEMN（multimodal knowledge-aware event memory network）等方法在准确率上提升了4 %以上。结论 本文提出的谣言检测模型,对每个事件的全局、时间和局部信息进行建模,提升了谣言检测的性能。     

基于TSNS-RAE的多模态过程故障检测

根据多模态工业生产过程的数据特点,提出基于时空近邻标准化和鲁棒自编码器(TSNS-RAE)的故障检测方法;TSNS处理数据时同时考虑了样本的时间近邻和空间近邻,可以消除数据动态性和多模态特征;相比于普通的自编码器,鲁棒自编码器提升了模型的抗噪性和鲁棒性,具有更好的提取非线性特征的能力;TSNS-RAE模型将原始数据空间分成模型空间和残差空间两部分,选择残差空间的SPE统计量作为监控统计量,通过数值案例和青霉素实验来验证TSNS-RAE的可行性。     

基于FPGA的视频火灾检测系统设计

为了提高火焰检测精度和减少装置的成本,在Altera公司CycloneⅡ系列的FPGA实验板上实现了基于视频的火焰检测原型系统设计与开发.该系统在FPGA上建立混合高斯模型,对视频进行前期处理,极大地减少了类火焰区域的提取时间.随后将处理过的视频数据,通过DMA模式送入SOPC系统中的SDRAM存储,并进行后期算法处理.对20多个火灾视频进行测试与研究,实验结果表明,该系统能有效地检测火灾发生,具有较好的实时性,并且降低了成本,利于集成.     

An efficient fire detection method based on orientation feature

This paper proposes a novel method for reliable fire detection. The burning fire usually causes rich moving features in terms of directions, which can offer the best chance to distinguish between the fire region and the non-fire one. Motivated by this observation, we design a novel orientation feature to represent this characteristic. Based on this feature, a method is proposed to detect the fire efficiently. First, fire color is utilized to extract the fire candidate areas from the surveillance video. Then, the direction is obtained by computing the optical flow for each pixel in the candidate area. The directions are discretized to four parts. By counting the percentage of pixels whose moving directions fall into these four parts in a period of time, and combining with the two parameters, i.e., both of the number of frames without the moving directions and the number of consecutive frames in the candidate area, we use these six parameters as the fire orientation feature. In the end, by training a support vector machine (SVM) classifier with the input of our fire orientation feature, the candidate area is judged whether it is a fire. Our main contribution is that we design the novel fire orientation feature. The feature can not only characterize the fire intrinsic dynamic properties accurately but also is very efficient. Compared with the art-of-state methods, the experimental results confirm that our approach significantly improves the accuracy of fire detection and impressively decreases the false alarm rate. The detection speed of our approach is also very competitive with the art-of-state fire detection methods.     

基于支持向量机的图像型火灾探测算法

针对传统火灾探测方法存在的不足,提出了一种基于支持向量机的图像型火灾探测算法,并与基于神经网络的图像型火灾探测算法做了比较。实验结果表明支持向量机克服了神经网络容易过学习、容易陷入局部极小点等不足,同时避免了人为设定特征量识别阈值时需要做大量实验和统计的复杂性。基于支持向量机的图像型火灾探测算法识别准确率高,对于小样本、高维数、非线性的分类问题效果显著。     

面向电力设备缺陷检测的多模态层次化分类

目的 电力设备的状态检测和故障维护是保障电力系统正常运行的重要基础。针对目前多数变电站存在电力设备缺陷类型复杂且现有的单分类缺陷检测方法无法满足电力设备的多标签分类缺陷检测需求的问题,提出一种面向电力设备缺陷检测的多模态层次化分类方法。方法 首先采集来自多个变电站的电力设备缺陷图像并进行人工标注、数据增强及归一化等预处理,构建了一个具有层次标签结构的电力设备缺陷图像数据集。然后提出一种基于多模态特征融合的层次化分类模型,采用 ResNet50 网络对图像进行特征提取,利用区域生成网络对目标进行定位以及前景、背景预测;为避免对区域生成网络生成的位置坐标进行量化时引入误差,进一步采用 ROI Align（region of interest align）方法连续操作,生成位置坐标。最后采用层次化分类,将父类别标签嵌入到当前层目标特征表示进行逐层缺陷分类,最后一层得到最终的缺陷检测结果。结果 在电力设备缺陷数据集和基准数据集上,与多标签分类电力设备缺陷检测方法和流行的常用目标检测算法进行对比实验。实验结果表明,模型对绝大部分设备缺陷类别的检测准确率最高,平均检测准确率达到 86. 4%,相比性能第 2 的模型,准确率提升了 5. 1%,并且在基准数据集上的平均检测准确率也提高了 1. 1%～3%。结论 提出的电力设备缺陷检测方法充分利用设备缺陷标签的语义信息、层次结构和设备缺陷数据的图像特征,通过多模态层次化分类模型,能够提升电力设备缺陷检测的准确率。     

基于MIMO-CNN的多模态坐姿识别

为解决坐姿多样性(不同体型、同一坐姿的差异性)和摄像头角度变化对坐姿的识别的影响,提出一种基于MI-MO(多输入多输出)-CNN的多模态坐姿识别方法.在预处理后的人体坐姿深度图像的基础上,得到人体坐姿在笛卡尔平面上的左视图和俯视图的投影,使用设计的MIMO-MobileNet对人体坐姿在前后和左右方向的坐姿分别进行识别...     

基于加权支持向量回归的火灾智能探测系统

火灾的早期探测是较为复杂且具有重要意义的研究课题。针对传统火灾探测方法存在的不足,提出了一种基于加权支持向量回归的火灾智能探测系统,加权支持向量回归算法克服了神经网络过学习等不足,及标准支持向量回归中未考虑各样本重要性的差异问题,实验结果表明此火灾智能探测系统优于基于神经网络和标准支持向量回归的探测系统,探测效果显著,具有良好的应用前景。     

基于改进YOLOv8的隧道火灾检测研究

隧道内火灾检测存在检测困难和难以直接部署到资源有限的嵌入式设备进行实时检测的问题,提出一种基于改进YOLOv8的隧道火灾检测算法;首先引入极化注意力保持高分辨率信息来抑制冗余特征,同时增强全局信息的捕捉;其次引入了一种新的局部卷积PConv来实现低延迟和高吞吐量的模型;最后使用WIoU函数优化网络的边界框损失,使网络能够快速收敛。实验结果表明,该网络在所使用隧道火灾数据集上的平均精度mAP提升了1.3个百分点,同时轻量化后模型参数减少了了29.7个百分点,向前推理时间降低了44个百分点;算法能够平衡精度和轻量化的需求,可以满足隧道场景下的实时检测。     

基于宽度学习方法的多模态信息融合

多模态机器学习通过有效学习各个模态的丰富特征来解决不同模态数据的融合问题。考虑到模态间的差异性,基于宽度学习方法提出了一个能够学习和融合两种模态特征的框架,首先利用宽度学习方法分别提取不同模态的抽象特征,然后将高维特征表示在同一个特征空间进行相关性学习,并通过非线性融合得到最后的特征表达,输入分类器进行目标识别。相关实验建立在康奈尔大学抓取数据集和华盛顿大学RGB-D数据集上,实验结果验证了相比于传统的融合方法,所提出的方法具有更好的稳定性和快速性。     

融入注意力机制的多模特征机械臂抓取位姿检测

针对机械臂抓取检测任务中对未知物体抓取位姿检测精度低、耗时长等问题,提出一种融入注意力机制多模特征抓取位姿检测网络.首先,设计多模态特征融合模块,在融合多模态特征同时对其赋权加强;然后,针对较浅层残差网络提取重点特征能力较弱的问题,引入卷积注意力模块,进一步提升网络特征提取能力;最后,通过全连接层对提取特征直接进行回归拟合,得到最优抓取检测位姿.实验结果表明,在Cornell公开抓取数据集上,所提出算法的图像拆分检测精度为98.9%,对象拆分检测精度为98.7%,检测速度为51FPS,对10类物体的100次真实抓取实验中,成功率为95%.     

Multi-modal object detection and localization for high integrity driving assistance

Much work is currently devoted to increasing the reliability, completeness and precision of the data used by driving assistance systems, particularly in urban environments. Urban environments represent a particular challenge for the task of perception, since they are complex, dynamic and completely variable. This article examines a multi-modal perception approach for enhancing vehicle localization and the tracking of dynamic objects in a world-centric map. 3D ego-localization is achieved by merging stereo vision perception data and proprioceptive information from vehicle sensors. Mobile objects are detected using a multi-layer lidar that is simultaneously used to identify a zone of interest to reduce the complexity of the perception process. Object localization and tracking is then performed in a fixed frame which simplifies analysis and understanding of the scene. Finally, tracked objects are confirmed by vision using 3D dense reconstruction in focused regions of interest. Only confirmed objects can generate an alarm or an action on the vehicle. This is crucial to reduce false alarms that affect the trust that the driver places in the driving assistance system. Synchronization issues between the sensing modalities are solved using predictive filtering. Real experimental results are reported so that the performance of the multi-modal system may be evaluated.     

基于AT89S52单片机的烟道火灾探测系统设计

以温度作为主要探测参数,采用热电偶为感温元件,AT89S52单片机为控制核心,设计了一种针对餐饮业厨房烟道火灾的探测系统.该系统通过热重法和模拟火灾实验相结合.确定了烟道火灾报警、灭火温度阈值,并可实现烟道火灾自动探测、报警、灭火联动等功能.     

基于图像分割的森林火灾早期烟检测算法研究

针对森林这样的大空间、复杂场景下的火灾检测,提出一种在单帧视频序列图像中的烟检测方法,并研究一种新的超像素合并算法,改进现有的天地线检测算法。该方法对图像进行SLIC（Simple Linear Iterative Clustering）超像素分割,并用一种新的超像素合并算法解决过分割问题;通过改进的天地线分割算法,排除天空中云对于烟检测的干扰;根据光谱特征,运用支持向量机（SVM）对超像素块进行分类。实验结果表明,超像素合并算法高效简洁,易于编程实现,基于图像分割的烟检测技术能排除云雾等噪声对烟雾检测的干扰,在森林场景下的烟雾检测正确率为77%,可以作为人工森林火灾监测的辅助手段。     

基于嵌入式处理平台的森林火灾检测系统设计

提出了一种基于嵌入式处理平台的森林火灾检测系统,对系统硬件设计和软件设计两个方面做了详细论述.系统核心采用DSP+FPGA设计方案,设计实现火灾检测与报警系统,FPGA采集数字视频图像并对其进行图像预处理,然后在DSP中结合相应智能图像处理和模式识别算法进行处理,处理结果通过微波通信送至主控室,对森林区域进行实时监控.实验结果表明,该系统相比传统感温、感烟等探测技术,能克服周围环境影响,具有准确性高、响应速度快,监控区域广等特点.     

基于改进Yolov5s的无人机火灾图像检测算法

为了解决现有火灾检测算法模型复杂,实时性差,难以部署在无人机平台的问题,通过改进Yolov5s算法对无人机火灾图像目标检测进行分析研究。利用搭载高清摄像头的无人机设备获取的火灾图像、公开数据集、互联网航拍视频自主建立无人机火灾图像数据集;采用轻量化模型Yolov5s为基础模型,MobileNetV3作为特征提取主干网络,降低模型参数和计算量,解决实时性差和模型部署的问题;模型颈部引入注意力模块CBAM,综合了通道和空间信息,加强网络对高层次语义信息的传递;修改模型检测头部结构,增强小目标检测能力。通过消融试验对比分析各个模块对模型的影响,与常见火灾模型进行对比分析,分析本文算法的优劣。算法在自建数据上的平均精度达到78.2%,模型大小为6.7M,单帧（640×640）图像处理时间为15.2ms。实验结果表明,本文算法模型简单、实时性好,为火灾检测算法部署在无人机平台奠定技术基础。     

基于新型免疫算法的多峰函数优化

针对目前多峰函数优化问题较难找到全部局部最优解的情况,提出了改进的免疫优化求解方法。借鉴免疫系统的受体编辑操作、Baldwin效应,设计了相应的算子,增强了算法的学习能力,提高了算法的收敛速度。实验结果表明,本算法求解精度较高,提高了多峰函数寻优的精度。