基于GMM的多模态过程模态识别与过程监测

多模态复杂过程的多变量、多工序、变量时变性以及模态转换时间不确定等多种原因, 导致面向多模态生产过程的监测问题十分复杂. 对此, 基于高斯混合模型的监测方法, 结合定性知识和定量知识, 解决了多模态过程监测中离线数据模态划分、稳定模态和过渡模态的监测模型建立以及在线数据的模态识别等关键问题, 最终实现了对多模态过程的监测.     

多模态过程中新模态过程建模方法

多模态过程中新出现的模态过程短期内无法获得充足的建模数据,且传统统计控制方法无法有效地估计过程特性.鉴于此,提出一种基于历史模型数据相关特性建立初步模型的方法,充分利用已有多模态历史数据的相关特性,从历史数据中寻找与当前数据特征相似的数据进行补充,建立初始模型,并利用新积累的数据迭代初步模型,逐步实现准确描述过程特性的算法.通过在田纳西-伊斯曼过程中的大量仿真,表明了所提出方法的可行性和有效性.     

图文语义增强的多模态命名实体识别方法

为了解决多模态命名实体识别方法中存在的图文语义缺失、多模态表征语义不明确等问题,提出了一种图文语义增强的多模态命名实体识别方法。其中,利用多种预训练模型分别提取文本特征、字符特征、区域视觉特征、图像关键字和视觉标签,以全面描述图文数据的语义信息;采用Transformer和跨模态注意力机制,挖掘图文特征间的互补语义关系,以引导特征融合,从而生成语义补全的文本表征和语义增强的多模态表征;整合边界检测、实体类别检测和命名实体识别任务,构建了多任务标签解码器,该解码器能对输入特征进行细粒度语义解码,以提高预测特征的语义准确性;使用这个解码器对文本表征和多模态表征进行联合解码,以获得全局最优的预测标签。在Twitter-2015和Twitter-2017基准数据集的大量实验结果显示,该方法在平均F1值上分别提升了1.00%和1.41%,表明该模型具有较强的命名实体识别能力。     

基于跨模态门控机制和改进融合方法的多模态情感分析

如何有效挖掘单模态表征并实现多模态信息的充分融合是多模态情感分析研究的重点之一。针对多模态情感分析中的模态间噪声和多模态特征融合不充分等问题,提出一种基于跨模态门控机制和改进融合方法的多模态情感分析模型。首先,利用跨模态门控机制去除模态间噪声,提取互补信息以增强模态表示。然后,利用权重和相似约束分别关注不同模态情感贡献的差异性和情感表达的一致性。最后,结合模态的多层次表示获得情感分析的结果。在三个公开数据集上的实验结果表明,所提模型是有效的,相比已有一些模型取得了更好的性能。     

多模态融合的互联网设备单位归属识别方法

多模态是描述一个整合不同数据包括文本、图像、声音等信息的过程.在互联网领域,设备单位归属是指连接到互联网中的设备属于哪一个单位或组织.网络设备所属单位的识别对提高网络的安全性和服务性等方面起着重要的作用.域名作为计算机的定位标识,确定它所属的单位对网络的安全和管理十分必要.现有的确定域名所属单位的方法通常是通过查询设备注册商,但由于提供服务的云服务商,域名服务商的存在,大多数域名的注册单位并不是域名的使用单位.为了能快速、准确地确定域名所属的单位,这篇文章以域名对应的网站为基础,通过分析网站中的文字信息和图像信息,提出了一种基于多模态的识别域名所属单位的方法.实验结果表明,与已有方法比较,这篇文章中介绍的方法在识别域名的真正所属单位的方面拥有着更好的性能.     

基于特征融合的多模态身份识别方法研究

研究了多模态身份识别问题,结合人脸和掌纹两种不同生理特征,提出了基于特征融合的多模态身份识别方法。对人脸和掌纹图像分别进行Gabor小波、二维主元变换(2DPCA)提取图像特征,根据新的权重算法,结合两种模态的特征,利用最邻近分类器进行分类识别。在AMP、ORL人脸库和Poly-U掌纹图像库中的实验结果表明,两种模态的融合能更多地给出决策分析所需的特征信息相比传统的单一模态的人脸或掌纹识别具有较高的识别率,更具安全性和准确性。     

基于多模态关系建模的三维形状识别方法

为了充分利用点云和多视图两种模态数据之间的局部空间关系以进一步提高三维形状识别精度,提出一个基于多模态关系的三维形状识别网络,首先设计多模态关系模块(multimodal relation module, MRM),该模块可以提取任意一个点云的局部特征和一个多视图的局部特征之间的关系信息,以得到对应的关系特征.然后,采用由最大池化和广义平均池化组成的级联池化对关系特征张量进行处理,得到全局关系特征.多模态关系模块分为两种类型,分别输出点-视图关系特征和视图-点关系特征.提出的门控模块采用自注意力机制来发现特征内部的关联信息,从而将聚合得到的全局特征进行加权来实现对冗余信息的抑制.详尽的实验表明多模态关系模块可以使网络获得更优的表征能力;门控模块可以让最终的全局特征更具判别力,提升检索任务的性能.所提网络在三维形状识别标准数据集ModelNet40和ModelNet10上分别取得了93.8%和95.0%的分类准确率以及90.5%和93.4%的平均检索精度,在同类工作中处于先进水平.     

基于非文本模态强化和门控融合方法的多模态情感分析

针对各模态之间信息密度存在差距和融合过程中可能会丢失部分情感信息等问题,提出一种基于非文本模态强化和门控融合方法的多模态情感分析模型。该模型通过设计一个音频-视觉强化模块来实现音频和视觉模态的信息增强,从而减小与文本模态的信息差距。之后,通过跨模态注意力和门控融合方法,使得模型充分学习到多模态情感信息和原始情感信息,从而增强模型的表达能力。在对齐和非对齐的CMU-MOSEI数据集上的实验结果表明,所提模型是有效的,相比现有的一些模型取得了更好的性能。     

利用跨模态调制的多模态情感分析

如何对模态进行有效表示和对模态间信息进行高效融合,一直是多模态情感分析领域的一个热点问题。已有研究大都以Transformer为基础,对其中自注意力模块进行改进以达到跨模态融合的效果。但基于Transformer的融合方式往往忽略了不同模态之间的重要程度,同时Transformer无法有效地捕捉到时间特征。为此,提出了基于跨模态调制及模态门控网络模型。该模型利用LSTM网络和BERT分别作为视觉、听觉和文本模态的表示子网络;利用改进的Transformer模型的跨模态调制模块对不同的模态信息进行有效的融合;设计了模态门控网络,模拟人类对来自不同模态的信息进行综合的判断。利用MOSI、MOSEI数据集进行了对比实验,结果表明所提出的方法有效地提高了情感分类的准确度。     

一种基于Volterra模型的非线性系统具有全解耦结构的递阶式自适应辨识方法

研究了在输入输出观测数据均含有噪声时如何对基于Volterra级数描述的非线性系统进行解耦自适应辨识的问题. 按照Volterra级数模型的伪线性组合结构, 采用总体最小二乘辨识技术的原理, 导出了一种总体全解耦辨识的思想. 从而建立了一种具有全解耦结构的递阶式自适应辨识算法, 给出了该算法的结构图. 相比于部分解耦辨识算法, 该算法的优点在于它能够在全噪声数据环境下得到更高的收敛速度和精度. 仿真研究的结果证明了本文方法的有效性.     

印鉴自动识别算法研究

印鉴在许多东方国家被广泛使用了多年.印鉴自动识别是模式识别中的一项非常困难的课题.文中对计算机印鉴自动识别的各个阶段进行了仔细研究,并给出一系列相关算法.为了把"伪造印鉴多出的笔划部分"与"由于印泥渗出而多出的部分"区别开来以及将"伪造印鉴少出的笔划部分"与"由于印泥少而盖印不清晰的部分"区别开来,文中提出了全差图、内差图、多差图、少差图等一系列差图的概念,并对这些差图进行了处理.在此基础上,完成了一套完整的计算机印鉴自动识别方法.实验结果表明,该方法可能在实际应用中是可行的.     

网络协议特征的自动提取方法

介绍了提取网络协议特征的研究意义和传统方法,提出了自动提取协议特征的方法,提取流量中的频繁字符串作为协议的特征字符串。设计了实验分析方法,并阐述和分析了实验结果。实验结果表明,提出的方法能较准确地自动提取网络流量中的协议特征字符串。     

基于时延SDG和ICA的多工况过程故障预测方法

针对多工况生产过程,提出基于时延符号有向图(SDG)和独立成分分析(ICA)的在线故障预测方法.时延符号有向图描述了过程变量间信息传递的方向和时延大小;在有向图模型基础上,对过程数据进行信息同步校正;ICA方法应用于校正后的过程数据,使得基于ICA的性能监测方法具有良好的故障预测能力.在空分设备中的应用结果表明,该方法...     

Automatic Category Theme Identification and Hierarchy Generation for Chinese Text Categorization

Recently research on text mining has attracted lots of attention from both industrial and academic fields. Text mining concerns of discovering unknown patterns or knowledge from a large text repository. The problem is not easy to tackle due to the semi-structured or even unstructured nature of those texts under consideration. Many approaches have been devised for mining various kinds of knowledge from texts. One important aspect of text mining is on automatic text categorization, which assigns a text document to some predefined category if the document falls into the theme of the category. Traditionally the categories are arranged in hierarchical manner to achieve effective searching and indexing as well as easy comprehension for human beings. The determination of category themes and their hierarchical structures were most done by human experts. In this work, we developed an approach to automatically generate category themes and reveal the hierarchical structure among them. We also used the generated structure to categorize text documents. The document collection was trained by a self-organizing map to form two feature maps. These maps were then analyzed to obtain the category themes and their structure. Although the test corpus contains documents written in Chinese, the proposed approach can be applied to documents written in any language and such documents can be transformed into a list of separated terms.     

基于参数辨识的时栅转台在线自动标定系统

提出一种在线自动检测时栅转台误差、辨识误差模型系数和误差补偿的方法。该系统由高精度的基准量仪圆光栅、微控制器与上位机组成。在对极点8个待定参数和对极内20个待定参数分别进行傅立叶变换的参数辨识,得到辨识误差模型的系数,实现了实时在线误差补偿。为了检验在线自动标定效果,利用光电自准直仪与基于参数辨识的在线自动标定系统进行对比实验。实验结果表明,采用傅立叶变换的参数辨识,提高了时栅转台标定精度与标定效率,时栅转台的精度达到2.8″。     

线上平台英语听说能力训练模式自动匹配方法

为确保训练模式更加符合学生发展需求,提出线上平台英语听说能力训练模式自动匹配方法.利用改进的最大信息系数方法判断线性与非线性变量之间关联程度,获取影响学生听说能力的有关因素;采用朴素贝叶斯算法明确用户特征属性选取最大属性类别作为用户能力水平预测结果;通过特征抽取器获取用户特征矢量,经过神经网络训练,减少误差,计算特征矢...     

一种新型的过程模型参数辨识方法

针对模型参数辨识问题,提出了一种基于菌群优化（BSFO）算法的模型参数辨识方法。通过将辨识参数设置为群体细菌在参数空闸的位置,并模拟细菌群体觅食的动态行为来实现对参数的寻优,有效地提高了参数辨识的精腰和效率。对火电厂热工过程参数辨识的仿真研究验证了本文算法的有效性,结果表明,菌群优化算法能够实现对过程模型参数的有效辨识,仿真结果令人满意。     

基于语言特征自动获取的反问句识别方法

反问句是以疑问的形式表达强烈情感的修辞方式,对其有效识别可为自然语言处理中的情感分析任务提供技术支持。该文提出了一种基于语言特征自动获取的反问句识别方法。首先,利用标签注意机制,建立了一个数据驱动的特征抽取模型,用于获取与任务相关的词汇、句法结构、符号标记和话题等语言特征。其次,利用Bi-LSTM模型分别对句子和语言特征进行表示,两者的交互注意被用于获取句子的各个词和符号的注意力权重向量。该权重向量作用于句子的表示,用于构建一个强化语言特征的反问句识别模型。在中文微博数据集上的实验结果表明,提出的方法与之前的工作相比,反问句识别性能有显著提升。