基于注意力机制的BiGRU判决结果倾向性分析

对裁判文书中判决结果的倾向性分析是完成律师推荐系统的前提,如何高效的实现判决结果倾向性分析是本文的重点.本文提出了基于注意力机制和BiGRU的判决结果倾向性分析模型.首先,训练词向量,得到词向量表;然后,通过查找词向量表,将文书数据转化为词向量序列,将词向量序列作为输入来训练判决结果倾向性分析模型.实验结果表明：注意力机制和BiGRU算法在判决结果倾向性分析中具有一定的有效性.该模型能够对裁判文书中判决结果的倾向性做一个合理的判断,为后期律师推荐系统的实现提供一个合理的评分依据.     

基于深度学习的医药专利标签分类方法

在大数据时代,医药专利数据的有效收集、整理和挖掘分析对医药行业发展愈发重要。当前文本分类神经网络对医药专利标签的分类准确率不够高,为了有效提升专利标签的分类效果,设计了一种基于注意力机制的双向长短时记忆神经网络分类模型。该模型避免了传统循环神经网络的长期依赖问题,并充分利用全局信息,以实现文本信息的权重分布。     

串行分组深度学习运行状态分析与故障预测

在现代工业生产运行中,如何充分挖掘海量的多源异构生产运行数据,实现异常工况的快速检测和故障预测,有效提高工业生产设备的可靠性,仍然是研究的难点。提出一种基于串行分组深度学习的工业生产运行状态分析与故障预测模型,针对时间序列突变故障设计了串行分组深度学习网络框架,实现目标对象的故障检测与预测,及时发出故障预警。通过对某造纸厂数据以及风力发电频率监测数据进行测试,并与传统神经网络预测模型进行对比分析,表明了所提算法的准确性,为提高生产设备使用寿命、减低工业生产成本,提高安全稳定运行起到重要作用。     

基于深度神经网络的微博文本情感倾向性分析

随着新型社交媒体的发展,作为传播网络舆论的重要媒介,微博已然成为挖掘民意的平台.自然语言处理技术可以从微博文本中提取有效情感信息,为网络舆情监控、预测潜在问题及产品分析等提供科学的决策依据.为了克服现有的浅层学习算法对复杂函数表示能力有限的问题,本文尝试融合深度学习的思想,提出基于Word2Vec和针对长短时记忆网络改进的循环神经网络的方法进行中文微博情感分析.在两万多条中文标注语料上进行训练实验,实验数据与SVM、RNN、CNN作对比,对比结果证明,本文提出的情感分析模型准确率达到了91.96%,可以有效提高微博文本情感分类的正确率.     

基于深度学习网络模型的端到端航迹关联

为提高雷达数据处理中航迹关联的智能性,充分利用目标的特征信息,并简化系统处理流程,提出了一种基于深度学习网络模型的端到端航迹关联算法。首先分析了基于神经网络的航迹关联存在样本细节少、处理流程繁杂的问题,然后提出了端到端的深度学习模型。该模型根据航迹关联数据的处理特征,改进了卷积神经网络结构用于特征提取,充分利用了长短期记忆网络对历史信息和将来信息的处理能力,并分析了前后航迹的关联性。在对原始数据进行卡尔曼滤波后,将全部航迹信息特征作为输入,并由基于卷积神经网络特征提取的长短期记忆深度神经网络模型直接输出航迹关联结果。仿真结果表明,提出的模型可以充分学习推演目标的多个特征信息,具有较高的航迹关联准确率,对航迹关联的智能化分析具有一定的参考价值。     

基于循环神经网络和注意力模型的文本情感分析

将循环神经网络中的长短期记忆网络和前馈注意力模型相结合,提出一种文本情感分析方案。在基本长短期记忆网络中加入前馈注意力模型,并在Tensorflow深度学习框架下对方案进行了实现。根据准确率、召回率和◢F◣▼1▽测度等衡量指标,与现有的方案对比表明,提出的方案较传统的机器学习方法和单纯的长短期记忆网络的方法有明显的优势。     

基于深度学习的藏文分词方法

重点研究将深度学习技术应用于藏文分词任务,采用多种深度神经网络模型,包括循环神经网络(RNN)、双向循环神经网络(Bi RNN)、层叠循环神经网络(Stacked RNN)、长短期记忆模型(LSTM)和编码器-标注器长短期记忆模型(Encoder-Labeler LSTM)。多种模型在以法律文本、政府公文、新闻为主的分词语料中进行实验,实验数据表明,编码器-标注器长短期记忆模型得到的分词结果最好,分词准确率可以达到92.96%,召回率为93.30%,F值为93.13%。     

基于卷积神经网络的微博情感倾向性分析

微博情感倾向性分析旨在发现用户对热点事件的观点态度。由于微博噪声大、新词多、缩写频繁、有自己的固定搭配、上下文信息有限等原因,微博情感倾向性分析是一项有挑战性的工作。该文主要探讨利用卷积神经网络进行微博情感倾向性分析的可行性,分别将字级别词向量和词级别词向量作为原始特征,采用卷积神经网络来发现任务中的特征,在COAE2014任务4的语料上进行了实验。实验结果表明,利用字级别词向量及词级别词向量的卷积神经网络分别取得了95.42%的准确率和94.65%的准确率。由此可见对于中文微博语料而言,利用卷积神经网络进行微博情感倾向性分析是有效的,且使用字级别的词向量作为原始特征会好于使用词级别的词向量作为原始特征。     

基于深度学习的网络流量异常识别与检测

针对传统的工控网络流量数据在复杂网络环境下特征维度高,特征处理复杂度高,模型检测效率低等问题,本文使用了一种基于随机森林(random forest, RF)和长短期记忆网络(long short-term memory, LSTM)结合的流量异常识别与检测方法.首先使用随机森林算法计算流量特征的重要度评分,筛选出重要特征,剔除冗余特征,然后使用LSTM进行异常流量的识别与检测.为了评估模型的有效性与优越性,本文使用准确率、精确率、召回率和F1-score进行模型评价,并与传统的机器学习方法 Naive Bayes、QDA、KNN算法进行对比.实验结果表明,在公开数据集CIC-IDS-2017中,异常流量识别的总体准确率达99%.与传统的机器学习算法相比,该方法有效地提高了复杂网络环境下异常检测的准确性和效率,在工业控制网络安全和异常检测方面具有实际应用价值.     

Side-channel analysis attacks based on deep learning network

There has been a growing interest in the side-channel analysis (SCA) field based on deep learning (DL) technology. Various DL network or model has been developed to improve the efficiency of SCA. However, few studies have investigated the impact of the different models on attack results and the exact relationship between power consumption traces and intermediate values. Based on the convolutional neural network and the autoencoder, this paper proposes a Template Analysis Pre-trained DL Classification model named TAPDC which contains three sub-networks. The TAPDC model detects the periodicity of power trace, relating power to the intermediate values and mining the deeper features by the multi-layer convolutional net. We implement the TAPDC model and compare it with two classical models in a fair experiment. The evaluative results show that the TAPDC model with autoencoder and deep convolution feature extraction structure in SCA can more effectively extract information from power consumption trace. Also, Using the classifier layer, this model links power information to the probability of intermediate value. It completes the conversion from power trace to intermediate values and greatly improves the efficiency of the power attack.     

一种基于深度学习的性能分析框架设计与实现

高性能计算系统的体系结构日益复杂和现有性能分析工具的智能程度不足,导致高性能计算应用的程序性能分析和优化的成本代价日益高昂。所幸,人工智能领域目前取得了重要进展,其中深度学习技术发挥了重要作用,它给性能分析工具的智能化带来了契机。提出一种基于深度学习的程序性能智能分析框架,其核心思想是将程序的性能分析问题抽象成可用机器学习技术描述的分类问题,使用处理器支持的PMU采集分类所需的性能数据并标准化,使用簇评估技术结合簇的实际含义确定性能问题类别,通过稀疏编码自动学习性能数据特征并构建性能问题分类模型。在神威太湖之光超级计算机上实现了程序性能分析框架原型。实验结果表明,该性能分析方法能够直观地指导程序员快速把握当前应用最为突出的性能瓶颈问题,提高应用优化的效率,降低用户调优代码的成本。     

基于深度学习的传感器故障数据分析系统设计

传统传感器故障数据分析系统硬件及程序设计不够兼容,存在实时性差,分析结果不够精准的问题。据此,提出基于深度学习设计了一种新的传感器故障数据分析系统,由传感器、ARM数据处理器、主电路板、FODI数据处理器、集成采集接口板、故障数据传感器、多转质感器、场效应传感器、GKCL储存器组成系统的硬件结构,ASVH248的最大特点就是分辨率高,能够有效提高系统显示的清晰度。分别设计了故障数据采集程序、数据处理程序和数据存储程序。为了检测系统的有效性,由采集程序采集传感器内部数据,处理程序对数据结果进行分析,存储程序负责记录分析后的结果。设定对比实验,结果表明,基于深度学习设计的传感器故障数据分析系统分析结果精准度提高了15.28%,实时性更强,使用价值更高。     

基于深度学习的跨模态检索综述

由于多模态数据的快速增长,跨模态检索受到了研究者的广泛关注,其将一种模态的数据作为查询条件检索其他模态的数据,如用户可以用文本检索图像或/和视频。由于查询及其检索结果模态表征的差异,如何度量不同模态之间的相似性是跨模态检索的主要挑战。随着深度学习技术的推广及其在计算机视觉、自然语言处理等领域的显著成果,研究者提出了一系列以深度学习为基础的跨模态检索方法,极大缓解了不同模态间相似性度量的挑战,本文称之为深度跨模态检索。本文从以下角度综述有代表性的深度跨模态检索论文,基于所提供的跨模态信息将这些方法分为3类：基于跨模态数据间一一对应的、基于跨模态数据间相似度的以及基于跨模态数据语义标注的深度跨模态检索。一般来说,上述3类方法提供的跨模态信息呈现递增趋势,且提供学习的信息越多,跨模态检索性能越优。在上述不同类别下,涵盖了7类主流技术,即典型相关分析、一一对应关系保持、度量学习、似然分析、学习排序、语义预测以及对抗学习。不同类别下包含部分关键技术,本文将具体阐述其中有代表性的方法。同时对比提供不同跨模态数据信息下不同技术的区别,以阐述在提供了不同层次的跨模态数据信息下相关技术的关注点与使用异同。为评估不同的跨模态检索方法,总结了部分代表性的跨模态检索数据库。最后讨论了当前深度跨模态检索待解决的问题以及未来的研究方向。     

基于深度学习的Webshell检测

以AWD攻防中Webshell检测为背景,在超空间利用模糊C均值聚类分析发现了攻击向量全局稀疏、局部紧密的特点,提出了2种深度学习模型。由于GitHub收集的攻击行为多为随机获取,没有很好的针对性,所以对训练数据的长度进行了限制,并保留了有限的相关样本数量。由于一次攻击与相邻的2～4次操作紧密相关,而且攻击向量垂直方向关联特征明显,水平方向相对稳定,考虑到特征向量在传递过程中规模会减小,增加了卷积层的补零选项。针对深度学习训练曲线中的锯齿振荡现象,证明了Adam优化算法的快速计算公式,并修正了学习参数,不断消除了训练的Loss曲线中的锯齿,使得训练曲线按照指数规律平滑下降,迅速得到需要的训练结果。将目前已有的类似工作与提出的2种深度学习模型进行对比。实验结果表明,提出的的深度学习模型能够很好地检测出AWD中的Webshell攻击。     

基于深度迁移学习的烟雾识别方法

针对传统的基于传感器和图像特征的烟雾识别方法易被外部环境干扰且识别场景单一,从而造成烟雾识别精度较低,而基于深度学习的识别方法对数据量要求较高,对于烟雾数据缺失或数据来源受限的情况模型识别能力较弱的问题,提出一种基于深度迁移学习的烟雾识别方法。将ImageNet数据集作为源数据,利用VGG-16模型进行基于同构数据下的特征迁移。首先,将所有的图像数据进行预处理,对每张图像作随机变换（随机旋转、剪切、翻转等）;其次,引入VGG-16网络,将其卷积层特征进行迁移,并连接预先使用烟雾数据在VGG-16网络中训练过的全连接层;进而构建出基于迁移学习的深度网络,从而训练得到烟雾识别模型。利用公开数据集以及真实场景烟雾图像进行实验验证,实验结果表明,和现有主流烟雾图像识别方法相比,所提方法有较高的烟雾识别率,实验精度达96%以上。     

基于深度机器学习的霾污染监测技术

传统的霾污染监测技术监测准确率低,收集的图像完整度差,为了解决上述问题,基于深度学习研究了一种新的霾污染监测技术。通过污染数据收集精准划分其产生的地点,整合获取的追踪信息,在三维分布空间图掌控霾污染可能存在的条件,多次进行机器飞行追踪实验,根据不同的污染项目组对霾污染进行数据监测,根据霾污染数据的浓度信息以及深度机器学习的输入数据类型对收集数据进行分类,查询数据类型,同时监测气溶胶的厚度、霾污染中具有毒性的二氧化硫及二氧化氮物质以及兴趣区域。为验证技术的有效性,设定对比实验,结果表明,基于深度机器学习的霾污染监测技术监测结果准确率为90%,图像收集完整度平均值为82%,具有更强的监测能力。     

基于深度学习的肺部肿瘤图像识别方法

鉴于浅层卷积神经网络难以获取图像深层特征、易过度拟合导致分类效率和精度低的问题,因此,设计一种肺部肿瘤图像的深度学习识别模型。在运用样本扩充和迁移学习的基础上,并对AlexNet卷积神经网络进行改善和提升,在每层网络数据输入之前对数据进行归一预处理,同时使用线性整流函数(ReLU),实现对肺部肿瘤表达性特征地快速获取,输出端经由三层全连接层和softmax算法进行分类。实验结果表明,此方法在网络收敛速率和分类精度方面取得更优性能,比基于AlexNet卷积神经网络分类精度提高5.66%以上,且具备良好的健壮性。     

Effective deep learning based multimodal sentiment analysis from unstructured big data

More recently, as images, memes and graphics interchange formats have dominated social feeds, typographic/infographic visual content has emerged as an important social media component. This multimodal text combines text and image, defining a novel visual language that must be analysed because it has the potential to modify, confirm or grade the sentiment's polarity. The problem is how to effectively use information from the visual and textual content in image-text posts. This article presents a new deep learning-based multimodal sentiment analysis (MSA) model using multimodal data such as images, text and multimodal text (image with embedded text). The text analytic unit, the discretization control unit, the picture analytic component and the decision-making component are all included in this system. The discretization unit separates the text from the picture using the variant and channel augmented maximally stable extremal regions (VCA-MSERs) technique, which are then analysed as discrete elements and fed into the appropriate image and text analytics units. The text analytics system utilizes a stacked recurrent neural network with multilevel attention and feedback module (SRNN-MAFM) to detect the sentiment of the text. A deep convolutional neural network (CNN) structure with parallel-dilated convolution and self-attention module (PDC-SAM) is developed to forecast the emotional response to visual content. Finally, the decision component employs a Boolean framework including an OR function to evaluate and classify the output into three fine-grained sentiment classes: positive, neutral and negative. The proposed work is simulated in the python platform using the STS-Gold, Flickr 8k and B-T4SA datasets for sentiment analysis of text and visual and multimodal text. Simulation outcomes proved that the suggested method achieved better accuracy of 97.8%, 97.7% and 90% for text, visual and MSA individually compared to other methods.     

Sequence recommendation based on deep learning

In order to solve the cold start problem of traditional recommendation algorithm, the sequence change of user interaction information and deep learning are gradually considered as a key feature of commodity recommendation system. However, most of the existing recommendation methods based on the sequence changes assume that all the interaction information of users is equally important for recommendation, which is not always applicable in real scenarios, because the interaction process of user items is full of randomness and contingency. In this article, we study how to reduce the randomness and contingency between session sequences, make full use of the association between session sequences in the interaction process of users by Deep Learning. In order to better simulate the change of session sequence in the real scene, we adopt sequence sampling methods to transform the single classification problem into sequence modeling problem. And attention mechanism is added to reduce the interference of the recommendation model in the sequence due to the contingency and randomness of the user in the shopping. Finally, through the verification of real data, the MRR@20 index of the improved model is 20% higher than the benchmark level.