多知识点融合嵌入的深度知识追踪模型

知识追踪任务是根据学生历史答题记录追踪学生知识状态的变化,预测学生未来的答题情况.近年来,基于注意力机制的知识追踪模型在灵活性和预测性能上都明显优于传统知识追踪模型.但是现有深度模型大多只考虑了单一知识点题目的情况,无法直接处理多知识点题目,而智能教育系统中存在着大量的多知识点题目.此外,如何提高可解释性是深度知识追踪模型的关键挑战之一.为了解决这些问题,提出一种多知识点融合嵌入的深度知识追踪模型.所提模型考虑涉及多知识点的题目中知识点之间的关系,提出两种新颖的多知识点嵌入方式,并且结合教育心理学模型和遗忘因素提升预测性能和可解释性.实验表明所提模型在大规模真实数据集上预测性能上优于现有模型,并验证各个模块的有效性.     

基于深度生成式对抗网络的蓝藻语义分割

针对传统图像分割算法分割蓝藻图像准确率不足的问题,提出了一种基于深度神经网络（DNN）和生成式对抗网络（GAN）思想的网络结构,称为深度生成式对抗网络（DGAN）。首先,在传统全卷积神经网络（FCN）的基础上构建了一个12层的FCN作为生成网络（G）,用于学习分布规律,生成蓝藻图像的分割结果（Fake）;然后,设计了一个5层的卷积神经网络（CNN）作为判别网络（D）,用于区分生成网络生成的分割结果（Fake）和手工标注的真实分割结果（Label）,G试图生成Fake并蒙骗D,D试图找出Fake并惩罚G;最后,通过两个网络的对抗式训练,G生成的Fake可以蒙骗D,从而获得了更好的分割结果。在3075张蓝藻图像集上的训练和测试结果表明,DGAN在精确率、召回率及F₁分数等指标上均大幅领先基于迭代的阈值分割算法;相比FCNNet （SHELHAMER E,LONG J,DARRELL T.Fully convolutional networks for semantic segmentation.IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39（4）：640-651）、Deeplab （CHEN L C,PAPANDREOU G,KOKKINOS I,et al.Semantic image segmentation with deep convolutional nets and fully connected CRFs.Computer Science,2014（4）：357-361）等其他基于DNN的方法也提升了超过4个百分点,取得了更精准的分割结果。分割速度上,DGAN的0.63 s略慢于FCNNet的0.46 s,但远快于Deeplab的1.31 s。DGAN均衡的分割准确率和分割速度为基于图像的蓝藻语义分割提供了可行的技术方案。     

基于深度神经网络的数据驱动潮流计算异常误差改进策略

在考虑不确定性的N-1安全校核、可靠性计算等需大规模重复潮流计算的场景中,基于深度神经网络(DNN)的数据驱动方法存在部分潮流变量误差异常的问题,影响潮流越限判别的准确率。对此,首先通过理论推导,分析DNN参数更新过程及数据标准化原理,发现该问题的重要成因之一为:DNN仅根据标准化误差迭代训练模型,未计及潮流变量的真实学习误差及工程实际的精度要求,无法及时针对误差异常的潮流变量调整DNN参数。然后,面向潮流计算提出基于动态学习权重的DNN自适应训练方法。该方法通过每轮迭代中验证集的真实学习误差、越限误判率及误差统计指标,确定各潮流变量的学习权重,有效降低数据驱动潮流计算的异常误差。最后,在IEEE标准算例和Polish 2383节点系统上仿真验证了所提方法的有效性。     

基于噪声溶解的对抗样本防御方法

深度神经网络在发展过程中暴露出的对抗攻击等安全问题逐渐引起了人们的关注和重视。然而,自对抗样本的概念提出后,针对深度神经网络的对抗攻击算法大量涌现,而深度神经网络自身的复杂性和不可解释性增大了防御攻击的难度。为了保证防御方法的普适性,以预处理方法为基本思路,同时结合对抗样本自身的特异性,提出一种新的对抗样本防御方法。考虑对抗攻击的隐蔽性和脆弱性,利用深度学习模型的鲁棒性,通过噪声溶解过程降低对抗扰动的攻击性和滤波容忍度。在滤波过程中,以对抗噪声贡献为依据自适应调整滤波范围及强度,有针对性地滤除对抗噪声,该方法不需要对现有深度学习模型进行修改和调整,且易于部署。实验结果表明,在ImageNet数据集下,该方法对经典对抗攻击方法L-BFGS、FGSM、Deepfool、JSMA及C&W的防御成功率均保持在80%以上,与JPEG图像压缩、APE-GAN以及图像分块去噪经典预处理防御方法相比,防御成功率分别提高9.25、14.86及14.32个百分点以上,具有较好的防御效果,且普适性强。     

基于深度神经网络的语音驱动发音器官的运动合成

实现一种基于深度神经网络的语音驱动发音器官运动合成的方法,并应用于语音驱动虚拟说话人动画合成. 通过深度神经网络(Deep neural networks, DNN)学习声学特征与发音器官位置信息之间的映射关系,系统根据输入的语音数据估计发音器官的运动轨迹,并将其体现在一个三维虚拟人上面. 首先,在一系列参数下对比人工神经网络(Artificial neural network, ANN)和DNN的实验结果,得到最优网络; 其次,设置不同上下文声学特征长度并调整隐层单元数,获取最佳长度; 最后,选取最优网络结构,由DNN 输出的发音器官运动轨迹信息控制发音器官运动合成,实现虚拟人动画. 实验证明,本文所实现的动画合成方法高效逼真.     

电力系统自然频率特性系数区间预测方法

电力系统自然频率特性系数β是整定区域互联电网自动发电控制(automatic generation control, AGC)策略中频率偏差系数B的重要依据。理想情况下,系数B的整定原则是使其恰好等于β系数,从而使系统AGC调节量能准确跟踪系统功率偏差。然而,电力系统β系数具有非线性与时变性,现有B系数整定方法难以有效追踪其变化。对此,提出了基于深度神经网络(deep neural network, DNN)与Bootstrap的自然频率特性系数区间预测方法。该方法利用DNN强大的非线性特征提取能力建立系统功率扰动、备用容量、机组启停方式与β系数间的映射关系,实现β系数的预测,并结合 Bootstrap方法得到β系数预测结果的置信区间,可为系统B系数的整定提供有力支撑。算例仿真结果验证了所提方法的准确性与鲁棒性。     

Retraining Deep Neural Network with Unlabeled Data Collected in Embedded Devices

Because of computational complexity, the deep neural network (DNN) in embedded devices is usually trained on high-performance computers or graphic processing units (GPUs), and only the inference phase is implemented in embedded devices. Data processed by embedded devices, such as smartphones and wearables, are usually personalized, so the DNN model trained on public data sets may have poor accuracy when inferring the personalized data. As a result, retraining DNN with personalized data collected locally in embedded devices is necessary. Nevertheless, retraining needs labeled data sets, while the data collected locally are unlabeled, then how to retrain DNN with unlabeled data is a problem to be solved. This paper proves the necessity of retraining DNN model with personalized data collected in embedded devices after trained with public data sets. It also proposes a label generation method by which a fake label is generated for each unlabeled training case according to users’ feedback, thus retraining can be performed with unlabeled data collected in embedded devices. The experimental results show that our fake label generation method has both good training effects and wide applicability. The advanced neural networks can be trained with unlabeled data from embedded devices and the individualized accuracy of the DNN model can be gradually improved along with personal using.     

基于神经网络的公共建筑应急疏散风险评估方法

公共建筑空间大、人员密集、水平疏散距离长,在应急情景下的疏散本身存在一定的风险,提出了一种基于深度神经网络(DNN)的应急疏散风险评估方法.给出了DNN预测模型的建立方法,并以某高校体育馆为案例,说明了模型数据获取、模型训练,及模型测试的整个评估过程.结果表明,相较于传统评估方法,该深度学习方法克服了主观性强、对以人为...     

基于可攻击空间假设的陷阱式集成对抗防御网络

如今,深度神经网络在各个领域取得了广泛的应用.然而研究表明,深度神经网络容易受到对抗样本的攻击,严重威胁着深度神经网络的应用和发展.现有的对抗防御方法大多需要以牺牲部分原始分类精度为代价,且强依赖于已有生成的对抗样本所提供的信息,无法兼顾防御的效力与效率.因此基于流形学习,从特征空间的角度提出可攻击空间对抗样本成因假设,并据此提出一种陷阱式集成对抗防御网络Trap-Net. Trap-Net在原始模型的基础上向训练数据添加陷阱类数据,使用陷阱式平滑损失函数建立目标数据类别与陷阱数据类别间的诱导关系以生成陷阱式网络.针对原始分类精度损失问题,利用集成学习的方式集成多个陷阱式网络以在不损失原始分类精度的同时,扩大陷阱类标签于特征空间所定义的靶标可攻击空间.最终, Trap-Net通过探测输入数据是否命中靶标可攻击空间以判断数据是否为对抗样本.基于MNIST、K-MNIST、F-MNIST、CIFAR-10和CIFAR-100数据集的实验表明, Trap-Net可在不损失干净样本分类精确度的同时具有很强的对抗样本防御泛化性,且实验结果验证可攻击空间对抗成因假设.在低扰动的白盒攻击场景中, T...     

图像对抗样本检测综述

深度神经网络是人工智能领域的一项重要技术, 它被广泛应用于各种图像分类任务. 但是, 现有的研究表明深度神经网络存在安全漏洞, 容易受到对抗样本的攻击, 而目前并没有研究针对图像对抗样本检测进行体系化分析. 为了提高深度神经网络的安全性, 针对现有的研究工作, 全面地介绍图像分类领域的对抗样本检测方法. 首先根据检测器的构建方式将检测方法分为有监督检测与无监督检测, 然后根据其检测原理进行子类划分. 最后总结对抗样本检测领域存在的问题, 在泛化性和轻量化等方面提出建议与展望, 旨在为人工智能安全研究提供帮助.