LFKT:学习与遗忘融合的深度知识追踪模型

知识追踪任务旨在根据学生历史学习行为实时追踪学生知识水平变化,并且预测学生在未来学习表现.在学生学习过程中,学习行为与遗忘行为相互交织,学生的遗忘行为对知识追踪影响很大.为了准确建模知识追踪中学习与遗忘行为,本文提出了一个兼顾学习与遗忘行为的深度知识追踪模型LFKT.LFKT模型综合考虑了四个影响知识遗忘因素,包括学生重复学习知识点的间隔时间、重复学习知识点的次数、顺序学习间隔时间以及学生对于知识点的掌握程度.结合遗忘因素,LFKT采用深度神经网络,利用学生答题结果作为知识追踪过程中知识掌握程度的间接反馈,建模融合学习与遗忘行为的知识追踪模型.通过在真实在线教育数据集上的实验,与当前知识追踪模型相比,LFKT可以更好地追踪学生知识掌握状态,并具有较好的预测性能.     

简化LSTM的语音合成

在增大训练数据的情况下,使用传统的隐马尔科夫模型难以提升参数化语音合成预测质量。长短期记忆神经网络学习序列内的长程特征,在大规模并行数值计算下获得更准确的语音时长和更连贯的频谱模型,但同时也包含了可简化的计算。首先分析双向长短期记忆神经网络功能结构,接着移除遗忘门和输出门,最后对文本音素信息到倒频谱的映射关系建模。在普通话语料库上的对比实验证明,简化双向长短期记忆神经网络计算量减少一半,梅尔倒频率失真度由隐马尔科夫模型的3.466 1降低到1.945 9。     

数据增强策略在人脸识别技术实现的研究

以小数据集为样本进行卷积神经网络模型的训练过程,容易出现所得到的神经网络模型泛化能力不足的问题。传统的处理方法大都通过数据增强的方式来提高训练数据的样本总数。本文选取多个网络模型进行对比实验,验证不同神经网络在训练过程中是否使用数据随机增强方式的模型识别准确率提高的效果,为如何选取小数据集样本训练神经网络提供参考。     

基于紧耦合时空双流卷积神经网络的人体动作识别模型

针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题，提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型。首先，采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征；然后，利用长短期记忆（LSTM）网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递；接着，利用双向长短期记忆（Bi-LSTM）网络评估各采样片段的重要性并为其分配自适应权重；最后，结合时空双流特征以完成人体动作识别。在数据集UCF101和HMDB51上进行实验验证，该模型在这两个数据集上的准确率分别为94.2%和70.1%。实验结果表明，所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力，由此明显提升人体动作识别的准确度。     

一种深度神经网络的分布式训练方法

深度神经网络在高维数据的分类和预测中取得了巨大成功。训练深度神经网络是数据密集型的任务，需从多个数据源收集大规模的数据。这些数据中通常包含敏感信息时，使得深度神经网络的训练过程容易泄露数据隐私。针对训练过程中的数据隐私和通信代价问题，提出了一种深度神经网络的分布式训练方法，允许基于多个数据源共同训练深度神经网络。首先，提出了分布式训练架构，由1个计算中心和多个代理组成。其次，提出了基于多代理的分布式训练算法，允许代理在数据不出本地和减少通信代价的情况下，通过切割深度神经网络，实现分布式地共同训练模型。然后，分析了算法的正确性。最后，实验结果表明该方法是有效的。     

自组织映射（S0M）型神经网络的实现

文章讨论了应用于自组织映射型神经网络的训练算法，该算法通过计算获胜神经元来找到最接近输入模式的节点．然后通过对网络连接权值的自组织，训练一个自组织竞争的神经网络，该网络通过一组输入数据可自行训练形成一个神经网络模型，     

基于神经网络的蜂窝纸板缓冲特性建模

以蜂窝纸板的静态压缩实验数据为训练样本，建立了蜂窝纸板静态缓冲特性的神经网络模型，并对网络训练算法进行了一些改进，仿真结果表明蜂窝纸板的神经网络特性模型较好地模拟了实际的蜂窝纸板缓冲特性，训练误差均控制在5％以内，可满足工程设计的要求。     

水处理过程的RBF和BP神经网络建模

针对水处理过程非线性、时变和大滞后的特点，本文采用RBF和BP神经网络分别建立了水处理过程模型，利用水厂实际运行数据对两个模型分别进行了训练和检验。与BP神经网络模型相比，RBF神经网络模型具有逼近能力强、收敛速度快等优点。该模型可以实现对水处理过程的在线辨识，并可进一步用于该过程的神经网络预测控制。     

基于混沌神经网络的分类算法

提出了一种基于混沌神经网络的分类算法,利用改进的进化策略对多个三层前馈混沌神经网络同时进行训练.训练好各个分类模型以后,将待识别数据分别输入,混沌神经网络分类模型输出最终分类结果.实验结果表明,该算法可以较好地进行数据分类,而且与传统的神经网络算法以及决策树算法相比,在分类精度和识别率方面均有一定的改善,体现出较好的稳定性.     

基于知识和遥感图像的神经网络水质反演模型

为进一步提高遥感图像水质反演的精度，提出了一种基于知识和遥感图像相结合的神经网络水质反演模型。该模型利用遥感图像数据以及与水质相关的知识数据作为BP神经网络的输入，经训练后，确定神经网络的结构，在训练好的BP神经网络基础之上对水质进行反演。以中国太湖为例进行实证研究，实验中，使用的知识数据包括太湖的地理信息知识和先对太湖TM图像上的水域解译进而对水质进行分类的知识。实验结果表明，本文提出的水质反演模型较常规的线性回归模型和传统的神经网络模型有更高的反演精度。     

人工神经网络模型发展及应用综述

人工神经网络与其他学科领域联系日益紧密,人们通过对人工神经网络层结构的探索和改进来解决各个领域的问题。根据人工神经网络相关文献进行分析,综述了人工神经网络算法以及网络模型结构的发展史,根据神经网络的发展介绍了人工神经网络相关概念,其中主要涉及到多层感知器、反向传播神经网络、卷积神经网络以及递归神经网络,描述了卷积神经网络发展当中出现的部分卷积神经网络模型和递归神经网络中常用的相关网络结构,分别综述了各个人工神经网络算法在相关领域的应用情况,总结了人工神经网络的未来发展方向。     

人工神经网络技术的发展与应用

神经控制是一种新型的控制系统,其在动态模拟、建模和控制方面应用广泛。为了更好地研究人工神经网络技术,对人工神经网络的起源和发展历史作了回顾,阐述了人工神经网络的一般结构特性,讨论了几种常用的人工神经网络的忧缺点以及目前在工程应用中的情况,并用较先进的例子对其应用作了说明,然后对其发展与应用作了展望,以期对人工神经网络的研究与应用提供参考。     

基于遗忘进化规划的Hopfield网学习算法

本文提出了一个基于遗忘进化规划的Hopfield网学习算法.通过遗忘部分个体,算法能避免局部最小.给定不动点、极限环或迭代序列,通过解不等式,算法能同时获得Hopfield网的拓扑结构和权值.该算法克服了进化Hopfield网学习的局限性.它还能找到多个优化解.实验也证明了该算法的有效性.     

BP与RBF比较研究

由于人工神经网络在符号处理、并行搜索、自组织联想记忆等方面有独特的优势,因此成为人工智能研究的热点。目前,人工神经网络模型形式多样,为了能够清晰地了解人工神经网络,就两种比较流行的神经网络:BP与RBF进行了介绍,研究了这两种人工神经网络的结构算法,并且对它们的结构算法以及性能进行了比较。     

灰色人工神经网络人口总量预测模型及应用

针对单一指标进行人口总量预测精度不高的问题,基于灰色系统理论和人工神经网络理论,用1990年至2004年中国人口总量序列建立并训练一个多指标的灰色人工神经网络人口总量预测模型。对2005年至2007年的人口总量进行检验性预测,结果表明灰色人工神经网络模型大大提高了预测精度。     

基于专家—神经网的递阶智能控制系统

本文介绍了专家系统与人工神经网络技术相结合的一些方法，提出了联合使用专家系统与人工神经网络的递阶智能控制系统结构，其组成为：监督控制专家系统，数据处理与故障诊断神经网络，常规分布式控制系统。其中的监督控制专家系统又由人工神经网络模拟实现。由于本系统吸取了专家系统技术及人工神经网络技术两者的长处，克服了各自的缺点，使得系统的性能大为提高。     

基于人工免疫网络的神经网络集成方法

提出基于人工免疫网络的神经网络集成方法AINEN。在用Bagging生成神经网络集成之后,将人工免疫网络的原理应用到神经网络集成,组成了一个从微观上看是一个一个的神经网络,而从宏观上看是一个大的人工免疫网络的集成。通过在微观层次上提高神经网络集成的个体之间的异构度,在宏观层次上提高免疫网络的适应度,从而降低集成的泛化误差。AINEN与GASEN方法在标准数据集上进行的实验表明,AINEN能取得更小的泛化误差。     

GA-BP和GA-RBF网络在结构损伤分析的比较

引出了当人工神经网络算法解决结构工程实践问题时,网络结构本身所面临缺陷。描述了人工神经网络和遗传算法的概念,以及二者的长处和关系,从理论和实例上说明了运用遗传算法优化和改进神经网络结构可行性,从而结合二者的长处解决工程实践问题。详细阐述了如何利用遗传算法优化或改进BP网络模型和RBF网络模型,以及如何利用遗传优化BP网络和遗传优化RBF网络模型分析结构损伤,从而比较遗传BP网络和RBF网络在结构损伤分析方面的性能。     

Static, Dynamic, and Hybrid Neural Networks in Forecasting Inflation

The back-propagation neural network (BPN) model has been the most popular form of artificial neural network model used for forecasting, particularly in economics and finance. It is a static (feed-forward) model which has a learning process in both hidden and output layers. In this paper we compare the performance of the BPN model with that of two other neural network models, viz., the radial basis function network (RBFN) model and the recurrent neural network (RNN) model, in the context of forecasting inflation. The RBFN model is a hybrid model with a learning process that is much faster than the BPN model and that is able to generate almost the same results as the BPN model. The RNN model is a dynamic model which allows feedback from other layers to the input layer, enabling it to capture the dynamic behavior of the series. The results of the ANN models are also compared with those of the econometric time series models.     

基于人工神经网络的动态过程聚类研究

为了有效解决传统人工神经网络对于时变函数的聚类问题,以及提高在大样本下网络的学习和泛化能力,提出了基于离散余弦变换的传统人工神经网络动态过程聚类方法。通过离散余弦变换将样本函数降维映射到由对应余弦参数所张成的模式特征空间,满足了传统人工神经网络对输入样本的要求,使传统人工神经网络实现动态过程的聚类成为可能。给出了实现算法,分析了计算复杂度,并使用基本竞争型人工神经网络对特征样本向量进行聚类,实验结果表明该方法是正确、有效的。与过程人工神经网络相比,该方法具有运算简单、物理意义明确等优点。