基于贝叶斯神经网络的非参数回归

提高神经网络模型推广能力的关键是控制模型的复杂度.该文探索了贝叶斯神经网络的非参数回归的建模方法,通过融入模型参数的先验知识,在给定数据样本及模型假设下进行后验概率的贝叶斯推理,使用马尔可夫链蒙特卡罗算法来优化模型控制参数,实现了对神经网络模型中不同部分复杂度的控制,获得了模型参数的后验分布及预测分布.在5个含噪二维函数回归问题上的应用显示了模型的复杂度能根据数据的复杂度而自适应调整,并给出了较好的预测结果.     

空间约束半监督高斯过程下的高光谱图像分类

针对高光谱遥感图像分类中带标记训练样本较少、导致分类正确率偏低的问题,提出用于高光谱图像分类的空间约束半监督高斯过程方法.由于高光谱图像的特征空间满足流形分布假设,大量未标记样本可以使数据空间变得更加稠密,从而有助于更加准确地刻画局部空间特性,提高分类的精度和普适性.通过对高斯过程模型中的核函数施加空间近邻约束,建立未标记样本与带标记样本之间的空间联系.该半监督高斯过程分类器不仅可以提升高光谱遥感图像的分类性能,而且构造简单,实现方便.实验结果表明,在仅有少量带标记的训练样本情况下,半监督高斯过程分类方法对高光谱图像有较高的分类精度和稳定性.     

基于集成学习的支持向量回归预测模型

作为统计机器学习中最为流行的算法之一,支持向量回归(SVR)在小样本、非线性、高维数据预测中有着许多优越的性质和实验表现。然而,SVR的复杂度直接由训练样本的尺寸n决定(其时间和空间复杂度分别为O(n2)、O(n3)),为此提出了一种基于集成的SVR预测模型。该模型将训练样本多次随机地分割为代表数据子集和验证数据子集,从而建立多个简化的SVR子模型及其评价,再利用组合法形成最终的集成预测器。最后,江西省某县的天气、日尖峰负荷数据用以检验该模型的适用性。     

回归模型构建中变量选择的研究

回归模型建立过程中如何选择合适的解释变量以及如何确定每个解释变量的函数形式至关重要,它直接影响模型的拟合能力和预测能力.论文在传统的变量选择的评价准则和变量选择方法的基础上,探讨了如何在模型中包含的变量不确定的情况下,准确有效的进行变量的选择,并在变量选择的同时进行变量的变换.旨在提高模型预测的精确度.     

基于支持向量回归的VPMCD方法及其在局部放电模式识别中的应用

针对传统VPMCD方法在回归预测过程中存在的缺陷,采用支持向量回归代替原方法中的多项式回归模型,解决了原回归方法对高维小样本数据预测精度差的问题。在基于支持向量回归的VPMCD方法中,首先采集各个不同类型的放电样本,并提取特征向量构成样本集合;其次,通过支持向量回归对训练样本进行训练,建立各放电类型的变量预测模型;然后,利用这些模型对测试样本进行回归预测,得到各样本相应的预测平方和误差;最后,以预测误差平方和最小为依据,识别各放电样本的放电类型。相较于BP神经网络、SVM、传统VPMCD方法,SVR-VPMCD方法具有更好的分类效果。     

基于支持向量机的不等时距灰色组合预测模型

建立了一种基于支持向量机的不等时距灰色组合预测模型.利用各种不等时距灰色模型的预测结果作为支持向量机的输入,实测值作为支持向量机的输出,并采用LS-SVM回归算法和高斯核函数对支持向量机进行训练,利用训练好的支持向量机即可进行组合预测.该模型兼具灰色模型所需原始数据少、建模简单、运算方便的优势和最小二乘支持向量机具有泛化能力强、非线性拟合性好、小样本等特性,弥补了单一不等时距预测模型的不足,避免了神经网络组合预测易于陷入局部最优的弱点.模型结构简单、实用,仿真结果验证了其有效性.     

基于贝叶期神经网络的非参数回归

提高神经网络模型推广能力的关键是控制模型的复杂度，该文探索了贝叶期神经网络的非参数回归的建模方法，通过融入模型参数的先验知识，在给定数据样本及模型假设下进行后验概率的贝叶期推理，使用马尔可夫链蒙特卡罗算法来优化模型控制参数，实现了对神经网络模型中不同部分复杂度的控制，获得了模型和的后验分布及预测分布，在5个含噪二维函数回归问题上的应用显示了模型的复杂度能根据数据的复杂度而自适应调整，并给出了较好的预测结果。     

利用回归和人工神经网络预测城市雨水径流总磷模型的有效性

利用人工神经网络(ANN),探讨在不无监测系统的集水区城市降水质量预测的适用性.预测使用常规的气候和地理数据集,通过构建背景传播的神经网络和回归联合模型,克服利用逐步回归的方法对数据进行分析时违背独立数据假设的问题.研究通过交叉验证用于确定停止降水时间为输入变量参数,利用地区平均浓度(EMC)作为独立的变量,构建的模型比用负荷量构建的模型更精确.数据域和输入变量的选择对回归模型的准确性也有较大影响.但计算效率、动量和隐节点数目的选择等因素,对人工神经网络模型准确性的影响较小.同时,回归和人工神经网络模型的降水质量预测结果十分相似,但在不无监测系统的集水区域城市降水质量的预测方面,回归模型更有实效性.     

基于组合核函数的高校经济困难生分类

为进一步提高高校资助工作的精准度,构建基于组合核函数的支持向量机(SVM)高校经济困难生分类模型。根据在校生的消费数据、人员信息及历史资助信息抽取样本特征,利用径向基(RBF)核函数的局部拟合能力及多项式核函数的泛化能力,构建基于RBF核函数及多项式核函数的组合核函数SVM分类模型;采用多重网格搜索法训练模型获取最优核参数和组合核函数的权系数,并对高校经济困难生进行分类预测。实验结果表明:采用构建的模型可对高校经济困难生进行分类预测,与单核核函数SVM、逻辑回归模型、最近邻算法(KNN)相比,其分类准确率显著提升;使用融合特征可增加不同类别样本数据的差异性,有助于提高分类准确率。     

基于N-Gram与加权分类器集成的恶意代码检测

提出网页恶意脚本代码的监测系统,将恶意脚本用V8引擎编译成机器码,用变长N-Gram模型对其进行数据处理,提取特征形成样本训练集.分别与随机森林、逻辑回归及朴素贝叶斯等分类器组合创建分类模型.研究将多个经过训练集训练的分类模型集成,提出加权分类器集成的方式,每个分类器设定不同权值.通过实验分析,试验多种分类器组合,并通过训练集找出最优权值分配.通过比较单个分类器和其他集成方式,结果证明训练过的加权集成分类器的方式能更准确地检测网页存在恶意行为的代码,有较高的准确率.     

面向WSN的稀疏核学习机分布式训练方法

针对无线传感器网络（WSN）中,经过多跳路由传输训练数据到数据中心进行集中式训练时存在的高数据通信代价问题,基于L1正则化的稀疏特性,研究了仅依靠邻居节点间的协作,在网内分布式协同训练核最小均方差（KMSE）学习机的方法.首先,在节点模型与邻居节点间局部最优模型对本地训练样本预测值相一致的约束下,利用并行投影方法和交替方向乘子法对L1正则化KMSE的优化问题进行稀疏模型求解;然后,当各节点收敛到局部稳定模型时,利用平均一致性算法实现各节点稀疏模型的全局一致.基于此方法,提出了基于并行投影方法的L1正则化KMSE学习机的分布式（L1-DKMSE-PP）训练算法.仿真实验结果表明,L1-DKMSE-PP算法能够得到与集中式训练算法相当的预测效果和比较稀疏的预测模型,更重要的是能显著降低核学习机训练过程中的数据通信代价.     

Unsupervised adversarial learning method for hard disk failure prediction

In order to solve the problem of over-fitting of traditional supervised learning methods in anomaly detection of unbalanced datasets, an unsupervised adversarial learning method is proposed for hard disk failure prediction. This method uses the long short-term memory neural network and fully connected layer to design an Autoencoder that can be used for secondary coding. Only normal samples are used for training. By reducing the reconstruction error and the distance between potential vectors, the model can learn the data distribution of normal samples, thus improving the generalization ability of the model. The model also introduces the generative adversarial network to enhance the effect of unsupervised learning. Experiments on several datasets show that the recall rate and precision of the proposed method are higher than those of traditional supervised learning and semi-supervised learning classifiers, and that its generalization ability is stronger. Therefore, the unsupervised adversarial learning method is effective in hard disk failure prediction.     

基于学习自动机与萤火虫算法的链路预测

便携交换网络由具有社区属性和移动规律的人组成,具有节点移动性、节点间间歇性连接、高延迟等特点,本文研究其网络行为预测中的链路预测问题,提出基于学习自动机和萤火虫算法的链路预测方法。采用学习自动机对节点进行自适应聚类,完成网络的社区划分;定义社区属性影响系数和移动行为影响系数,构建反映便携交换网络社区属性、节点移动性和节点间间歇性连接的相似性指标;将该指标与CN、RA、AA等指标融合,得到便携交换网络的相似性指标向量;借助差分整合移动平均自回归模型的时间序列分析能力,提取相似性指标向量序列的演化规律;采用萤火虫算法优化所构建的二分类器,预测节点对下一时刻的连接状态。在INFOCOM06和MIT两个真实数据集上的实验结果表明,与受限玻尔兹曼机、弱评估器等方法对比,本文方法具有更高的准确率和更好的稳定性。     

结合主动学习的威胁情报IOC识别方法

威胁指标(IOC)作为网络威胁的特征描述,是识别和防御网络攻击的重要凭证。当前IOC识别主要依赖于神经网络模型,其效果取决于标注数据的数量。然而,目前IOC识别领域缺乏公认的数据集,且IOC的标注只能由安全专家手动完成,标注成本高,难以获取大量已标注数据。针对该问题,提出了一种结合主动学习的威胁情报IOC识别方法 ICAL。该方法首先基于样本的代表性选择初始样本进行人工标注,然后基于聚类假设对聚类样本进行伪标注,最后基于样本的不确定性继续迭代标注,直到满足终止条件。使用CNNPLUS作为分类模型,在自构建的威胁情报数据集上进行实验。结果表明,相比于传统IOC自动识别策略,ICAL的识别准确率达到94.2%、召回率达到94.1%,同时减少了58%的人工标注工作量,具有较高的实用价值。     

基于高斯过程的大坝变形预测模型

鉴于高斯过程在处理高维数、小样本和非线性等复杂的问题的突出表现,提出基于高斯过程的大坝变形预测新模型.详细分析基于GP的大坝变形预测模型构建过程,并建立预测结果的方差及置信区间的估计方法.将GP模型与多种大坝预测模型进行精度对比,并进行结果可靠性分析.通过实例分析可知,GP模型预测结果的精度指标优于其余方法,并且实测值均在估计的置信区间内.因此,证实GP模型是一种精度及可靠性高的大坝变形预测新方法.     

改进卷积玻尔兹曼机的图像特征深度提取

针对卷积深度和信念网络存在计算复杂度高和训练缓慢的问题,提出卷积深度玻尔兹曼机用于图像特征提取.针对卷积受限玻尔兹曼机进行改进,提出最大化图像中间区域概率的训练目标函数,并引入性能较好的交叉熵稀疏惩罚因子和dropout训练方法.设计卷积深度玻尔兹曼机结构,提出均值聚合机制,将聚合层内点的值定义为block中各点激活概率均值,对层间关联进行简化,将聚合层内各面直接叠加以供高层CRBM提取特征.通过在MNIST手写数字识别集上的实验结果证明,采用新模型提取的图像特征分类准确率提高0.5%、训练时间减少50%,且达到了目前MNIST数据集的最佳水平.     

提高BP网络训练速度的研究

由于误差函数的高维复杂性,BP网络在目前的应用中存在训练速度慢至导致网络系统瘫痪的问题,针对训练中的归一化问题、隐层节点数的选取、样本数目的增减取、样本数目的增减法、整体学习率的确定及训练算法进行了研究。结果表明：训练样本数据不必一定归一化到[0,1],可以通过简单的线性变换将数据转化到某相区间,使分布合理,以满足训练需要;根据经验公式,确定隐层节点数的初值,选取规模略大一点的网络开始训练;网络应对学习过的样本加强记忆,更应注意剔除错误样本;引入黄金侵害法的思想来调整学习率的步长,效果理想;采用单参数动态搜索算法作为学习算法,能快达到训练要求的精度。     

Cluster-Based Distributed Algorithms for Very Large Linear Equations

LetAbe ann×nreal matrix,letBbe a vectorinRn,and consider the system of linear equationsAX=B,whereXis an unknown vector to be deter-mined[1].There are many solving methods such asserial software LINPACKetc.[2,3],usually classifiedas direct and iterative,direct methods find the exactsolution with a finite number of operations,typicallythe order isO(n3),iterative methods do not obtainan exact solutioninfinite ti me,but they converge toa solution asymptotically.In many applications suchas c…     

H.264帧内快速预测算法的研究

新一代视频压缩标准H.264/AVC使用率失真优化算法在提高压缩率的同时增加了计算复杂度。为了减少计算复杂度,提出了一种快速帧内预测算法。通过MAD（平均绝对误差）均值对宏块进行4×4块和16×16块预判,再根据SATD（残差绝对值总和）代价函数计算Cost值,排除较小可能性的模式,缩小4×4块的预测模式范围。用标准视频序列对该算法验证,结果表明该算法在保证峰值信噪比的前提下,节省了预测时间.     

MIMO系统双向自适应高斯逼近检测算法

针对多输入多输出(MIMO)系统高斯逼近检测算法计算复杂度高，以及在搜索径数较少的时候，可能出现严重的误差传播，导致检测性能下降等问题，对多输入多输出系统检测进行了研究，提出了一种新的双向自适应高斯逼近算法.传统的高斯逼近算法在接收端进行树形搜索，当搜索径数较多时，高斯逼近算法能很好地抑制误差传播，但算法开销很大；当搜索径数较少时，存在严重的误差传播.双向自适应高斯逼近检测算法（BID-A-GA），通过从正向和反向并行地进行检测，判断误差传播是否产生，从而自适应地调整搜索径数，在抑制误差传播的同时，降低了算法复杂度.新的双向自适应检测算法能并行计算，运算时延低，且能在低复杂度情况下有效地抑制误差传播.