对称神经元网络：渐近稳定性和学习

本文在分析对称神经元网络的渐近稳定性基础上,提出了一种非约束优化学习算法,保证训练样本成为稳定吸引子,具有一定大小的吸引域.理论上,我们证明了算法的收敛性以及形成的吸引域下界.计算机实验结果充分说明了学习算法的优越性.     

用参数正交选优神经网络算法解货郎问题

本文发现了货郎问题(TSP)能量函数的参数空间中的吸引域与全局性优化解之间存在着确定的对应关系，并找到了许多参数空间中的吸引域．在此基础上提出了一种新算法——参数正交选优神经网络算法求解TSP，30城市、31城市(中国)和300城市TSP的求解结果都十分满意，表明这种新算法的有效性．     

基于支持向量域描述的学习分类器

文章在分析支持向量域描述的基础上发展了一类基于描述的学习分类器.该算法在训练时通过在高维特征空间中求取所描述的训练样本的超球体边界，然后通过该边界对样本数据进行分类.文章所获得的学习算法和支持向量机（SVM）和序列最小优化（SMO）算法相比，不仅降低了样本的采集代价，而且在训练速度上有了很大提高.在CBCL人脸库和USPS手写数字识别的实验中，给出了该算法和SVM、SOM算法的实验对比结果，说明了该学习算法的有效性。     

基于极大极小准则的异联想记忆网络学习算法

提出了设计异联想记忆网络的极大极小准则，即设计出的连接权阵应使得网络最小的记忆模式对的吸引域达到最大。首先给出了一种快速学习算法，它设计出的网络连接权值只取１，０或－１；再进一步发展了一个启发性迭代学习算法，称为约束感知器优化学习算法，它以快速学习算法的结果作为连接权阵的迭代实值。     

捕鱼算法优化核极限学习机的微博热点话题预测

微博热点话题预测对网络舆情控制与管理具有重要意义,针对微博网络热点话题的随机性、非线性以及核极限学习的隐层权值和隐层阈值优化难题,提出一种捕鱼算法优化在核极限学习的微博热点话题预测模型。首先将微博网络热点话题历史样本划分训练样本和测试样本集,然后采用在核极限学习对微博热点话题训练样本进行学习与建模,并采用捕鱼算法优化在线极限学习的隐层权值和隐层阈值,最后采用微博热点话题测试样本对其性能进行测试。实验结果表明,本文模型可以描述微博热点话题的发展趋势,提高了网络热点话题的预测精度,而且性能优于其它网络热点话题预测模型。     

类不均衡的半监督高斯过程分类算法

针对传统的监督学习方法难以解决真实数据集标记信息少、训练样本集中存在类不均衡的问题,提出了类不均衡的半监督高斯过程分类算法。算法引入自训练的半监督学习思想,结合高斯过程分类算法计算后验概率,向未标记数据中注入类标记以获得更多准确可信的标记数据,使得训练样本的类分布相对平衡,分类器自适应优化以获得较好的分类效果。实验结果表明,在类不均衡的训练样本及标记信息过少的情况下,该算法通过自训练分类器获得了有效标记,使分类精度得到了有效提高,为解决类不均衡数据分类提供了一个新的思路。     

基于密度敏感最大软间隔SVDD不均衡数据分类算法

为了提高传统支持向量域描述（C-SVDD）算法处理不均衡数据集的分类能力,提出一种基于密度敏感最大软间隔支持向量域描述（DSMSM-SVDD）算法.该算法通过对多数类样本引入相对密度来体现训练样本原始空间分布对求解最优分类界面的影响,通过在目标函数中增加最大软间隔正则项,使C-SVDD的分类边界向少数类偏移,进而提高算法分类性能.算法首先对每个多数类样本计算相对密度来反映样本的重要性,然后将训练样本输入到DSMSM-SVDD中实现数据分类.实验部分,讨论了算法参数间的关系及其对算法分类性能的影响,给出算法参数取值建议.最后通过与C-SVDD的对比实验,表明本文建议的算法在不均衡数据情况下的分类性能优于C-SVDD算法.     

基于自适应3DLBP特征的人脸深度图像识别北大核心

针对人脸深度图像的分类识别问题展开研究,提出一种自适应3DLBP(3D Local Binary Pattern,3DLBP)特征提取算法。该特征提取算法以机器学习理论为基础,首次将反馈学习理论与3DLBP特征提取过程相结合,以保证特征提取算法对训练样本集的变化具有理想的普适性;同时,为了提高自适应特征提取算法的稳定性,提出使用多分类器对反馈学习过程进行优化。实验结果表明,自适应3DLBP特征对训练样本集的变化具有较好的有效性和稳定性,在FRGCv2.0人脸数据库上取得了理想的识别效果。     

基于自适应3DLBP特征的人脸深度图像识别

针对人脸深度图像的分类识别问题展开研究,提出一种自适应3DLBP(3D Local Binary Pattern,3DLBP)特征提取算法.该特征提取算法以机器学习理论为基础,首次将反馈学习理论与3DLBP特征提取过程相结合,以保证特征提取算法对训练样本集的变化具有理想的普适性;同时,为了提高自适应特征提取算法的稳定性,提出使用多分类器对反馈学习过程进行优化.实验结果表明,自适应3DLBP特征对训练样本集的变化具有较好的有效性和稳定性,在FRGCv2.0人脸数据库上取得了理想的识别效果.     

主动学习高光谱图像分类算法GPU并行计算优化

本文利用高光谱图像的空间-光谱维信息,结合主动学习算法实现高光谱图像分类。该算法利用较少的训练样本获得较高的分类精度,与此同时,该算法的运算过程复杂度高且计算效率非常低。针对这一特点,本文提出了一种利用图像处理器(Graphic processing units,GPUs)对算法进行数据级并行计算优化。并且利用真实场景的高光谱图像对文中提出的并行计算优化方案进行了实验验证,结果表明该方法在保证与串行分类精度一致的情况下,其计算加速比达到34倍左右,验证了基于GPU的高光谱图像分类算法的有效性。     

Optimal gradient descent learning for bidirectional associative memories

A learning algorithm for bidirectional associative memories (BAMs) is presented, which results in a greatly enhanced storage capacity. The design strategy is formulated as a convex optimisation problem, and then solved by a steepest-descent approach. The proposed method guarantees the storage of all the training pairs as stable states of the BAM. Computer simulation results are presented to demonstrate the performance of the proposed algorithm.<>     

Neural networks for high-storage content-addressable memory: VLSIcircuit and learning algorithm

An implementation of a VLSI fully interconnected neural network with only two binary memory points per synapse is described. The small area of single synaptic cells allows implementation of neural networks with hundreds of neurons. Classical learning algorithms like the Hebb's rule show a poor storage capacity, especially in VLSI neural networks where the range of the synapse weights is limited by the number of memory points contained in each connection; an algorithm for programming a Hopfield neural network as a high-storage content-addressable memory is proposed. The storage capacity obtained with this algorithm is very promising for pattern-recognition applications     

基于加权自学习散列的高维数据最近邻查询算法

因为查询和存储具有高效性,学习型散列逐渐被应用于解决最近邻查询问题.学习型散列将高维数据转化成二进制编码,并使得原始高维空间中越相似的数据对应二进制编码的汉明距离越小.在实际应用中,每次查询都会返回许多与查询点汉明距离相同而编码互不相同的数据.如何对这些数据进行排序是一个难题.提出了一种基于加权自学习散列的近邻查找算法.实验结果表明,算法能够高效地对具有相同汉明距离的不同编码进行重排序,加权排序后查询的F1值约是原来的2倍并优于同系算法,时间开销可比直接计算原始距离进行排序降低一个数量级.     

多模式对连接权矩阵的一种神经网络学习算法

该文提出多模式对连接权矩阵的一种神经网络学习算法,并给出了严格的理论证明。该算法能够将多个模糊模式对可靠地编码存储到尽可能少的连接权矩阵中,从而大大地减少存储空间,而且容易实现,并举例验证了它的有效性。     

Method for location of clusters of patterns to initialise a learning machine

Pattern recognition has usually been regarded as a two-part process requiring both measurement and classification. It has also been accepted by many workers that the classifier can best be designed using an automatic learning process. However it is well known that many of the proposed learning schemes sometimes fail to realise the most efficient use of the available storage. This difficulty usually arises whenever the initial classifier was a poor approximation to the teacher. The design of the classifier using such learning techniques would clearly be more successful if a method could be found of providing a good starting state for the learning machine. The letter defines an algorithm and examines its performance in this task of initialising a learning machine.     

二元神经网络模型中的Monte Carlo学习算法

基于作者以前提出的一种单通道双极光学神经网络结构,利用自适应阈值,本文提出了一个新的Monte Carlo学习算法的判据。这个判据可以使Monte Carlo学习算法进一步改善神经网络的性能。     

包含隐变量的贝叶斯网络增量学习方法

提出了一种贝叶斯网络增量学习方法——ILBN.ILBN将EM算法和遗传算法引入到了贝叶斯网络的增量学习过程中,用EM算法从不完整数据计算充分统计量的期望,用遗传算法进化贝叶斯网络的结构,在一定程度上缓解了确定性搜索算法的局部极值问题.通过定义新变异算子和扩展传统的交叉算子,ILBN能够增量学习包含隐变量的贝叶斯网络结构.最后,ILBN改进了Friedman等人的增量学习过程.实验结果表明,ILBN和Friedman等人的增量学习方法存储开销相当,但在相同条件下,学到的网络更精确;实验结果也证实了存在不完整数据和隐变量时,ILBN的增量学习能力.     

基于FCM与KKT条件的增量学习方法

增量学习方法的思想是仅利用部分相关的样本集参与训练,即能够保留历史样本知识,又能够不断地吸收新的知识,提高机器学习效率和精度,解决了大量样本训练时间长和存储空间不足的问题。因此,如何有效地丢弃大量无效的样本点是增量学习算法研究的重点。文中提出了一种FCM(Fuzzy C-Means)和KKT(Karush-KuhnTucker)条件结合的增量学习方法,分别从历史样本集和新增样本集两个阶段对无效样本进行过滤,利用余下的样本进行训练。最后,利用UCI数据库中的4组数据进行实验分析,结果证明训练精度与全数据样本的训练精度几乎完全拟合。     

一种基于Lasso回归与SVD融合的深度学习模型压缩方法

针对深度学习模型所需的海量参数及强大的计算资源而导致其不能很便捷地应用于嵌入式设备或移动端的问题,在Lasso（Least Absolute Shrinkage and Selection Operator）回归通道挑选法的基础上,提出了Lasso+奇异值分解（Singular Value Decomposition,SVD）的融合压缩法。使用VGG-16为初始模型,分别在不同的小型数据集上进行迁移学习,使用迁移学习后的模型在不同的加速率下进行测试。实验结果表明,相对于传统的模型压缩算法,Lasso+SVD的融合压缩法实现了在加速和参数压缩两方面的优势,进而以目标检测为应用方向,在保证准确率的同时不仅降低了模型存储需求,而且也较大提升了模型的实时性。     

利用迁移学习的量化核最小平均P范数算法

在α稳定分布噪声背景下,核最小平均P范数算法(KLMP)的性能显著优于核最小均方算法(KLMS),但KLMP算法的计算量和存储容量都随迭代次数线性增加,不便实际应用。针对此问题,该文应用迁移学习理论,将基于样本实例获得的总滤波器划分为具有局部紧支撑结构的子滤波器之和,每个子滤波器的训练分别受不同的输入驱动,提出了最近实例质心估计核最小平均P范数算法(NICE-KLMP);为进一步减小存储容量,将在线矢量量化应用到该算法中,提出最近实例质心估计量化核最小平均P范数算法(NICE-QKLMP)。α稳定分布噪声背景下的 Mackey-Glass 时间序列预测的仿真结果表明,NICE-KLMP和NICE-QKLMP算法的复杂度显著低于KLMP算法,抗脉冲噪声性能显著强于NICE-KLMS算法,与KLMP算法相当。