基于小波神经网络的通用多变量非线性系统辨识算法和应用

在分析小波函数对L2(R)空间的逼近原理的基础上,给出了仅使用尺度函数的神经网络模型和网络学习方法,使得用于逼近低通系统的小波基函数大大减少,并给出逼近的理论依据.提出的小波神经网络模型的学习为线性LS参数估计问题,具有通用性和易用性,并具有线性系统中线性LS参数估计的优良性质,保证了在训练数据受噪声污染时的网络模型的推广能力.理论分析、仿真实验和实际应用结果都说明该辨识方法具有好的辨识精度和推广能力.     

A comprehensive survey on regularization strategies in machine learning

In machine learning, the model is not as complicated as possible. Good generalization ability means that the model not only performs well on the training data set, but also can make good prediction on new data. Regularization imposes a penalty on model’s complexity or smoothness, allowing for good generalization to unseen data even when training on a finite training set or with an inadequate iteration. Deep learning has developed rapidly in recent years. Then the regularization has a broader definition: regularization is a technology aimed at improving the generalization ability of a model. This paper gave a comprehensive study and a state-of-the-art review of the regularization strategies in machine learning. Then the characteristics and comparisons of regularizations were presented. In addition, it discussed how to choose a regularization for the specific task. For specific tasks, it is necessary for regularization technology to have good mathematical characteristics. Meanwhile, new regularization techniques can be constructed by extending and combining existing regularization techniques. Finally, it concluded current opportunities and challenges of regularization technologies, as well as many open concerns and research trends.     

一种基于神经网络集成的决策树构造方法

神经网络集成方法具有比单个神经网络更强的泛化能力，却因为其黑箱性而难以理解；决策树算法因为分类结果显示为树型结构而具有良好的可理解性，泛化能力却比不上神经网络集成。该文将这两种算法相结合，提出一种决策树的构造算法：使用神经网络集成来预处理训练样本，使用C4．5算法处理预处理后的样本并生成决策树。该文在UCI数据上比较了神经网络集成方法、决策树C4．5算法和该文算法，实验表明：该算法具有神经网络集成方法的强泛化能力的优点，其泛化能力明显优于C4．5算法；该算法的最终结果昆示为决策树，显然具有良好的可理解性。     

An optimizing BP neural network algorithm based on genetic algorithm

A back-propagation (BP) neural network has good self-learning, self-adapting and generalization ability, but it may easily get stuck in a local minimum, and has a poor rate of convergence. Therefore, a method to optimize a BP algorithm based on a genetic algorithm (GA) is proposed to speed the training of BP, and to overcome BP’s disadvantage of being easily stuck in a local minimum. The UCI data set is used here for experimental analysis and the experimental result shows that, compared with the BP algorithm and a method that only uses GA to learn the connection weights, our method that combines GA and BP to train the neural network works better; is less easily stuck in a local minimum; the trained network has a better generalization ability; and it has a good stabilization performance.     

GMM-UBM和SVM在说话人识别中的应用

针对说话识别领域短语音导致的训练数据不充分的问题,选择能够突出说话人个性特征的GMM-UBM作为基线系统模型,并引入SVM解决GMM-UBM导致的系统鲁棒性差的问题. 选择不同的核函数对SVM的识别性能有较大的影响,针对多项式核函数泛化能力较强、学习能力较差与径向基核函数学习能力较强、泛化能力较差的特性,对两种单核核函数进行线性加权组合,以使组合核函数兼具各单核的优点. 仿真实验结果表明,组合核函数SVM的识别率和等错误率明显优于不引入SVM的GMM-UBM的基线系统及其它三个单核函数,并在不同信噪比情况下也兼顾了系统识别准确率与鲁棒性.     

模糊层次神经网络的学习算法

该文基于模糊层次神经网络模型,提出了模糊层次神经网络的比例学习算法。模拟结果表明利用该算法训练的模糊层次神经网络具有较好的非逻辑归纳能力和特征抽取能力,并且学习速度也大大加快。     

Spark下BP神经网络并行化算法研究

BP算法(反向传播算法)以其良好的非线性逼近能力、泛化能力以及实用性成为了人工神经网络训练算法中应用最为广泛的算法.但同时使用BP算法又存在收敛速度较慢、易陷入局部极小值等问题.为了将BP算法用于大规模数据分类问题,采用MapReduce思想,将大数据集切分成若干小的数据集来并行加速处理,同时引入Bagging算法的思想来综合并行结果,提高分类的准确率.通过在各个节点上根据子数据集独立地训练各个BP神经网络,直至各网络收敛,再将各节点上的网络收集起来进行集成,形成最终的分类器.基于Spark平台的实验表明,本文提出的算法具有良好的并行加速性能,且具有较高的分类准确率.     

基于径向基神经网络用于中医舌诊诊断的研究

研究基于聚类分析的径向基神经网络用于中医舌诊诊断,构建一个中医舌诊智能诊断的神经网络模型。先对输入样本集进行数据归一化处理,采用K—means聚类算法对样本集进行聚类分析,得到聚类中心的位置和数量,再构建RBF神经网络进行学习、训练。以肝病病证诊断进行仿真。实验结果表明：该中医舌诊智能诊断模型具有诊断能力强、收敛速度快、泛化能力强等特点。因此,基于聚类分析的径向基神经网络用于中医舌诊诊断的研究是可行的、有效的。     

基于驾驶员面部时序数据的疲劳驾驶检测算法

针对传统疲劳驾驶检测方法识别准确率低、泛化能力差的问题,提出了一种基于CNNs和LSTM的端到端可训练网络,检测驾驶员的疲劳状态。根据驾驶员面部特征点提取ROI,将在其他计算机视觉任务上表现较好的深度网络迁移到疲劳检测任务中,并结合LSTM处理时序数据的能力,提出一种新的疲劳检测网络,该网络能够读入视频流中的时序数据并检测出驾驶员的疲劳状态。实验证明所提方法和模型在公开数据集中具有较高的识别准确率,并且在不同的数据集间具有很好的泛化能力,对于减少路面车祸、保障人身安全具有很重要的意义。     

LS-SVM在提高气压测高系统精度中的应用研究

在利用计算机软件补偿飞机测高系统误差方法中,传统的采用分段拟合方法精度不高,非线性误差大;神经网络存在过学习、网络拓扑结构不易确定以及泛化能力差等缺点。提出利用最小二乘支持向量机(LS-SVM)对某型飞机测高系统误差进行预测、补偿,提高其测高精度。在分析LS-SVM回归算法的基础上,利用LS-SVMlab1.5对某型飞机测高系统误差样本数据进行了仿真。结果表明,LS-SVM在数据回归预测方面精度高、泛化能力强、稳定性好,可以有效提高飞机气压测高系统精度,具有应用推广价值。     

基于支持向量机的非线性预测控制技术

探讨了利用支持向量机进行非线性系统辨识的方法,并将支持向量机模型应用到非线性预测控制,提出了基于支持向量机模型的非线性预测控制算法.对一个CSTR反应器的仿真表明,支持向量机在小样本情况下具有良好的非线性建模能力和泛化能力.基于支持向量机的预测控制具有很好的控制性能,为通用非线性控制提供了一种新的控制思路.􀁽     

基于进程调度序列的网络入侵检测

支持向量机作为统计学习理论中的新内容，在小样本条件下具有良好的学习性能。本文以进程调度序列作为审计数据，利用支持向量机实现网络入侵检测，对有限样本进行训练，对未知样本进行检测，并研究核函数、训练样本数量对检测正确率的影响。实验仿真表明，该方法具有较高的检测正确率。     

基于胶囊网络的跨域行人再识别

行人再识别是在不同环境下再次对特定行人进行检索,近几年来受到国内外学者的广泛关注。目前行人再识别算法多采用局部特征与全局特征相结合的方法,在单一数据集上的训练和测试取得了非常好的成绩,但是在跨域测试中成绩并不理想,泛化能力较低。提出一种基于深度胶囊网络的跨域行人再识别方法,通过视角分类训练任务,模型可以学习图像中行人的有效特征,这些特征可以直接迁移到行人再识别任务中,缓解了行人再识别泛化能力不足的问题。实验结果表明,本文模型优于目前所有无监督学习行人再识别方法,具有良好泛化能力。     

一种改进的支持向量机NN-SVM

支持向量机(SVM)是一种较新的机器学习方法，它利用靠近边界的少数向量构造一个最优分类超平面。在训练分类器时，SVM的着眼点在于两类的交界部分，那些混杂在另一类中的点往往无助于提高分类器的性能，反而会大大增加训练器的计算负担，同时它们的存在还可能造成过学习，使泛化能力减弱．为了改善支持向量机的泛化能力，该文在其基础上提出了一种改进的SVM—NN-SVM：它先对训练集进行修剪，根据每个样本与其最近邻类标的异同决定其取舍，然后再用SVM训练得到分类器．实验表明，NN-SVM相比SVM在分类正确率、分类速度以及适用的样本规模上都表现出了一定的优越性．     

基于流形学习的极端学习机及其在人脸识别中的应用

极端学习机以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用,然而现有的ELM及其改进算法并没有充分考虑到数据维数对ELM分类性能和泛化能力的影响,当数据维数过高时包含的冗余属性及噪音点势必降低ELM的泛化能力,针对这一问题本文提出一种基于流形学习的极端学习机,该算法结合维数约减技术有效消除数据冗余属性及噪声对ELM分类性能的影响,为验证所提方法的有效性,实验使用普遍应用的图像数据,实验结果表明本文所提算法能够显著提高ELM的泛化性能。     

Temporal convolutional network with soft thresholding and attention mechanism for machinery prognostics

Remaining useful life (RUL) prediction is a challenging task for prognostics and health management (PHM). Due to the complexity physics involved for precisely modeling the machine degradation process, learning-based data-driven methods, which learn the degradation pattern solely from the historical data without referring to physical models, have become promising alternatives to model-based prognostic methods. In this paper, a new temporal convolutional neural network (TCN) with soft threshold and attention mechanism is proposed for machinery prognostics. Multi-channel sensor data are directly used as inputs to the prognostic network without feature extraction as a pre-processing step. A soft thresholding mechanism is embedded in the network, serving as a flexible activation function for certain layers to preserve useful features. The threshold value is adaptively learned by a subnetwork trained with the attention mechanism instead of assigning a deterministic value to the threshold. As a result, each feature map is assigned a customized threshold value such that the network training process can focus on features that are more critical to RUL prediction. To verify the generalization ability of the proposed method, three benchmark datasets related to rolling bearings and cutting tools are tested, and the performance of the developed method is compared with several state-of-the-art prognostic approaches. The results show that for all the three case studies, the developed method has produced accurate RUL prediction with good robustness and generalization ability.     

用P-BP预测网络模型预测通信网络指标

结合某通信企业业务数据的特点，为其通信网络数据预测业务建立了一套通用的P BP预测网络模型。它以时间序列分析为建模依据和指导，并改变BP神经网络的学习方法，提出BP L网络用作模型中挖掘数据依赖性的工具，它的预测精度、运算速度、泛化能力明显高于BP网络。此外，P BP模型能依据历史数据自动计算最合适的预测阶数；根据业务数据特点设计的消除非平稳因素的方法，使其在平稳化的同时能很好地提高并行运算性能；用区间估计过滤异常数据，具有较强的抗干扰能力，能适应实际的工作环境。用业务数据测试该模型，得到了快速的、非常精确的预测效果和完备的预测值置信区间。     

支持向量机在发动机参数采集器故障诊断中的应用

支持向量机作为一种基于结构风险最小化原则的统计学习理论,目前已广泛地应用于模式识别[1]、函数逼近[2]等研究领域,尤其是在小样本情况下相比传统统计学习理论体现了更好的泛化性能.选择无量纲参数作为支持向量机的特征向量,将其应用于发动机参数采集器的故障诊断中,结果表明,它对发动机参数采集器的故障模式具有很好的分类能力.     

Integration of discriminative and generative models for activity recognition in smart homes

Activity recognition in smart homes enables the remote monitoring of elderly and patients. In healthcare systems, reliability of a recognition model is of high importance. Limited amount of training data and imbalanced number of activity instances result in over-fitting thus making recognition models inconsistent. In this paper, we propose an activity recognition approach that integrates the distance minimization (DM) and probability estimation (PE) approaches to improve the reliability of recognitions. DM uses distances of instances from the mean representation of each activity class for label assignment. DM is useful in avoiding decision biasing towards the activity class with majority instances; however, DM can result in over-fitting. PE on the other hand has good generalization abilities. PE measures the probability of correct assignments from the obtained distances, while it requires a large amount of data for training. We apply data oversampling to improve the representation of classes with less number of instances. Support vector machine (SVM) is applied to combine the outputs of both DM and PE, since SVM performs better with imbalanced data and further improves the generalization ability of the approach. The proposed approach is evaluated using five publicly available smart home datasets. The results demonstrate better performance of the proposed approach compared to the state-of-the-art activity recognition approaches.     

改进的基于神经网络的非线性多元回归分析

介绍了Levenberg-Marquardt算法来加速神经网络的训练过程,并且为了使得网络回归分析结果具有良好的泛化能力,在训练算法的目标函数中综合了网络权值因素。最后对所给出的算法进行了实例仿真,仿真结果表明该算法不仅具有较好的数据拟合精度,而且具有很好的泛化性能。