基于视角-规则的深度TSK模糊分类器及其在多元癫痫脑电信号识别中的应用

在癫痫脑电信号分类检测中,传统机器学习方法分类效果不理想,深度学习模型虽然具有较好的特征学习优势,但其“黑盒”学习方式不具备可解释性,不能很好地应用于临床辅助诊断;并且,现有的多视角深度TSK模糊系统难以有效表征各视角特征之间的相关性.针对以上问题,提出一种基于视角-规则的深度Takagi-SugenoKang (TSK)模糊分类器(view-to-rule Takagi-Sugeno-Kang fuzzy classifier, VR-TSK-FC),并将其应用于多元癫痫脑电信号检测中.该算法在原始数据上构建前件规则以保证模型的可解释性,利用一维卷积神经网络(1-dimensional convolutional neural network, 1D-CNN)从多角度抓取多元脑电信号深度特征.每个模糊规则的后件部分分别采用一个视角的脑电信号深度特征作为其后件变量,视角-规则的学习方式提高了VR-TSK-FC表征能力.在Bonn和CHB-MIT数据集上, VR-TSK-FC算法模糊逻辑推理过程保证可解释的基础上达到了较好分类效果.     

基于改进PSO与规则约简的模糊系统优化算法

模糊系统是一种具有强可解释性和高鲁棒性的智能方法,但目前仍存在精度不高、产生的模糊规则太多等缺陷.针对目前存在的问题,论文通过改进粒子群优化算法优化模糊系统高斯型隶属度函数的参数,以及计算规则支持度约简模糊规则,提出了CPSFS和SPSFS两种模糊系统优化算法.在两个不同领域的经典数据集上的研究结果表明:1)CPSFS算法在训练集和测试集上的预测精度明显优于传统的BP神经网络、RBF神经网络、线性回归等算法;2)CPSFS算法与SPSFS算法减少了大量模糊规则,保证了模型的可解释性;3)CPSFS算法在约简模糊规则后预测精度依然表现最优,符合新时代下回归问题对于AI技术的要求.     

Takagi-Sugeno模糊系统双正则联合稀疏建模新方法

传统Takagi-Sugeno(T-S)模糊系统模型因模糊规则使用样本全部特征,导致模型的可解释性较差,冗余特征的存在还会导致模型的过拟合,降低模型的泛化性能。针对该问题,提出了一种模糊系统联合稀疏建模新方法L2-CFS-FIS(L2-common feature selection fuzzy inference systems),从而提高模型的泛化性能和可解释性。该方法充分考虑存在于模糊规则间的公共特征信息,同时引入模型过拟合处理机制,将模糊系统建模问题转化为一个基于双正则的联合优化问题,并使用交替方向乘子(alternating direction method of multipliers,ADMM)算法来进行求解。实验结果表明,该方法所构造的模糊系统不仅能够获得较为满意的泛化性能,而且通过有效地挖掘规则间重要的公共特征,可以确保模型具有较高的可解释性。     

特征扩展的随机向量函数链神经网络

基于宽度学习的动态模糊推理系统(broad-learning-based dynamic fuzzy inference system , BL-DFIS)能自动构建出精简的模糊规则并获得良好的分类性能. 然而, 当遇到大型复杂的数据集时, BL-DFIS因会使用较多模糊规则来试图达到令人满意的识别精度, 从而对其可解释性造成了不利影响. 对此, 提出一种兼顾分类性能和可解释性的模糊神经网络, 将其称为特征扩展的随机向量函数链神经网络(FA-RVFLNN). 在该网络中, 一个以原始数据为输入的RVFLNN被作为主体结构, BL-DFIS则用作性能补充, 这意味着FA-RVFLNN包含具有性能增强作用的直接链接. 由于主体结构的增强节点使用Sigmoid激活函数, 因此, 其推理过程可借助一种模糊逻辑算子(I-OR)来解释. 而且, 具有明确含义的原始输入数据也有助于解释主体结构的推理规则. 在直接链接的支撑下, FA-RVFLNN可利用增强节点、特征节点和模糊节点学到更丰富的有用信息. 实验表明: FA-RVFLNN既减缓了主体结构RVFLNN中过多增强节点带来的“规则爆炸”问题, 也提高了性能补充结构BL-DFIS的可解释性(平均模糊规则数降低了50%左右), 在泛化性能和网络规模上仍具有竞争力.     

结合模拟退火与规则约简的模糊系统优化方法

从数据中学习模糊系统是其智能建模的重要方法之一,针对目前模糊系统建模及优化方法对于学习后的模糊系统的规则数以及结构优化关注不足而影响了其精度和可解释性的问题,提出了一种结合模拟退火与基于支持度约简规则的模糊系统优化方法。该方法通过支持度约简系统冗余规则进而提高模糊系统的可解释性;同时利用模拟退火算法优化模糊系统的隶属度函数参数进一步提高模糊系统的精度。针对回归任务,与BP（Back Propagation）神经网络、径向基（Radial Basis Function,RBF）神经网络以及经典的模糊算法WM（Wang-Mendel）在不同领域的3个经典数据集上进行实验比较,实验结果表明：该算法在预测方面取得了更高的精度;与WM算法相比,所提算法中规则数明显减少,进一步提高了系统的可解释性。     

结构辨识和参数优化协同学习的概率TSK模糊系统

传统Takagi-Sugeno-Kang(TSK)模糊系统的结构辨识和参数优化往往分阶段进行,同时模糊规则数需要预先设定,因此TSK模糊系统的逼近性能和解释性往往不理想.针对此问题,提出了一种结构辨识和参数优化协同学习的概率TSK模糊系统(Probabilistic TSK fuzzy system,PTSK).首先,...     

一种改进的RBF网络结构及其参数的设计方法

针对神经网络在学习之后,模糊系统的原始结构被改变,或削弱了规则可解释性这一模糊系统突出特点的问题,给出了一种提取模糊If-then规则的径向基函数(RBF)神经网络结构。该神经网络结构具有能够同时清晰表达模糊控制系统输入空间划分和模糊规则可解释性的特点,克服了以往用神经网络提取模糊规则不能直观体现模糊语言规则可解释性的不足,并详细地讨论了此网络结构参数的设计方法。     

基于模糊划分和支持向量机的TSK模糊系统

为了提高模糊系统处理高维问题的推广能力与鲁棒性能,提出将模糊聚类和支持向量机算法结合起来构造TSK模糊系统的算法.首先运用模糊聚类算法对输入空间进行划分,确定模糊规则前件的隶属函数.然后用支持向量机算法确定模糊规则的后件参数.该支持向量机的核函数是由模糊规则前件的隶属函数构造的,并且是Mercer核.在3个数据集的实验结果表明,与TSK模糊系统的传统算法和支持向量机相比较,本文算法具有更好的推广能力和鲁棒性.     

一种神经模糊系统在数据分类中的应用

介绍了用于实现模糊分类的NEFCLASS系统，它能从数据中获取分类规则，得到的规则有良好的可解释性。并对它的结构和学习算法进行了分析，讨论了它的一个应用实例。     

多粒度融合的模糊规则系统图像特征学习

当前最流行的图像特征学习方法是深度神经网络,该类方法无需人工参与即可自动地通过特征学习提取高效的特征,用于分类识别等任务。然而,深度神经网络图像特征抽取方法目前也面临着诸多挑战,其有效性严重依赖大规模的数据,且通常被视为黑盒模型,解释性较差。针对上述挑战,以基于模糊规则推理的TSK模糊系统(TSK-FS)为基础,提出了一种适用于不同规模数据集且易于理解的特征学习方法——多粒度融合的模糊规则系统图像特征学习算法。该方法通过基于规则的TSK-FS抽取图像特征,因而特征学习过程是可以利用规则进行解释的。其次,多粒度扫描也使得其特征学习能力进一步提升。在不同规模的图像数据集上进行了充分的实验,实验结果表明该方法在图像数据集上具有较好的有效性。     

利用PCA进行深度学习图像特征提取后的降维研究

深度学习是当前人工智能领域广泛使用的一种机器学习方法.深度学习对数据的高度依赖性使得数据需要处理的维度剧增,极大地影响了计算效率和数据分类性能.本文以数据降维为研究目标,对深度学习中的各种数据降维方法进行分析.在此基础上,以Caltech 101图像数据集为实验对象,采用VGG-16深度卷积神经网络进行图像的特征提取,以PCA主成分分析方法为例来实现高维图像特征数据的降维处理.在实验阶段,采用欧氏距离作为相似性度量来检验经过降维处理后的精度指标.实验证明：当提取VGG-16神经网络fc3层的4096维特征后,使用PCA法将数据维度降至64维,依然能够保持较高的特征信息.     

面向网络入侵检测的GAN-SDAE-RF模型研究

针对传统机器学习方法在处理不平衡的海量高维数据时罕见攻击类检测率低的问题,提出了一种基于深度学习的随机森林算法的入侵检测模型,为了避免传统的随机森林面对高维数据和不平衡数据时分类精度低、稳定性差和对罕见攻击类检测率低的问题,引入生成式对抗网络（GAN）和栈式降噪自编码器（SDAE）对随机森林算法（RF）进行改进。将罕见攻击类数据集输入GAN神经网络中,生成新的攻击类样本,改善网络入侵数据在样本集中不均衡分布的情况,通过堆叠深层的SDAE逐层抽取网络数据的分布规则,并结合各个编码层的系数惩罚和重构误差,来确定高维数据中与入侵行为相关的特征,基于降维后的特征数据构建森林决策树。采用UNSW-NB15数据集的实验结果表明,与SVM、KNN、CNN、LSTM、DBN方法相比,GAN-SDAE-RF整体检测准确率平均提高了9.39%、误报率和漏报率平均降低了9%和15.24%以及在少数类Analysis、Shellcode、Backdoor、Worms上检测率分别提高了26.8%、27.98%、27.85%、39.97%。     

一种基于RBF网络提取模糊规则的算法实现

径向基函数网络和模糊推理系统在一些柔和的情况下具有等价的功能,因此可以利用神经网络的学习算法来调节模糊系统的参数,学习后的模糊系统具有自学习和自组织性,但是削弱了模糊系统的可解释性。将模糊逻辑推理与神经网络控制技术相结合,分析了一种改进的径向基函数(RBF)神经网络结构,这种模糊神经网络结构能够有效地表达模糊系统可解释性这一突出特点,也使模糊系统具有了较好的自学习和自组织能力、通过VC 实现了基于这种RBF网络结构提取模糊规则的算法,并进行了仿真实验,仿真结果表明该算法是比较有效的。     

An adaptive fuzzy neural network for MIMO system modelapproximation in high-dimensional spaces

An adaptive fuzzy system implemented within the framework of neural network is proposed. The integration of the fuzzy system into a neural network enables the new fuzzy system to have learning and adaptive capabilities. The proposed fuzzy neural network can locate its rules and optimize its membership functions by competitive learning, Kalman filter algorithm and extended Kalman filter algorithms. A key feature of the new architecture is that a high dimensional fuzzy system can be implemented with fewer number of rules than the Takagi-Sugeno fuzzy systems. A number of simulations are presented to demonstrate the performance of the proposed system including modeling nonlinear function, operator's control of chemical plant, stock prices and bioreactor (multioutput dynamical system).     

关于深度学习的综述与讨论

机器学习是通过计算模型和算法从数据中学习规律的一门学问,在各种需要从复杂数据中挖掘规律的领域中有很多应用,已成为当今广义的人工智能领域最核心的技术之一。近年来,多种深度神经网络在大量机器学习问题上取得了令人瞩目的成果,形成了机器学习领域最亮眼的一个新分支——深度学习,也掀起了机器学习理论、方法和应用研究的一个新高潮。对深度学习代表性方法的核心原理和典型优化算法进行了综述,回顾与讨论了深度学习与以往机器学习方法之间的联系与区别,并对深度学习中一些需要进一步研究的问题进行了初步讨论。     

Extracting Interpretable Fuzzy Rules from RBF Networks

Radial basis function networks and fuzzy rule systems are functionally equivalent under some mild conditions. Therefore, the learning algorithms developed in the field of artificial neural networks can be used to adapt the parameters of fuzzy systems. Unfortunately, after the neural network learning, the structure of the original fuzzy system is changed and interpretability, which is considered to be one of the most important features of fuzzy systems, is usually impaired. This Letter discusses the differences between RBF networks and interpretable fuzzy systems. Based on these discussions, a method for extracting interpretable fuzzy rules from RBF networks is suggested. Simulation examples are given to embody the idea of this paper.     

Simultaneous Structure Identification and Fuzzy Rule Generation for Takagi–Sugeno Models

One of the main attractions of a fuzzy rule-based system is its interpretability which is hindered severely with an increase in the dimensionality of the data. For high-dimensional data, the identification of fuzzy rules also possesses a big challenge. Feature selection methods often ignore the subtle nonlinear interaction that the features and the learning system can have. To address this problem of structure identification, we propose an integrated method that can find the bad features simultaneously when finding the rules from data for Takagi–Sugeno-type fuzzy systems. It is an integrated learning mechanism that can take into account the nonlinear interactions that may be present between features and between features and fuzzy rule-based systems. Hence, it can pick up a small set of useful features and generate useful rules for the problem at hand. Such an approach is computationally very attractive because it is not iterative in nature like the forward or backward selection approaches. The effectiveness of the proposed approach is demonstrated on four function-approximation-type well-studied problems.