A New Hybrid Machine Learning for Cybersecurity Threat Detection Based on Adaptive Boosting

A hybrid machine learning is a combination of multiple types of machine learning algorithms for improving the performance of single classifiers. Currently, cyber intrusion detection systems require high-performance methods for classifications because attackers can develop invasive methods and evade the detection tools. In this paper, the cyber intrusion detection architecture based on new hybrid machine learning is proposed for multiple cyber intrusion detection. In addition, the correlation-based feature selection is adopted for reducing the irrelevant features and the weight vote of adaptive boosting that is adopted to combine multiple classifiers is concentrated. In the experiments, UNB-CICT or network traffic dataset is used for evaluating the performance of the proposed method. The results show that the proposed method can achieve higher efficiency in every attack type detection. Furthermore, the experiments with Phishing website dataset UNSW-NB 15 dataset NSL-KDD dataset and KDD Cup’99 dataset are also conducted, and the results show that the proposed method can produce higher efficiency as well.     

机器学习在乳腺肿瘤分类检测中的应用研究

机器学习算法在医学检测与诊断,尤其是乳腺肿瘤分类检测与诊断中扮演愈发重要的角色。分析比较了几种经典机器学习分类器在乳腺肿瘤分类检测中的性能,并从准确率、灵敏度、特异性及执行效率等方面对各分类器的性能进行了评估比较,根据在不同数据库上的实验结果,总结了各机器学习分类器在乳腺肿瘤分类中的性能特点:线性判别分析和极限学习机两种分类器性能优良且训练效率很高;支持向量机性能较为平均且非常稳定,但训练耗时较长;而人工神经网络分类器虽然可以给出良好的特异性指标,但灵敏度指标不够理想。     

Enhancing network intrusion detection classifiers using supervised adversarial training

The performance of classifiers has a direct impact on the effectiveness of intrusion detection system. Thus, most researchers aim to improve the detection performance of classifiers. However, classifiers can only get limited useful information from the limited number of labeled training samples, which usually affects the generalization of classifiers. In order to enhance the network intrusion detection classifiers, we resort to adversarial training, and a novel supervised learning framework using generative adversarial network for improving the performance of the classifier is proposed in this paper. The generative model in our framework is utilized to continuously generate other complementary labeled samples for adversarial training and assist the classifier for classification, while the classifier in our framework is used to identify different categories. Meanwhile, the loss function is deduced again, and several empirical training strategies are proposed to improve the stabilization of the supervised learning framework. Experimental results prove that the classifier via adversarial training improves the performance indicators of intrusion detection. The proposed framework provides a feasible method to enhance the performance and generalization of the classifier.

     

一种基于强化规则学习的高效入侵检测方法

在入侵检测研究领域中，提高检测模型的检测率并降低误报率是一个重要的研究课题．在对归纳学习理论深入研究的基础上，将规则学习算法应用到入侵检测建模中．针对审计训练数据不足时出现的检测精度下降的情况，提出了一种基于强化规则学习的高效入侵检测方法EAIDBRL（efficient approach to intrusion detection based on boosting rule learning）．在EAIDBRL方法中，首先调整传统Boosting算法的权重更新过程在各个预测目标类内部进行，以消除退化现象；然后修改传统规则学习算法中规则生长和规则剪枝过程的评价准则函数；最后使用改进后的Boosting算法来增强弱规则学习器对网络审计数据的分类性能．标准入侵检测数据集上的测试结果表明，EAIDBRL方法能够较大地提高传统规则学习检测模型在小样本条件下的入侵检测性能．     

基于膨胀卷积和门控循环单元组合的入侵检测模型

基于机器学习的入侵检测模型在网络环境的安全保护中起着至关重要的作用。针对现有的网络入侵检测模型不能够对网络入侵数据特征进行充分学习的问题,将深度学习理论应用于入侵检测,提出了一种具有自动特征提取功能的深度网络模型。在该模型中,使用膨胀卷积来增大对信息的感受野并从中提取高级特征,使用门控循环单元（GRU）模型提取保留特征之间的长期依赖关系,再利用深层神经网络（DNN）对数据特征进行充分学习。与经典的机器学习分类器相比,该模型具有较高的检测率。在著名的KDD CUP99、NSL-KDD和UNSW-NB15数据集上进行的实验表明,该模型具有由于其他分类器的性能。具体来说,该模型在KDD CUP99数据集上的准确率为99.78%,在NSL-KDD数据集上的准确率为99.53%,在UNSW-NB15数据集上的准确率为93.12%。     

多层极限学习机在入侵检测中的应用

针对神经网络在入侵检测应用存在的维度高、数据大、获取标记样本难、特征构造难、训练难等问题,提出了一种基于深度多层极限学习机(ML-ELM)的入侵检测方法。首先,采用多层网络结构和深度学习方法抽取检测样本最高层次的抽象特征,用奇异值对入侵检测数据进行特征表达;然后,利用极限学习机(ELM)建立入侵检测数据的分类模型;其次,利用逐层的无监督学习方法解决入侵检测获取标记样本难的问题;最后采用KDD99数据集对该方法的性能进行了验证。实验结果表明:多层极限学习机的方法提高了检测正确率,检测漏报率也低至0.48%,检测速度比其他深度模型的检测方法提高了6倍以上。同时在极少标记样本的情况下仍有85%以上的正确率。通过多层网络结构的构建提高了对U2L、R2L这两类攻击的检测率。该方法集成深度学习和无监督学习的优点,能对高维度,大数据的网络记录用较少的参数得到更好的表达,在入侵检测的检测速度以及特征表达两个方面都具有优势。     

感知器残差网络和超限学习机融合的3D物体识别

目的 随着3D扫描技术和虚拟现实技术的发展,真实物体的3D识别方法已经成为研究的热点之一。针对现有基于深度学习的方法训练时间长,识别效果不理想等问题,提出了一种结合感知器残差网络和超限学习机（ELM）的3D物体识别方法。方法 以超限学习机的框架为基础,使用多层感知器残差网络学习3D物体的多视角投影特征,并利用提取的特征数据和已知的标签数据同时训练了ELM分类层、K最近邻（KNN）分类层和支持向量机（SVM）分类层识别3D物体。网络使用增加了多层感知器的卷积层替代传统的卷积层。卷积网络由改进的残差单元组成,包含多个卷积核个数恒定的并行残差通道,用于拟合不同数学形式的残差项函数。网络中半数卷积核参数和感知器参数以高斯分布随机产生,其余通过训练寻优得到。结果 提出的方法在普林斯顿3D模型数据集上达到了94.18%的准确率,在2D的NORB数据集上达到了97.46%的准确率。该算法在两个国际标准数据集中均取得了当前最好的效果。同时,使用超限学习机框架使得本文算法的训练时间比基于深度学习的方法减少了3个数量级。结论 本文提出了一种使用多视角图识别3D物体的方法,实验表明该方法比现有的ELM方法和深度学习等最新方法的识别率更高,抗干扰性更强,并且其调节参数少,收敛速度快。     

基于极限学习机与改进K-means算法的入侵检测方法

入侵检测系统对于保障网络安全至关重要。针对传统的单一检测算法很难对不同种类的攻击都有很好检测效果的问题,提出一种结合极限学习机与改进K means算法的入侵检测方法。基于算法级联的方式,利用新型线性修正单元（PReLU）激活函数对极限学习机算法进行优化,采用设置距离阈值的方式,实现K means算法自动选择初始聚类中心与聚类簇数目的双重优化,设计了一种混合式入侵检测方法。采用NSL KDD数据集对所提出的入侵检测方法进行仿真实验,实验结果表明,与传统的BP神经网络、支持向量机与极限学习机算法相比,该方法有效地提高了检测效果,同时降低了误报率。     

An efficient cascaded method for network intrusion detection based on extreme learning machines

Machine learning techniques are widely used for network intrusion detection (NID). However, it has to face the unbalance of training samples between classes as it is hard to collect samples of some intrusion classes. This would produce false positives for these intrusion classes. Meanwhile, since there are various types of intrusions, classification boundaries between different classes are seriously nonlinear. Due to the huge amount of training data, computational efficiency is also required. This paper therefore proposes an efficient cascaded classifier for NID. This classifier consists of a collection of binary base classifiers which are serially connected. Each base classifier corresponds to a type of intrusion. The order of these base classifiers is automatically determined based on the number of false positives to cope with the unbalance of training samples. Extreme learning machine algorithm, which has low computational cost, is used to train these base classifiers to delineate the nonlinear boundaries between classes. This proposed NID method is evaluated on the KDD99 data set. Experimental results have shown that this proposed method outperforms other state-of-the-art methods including decision tree, back-propagation neural network and support vector machines.     

基于深度学习的工业物联网智能入侵检测

如何有效识别工业物联网入侵攻击行为是一个新挑战.针对工业物联网中入侵检测特征提取不高、检测效率低、适应能力差等问题,提出一种基于深度学习的工业物联网智能入侵检测方法.首先,在数据处理上改进采样算法用于调节少数类别样本数量,提高检测精度;其次,构建堆叠降噪卷积自编码网络提取关键特征,结合卷积神经网络和降噪自编码器,加强特征识别能力;为了避免信息丢失和信息模糊,改进池化操作以增加其自适应处理能力,并在模型训练过程中采用Adam算法获取最优参数;最后,采用NSL-KDD数据集测试提出方法的性能.实验结果表明,该方法相比现有的RNN、DBN和IDABCNN的准确率分别提高了3.66%、4.93%和4.6%;与未经采样算法的SDCAENN试验对比,U2R和R2L的检测精度分别提高17.57%和3.28%.     

基于非对称卷积自编码器和支持向量机的入侵检测模型

网络入侵检测系统在防护网络安全中占据重要地位,随着科技不断发展,目前的入侵技术没有考虑到检测技术的可扩展性、可持续性以及训练时间长短,无法应对现代复杂多变的网络异常流量。针对这些问题,提出了一种新的深度学习方法,使用无监督的非对称卷积自编码器,对数据进行特征学习。另外,提出了一种新的基于非对称卷积自编码器和多类支持向量机相结合的方法。在 KDD99 数据集上进行了实验,实验结果表明,该方法取得了良好的结果,与其他方法相比显著减少了训练时间,进一步提高了网络入侵检测技术。     

基于天牛群优化与改进正则化极限学习机的网络入侵检测EI北大核心CSCD

正则化极限学习机(Regularized extreme learning machine,RELM)因其极易于实现、训练速度快等优点在诸多领域均取得了成功应用.对此,本文将RELM引入到入侵检测中,设计了天牛群优化算法(Beetle swarm optimization,BSO),并针对RELM由于随机初始化参数带来的潜在缺陷,提出基于天牛群优化与改进正则化极限学习机(BSO-IRELM)的网络入侵检测算法.使用LU分解求解RELM的输出权值矩阵,进一步缩短了RELM的训练时间,同时利用BSO对RELM的权值和阈值进行联合优化.为避免BSO算法陷入局部最优,引入Tent映射反向学习、莱维飞行的群体学习与动态变异策略提升优化性能.实验结果表明,在机器学习UCI数据集上,相比于RELM、IRELM、GA-IRELM、PSO-IRELM等算法,BSO-IRELM的数据分类性能提升明显.最后,将BSO-IRELM应用于网络入侵检测数据集NSL-KDD,并与BP(Back propagation)、LR(Logistics regression)、RBF(Radial basis function)、AB(AdaBoost)、SVM(Support vector machine)、RELM、IRELM等算法进行了对比,结果证明BSO-IRELM算法在准确率、精确率、真正率和假正率等指标上均具有明显优势.     

集成优化核极限学习机的冠心病无创性诊断

冠心病的早期无创性诊断一直是医疗诊断领域的研究热点,为了提高冠心病诊断的准确率和诊断效率,提出了一种新颖的局部Fisher判别分析(LFDA)特征提取方法和集成核极限学习机(KELM)相结合的冠心病诊断模型(LFDA-EKELM)。首先使用LFDA方法剔除不相关特征和冗余特征,找出对分类结果贡献度较高的特征子集,产生不同的训练集以训练粒子群优化的KELM分类器PSO-KELM,并基于旋转森林(RF)构建集成分类器,实现冠心病的智能诊断。实验结果表明,与基于ELM、SVM和BPNN方法相比,提出方法有效提高了冠心病诊断准确率,提升了诊断效率,且分类结果高于已有方法和相似方法,是一种有效冠心病诊断模型。     

基于迭代训练和集成学习的图像分类方法

针对卷积神经网络提取特征信息不完整导致图像分类方法分类精度不高等问题,利用深度学习的方法搭建卷积神经网络模型框架,提出一种基于迭代训练和集成学习的图像分类方法。利用数据增强对图像数据集进行预处理操作,在提取图像特征时,采用一种迭代训练卷积神经网络的方式,得到充分有效的图像特征,在训练分类器时,采用机器学习中集成学习的思想。分别在特征提取后训练分类器,根据各分类器贡献的大小,赋予它们不同的权重值,取得比单个分类器更好的性能,提高图像分类的精度。该方法在Stanford Dogs、UEC FOOD-100和CIFAR-100数据集上的实验结果表明了其较好的分类性能。     

基于深度序列加权核极限学习的入侵检测算法

针对海量多源异构且数据分布不平衡的网络入侵检测问题以及传统深度学习算法无法根据实时入侵情况在线更新其输出权重的问题,提出了一种基于深度序列加权核极限学习的入侵检测算法（DBN-WOS-KELM算法）。该算法先使用深度信念网络DBN对历史数据进行学习,完成对原始数据的特征提取和数据降维,再利用加权序列核极限学习机进行监督学习完成入侵识别,结合了深度信念网络提取抽象特征的能力以及核极限学习机的快速学习能力。最后在部分KDD99数据集上进行了仿真实验,实验结果表明DBN-WOS-KELM算法提高了对小样本攻击的识别率,并且能够根据实际情况在线更新输出权重,训练效率更高。     

Intrusion detection by machine learning: A review

The popularity of using Internet contains some risks of network attacks. Intrusion detection is one major research problem in network security, whose aim is to identify unusual access or attacks to secure internal networks. In literature, intrusion detection systems have been approached by various machine learning techniques. However, there is no a review paper to examine and understand the current status of using machine learning techniques to solve the intrusion detection problems. This chapter reviews 55 related studies in the period between 2000 and 2007 focusing on developing single, hybrid, and ensemble classifiers. Related studies are compared by their classifier design, datasets used, and other experimental setups. Current achievements and limitations in developing intrusion detection systems by machine learning are present and discussed. A number of future research directions are also provided.     

An active learning based TCM-KNN algorithm for supervised network intrusion detection

As network attacks have increased in number and severity over the past few years, intrusion detection is increasingly becoming a critical component of secure information systems and supervised network intrusion detection has been an active and difficult research topic in the field of intrusion detection for many years. However, it hasn't been widely applied in practice due to some inherent issues. The most important reason is the difficulties in obtaining adequate attack data for the supervised classifiers to model the attack patterns, and the data acquisition task is always time-consuming and greatly relies on the domain experts. In this paper, we propose a novel supervised network intrusion detection method based on TCM-KNN (Transductive Confidence Machines for K-Nearest Neighbors) machine learning algorithm and active learning based training data selection method. It can effectively detect anomalies with high detection rate, low false positives under the circumstance of using much fewer selected data as well as selected features for training in comparison with the traditional supervised intrusion detection methods. A series of experimental results on the well-known KDD Cup 1999 data set demonstrate that the proposed method is more robust and effective than the state-of-the-art intrusion detection methods, as well as can be further optimized as discussed in this paper for real applications.     

基于Boosting算法的入侵检测

提出了一种新颖的基于boosting BP 神经网络的入侵检测方法。为了提高BP神经网络的泛化能力,采用改进的Boosting方法,进行网络集成。Boosting方法采用更有效的参数求解方法,即弱分类器的加权参数不但与错误率有关,还与其对正样本的识别能力有关。对“KDD Cup 1999 Data”网络连接数据集进行特征选择和归一化处理之后用于训练神经网络并仿真实验,得到了较高的检测率和较低的误报率,仿真结果表明,提出的入侵检测方法是有效的。     

支持向量机在入侵检测中的应用

入侵检测是网络安全的重要领域.安全问题的日益严峻对于检测方法提出更高的要求.支持向量机是一种基于小样本学习的有效工具.继它在字体识别,人脸识别中得到成功应用后,它被成功地应用到入侵检测领域中.介绍了支持向量机的多种算法,例如二分类的支持向量机,一分类的支持向量机,多分类的支持向量机和针对大量训练样本的支持向量机在入侵检测中的应用.通过比较发现,用支持向量机进行检测入侵大大提高了入侵检测系统的性能.     

基于卷积神经网络和二进制K-means的图像快速聚类

当前主流的图像聚类方法采用的视觉特征缺乏自主学习能力,导致其图像表达能力不强,而且传统的聚类算法计算复杂度较高,聚类效率低,难以适应大数据环境。针对这些问题,本文提出了一种基于卷积神经网络和二进制K-means的图像快速聚类方法。首先,利用卷积神经网络学习图像内容的内在隐含关系,得到图像高阶特征,增强特征的视觉表达能力和区分性;然后,利用哈希方法将高维图像特征映射为低维二进制哈希码,并通过对聚类中心构造多索引哈希表来加速寻找最近的聚类中心,以降低时间复杂度;最后,利用二进制K-means完成二进制哈希码的快速聚类。在ImageNet-1000图像集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力、提高图像聚类效率、性能优于当前主流方法。