基于加权样本选择与主动学习的视频异常行为检测算法*

随着日益突出的公共安全问题,视频监控异常行为检测成为计算机视觉的一个研究热点.文中结合视频异常检测数据集,提出基于加权样本选择与主动学习的视频异常行为检测算法.根据视频监控数据集的分布特性,选择合适的权重值消除不平衡数据集对分类器的影响,通过主动学习的方式选取少量异常不确定样本,不断迭代更新检测模型,适应复杂多变的异常事件.实验表明,在UCSD异常行为检测数据集上,相比传统方法,文中方法具有更好的检测性能     

结合长尾数据解决方法的野生动物目标检测

基于红外相机图像的野生动物目标检测有利于研究和保护野生动物。由于不同种类的野生动物数量差别大,红外相机采集到的野生动物数据集存在种类数量分布不均的长尾数据问题,进而影响目标检测神经网络模型的整体性能提升。针对野生动物的长尾数据导致的目标检测精度低的问题,提出了一种基于两阶段学习和重加权相结合的长尾数据解决方法,并将该方法用于基于YOLOv4-Tiny的野生动物目标检测。首先,采集、标注并构建了一个新的野生动物数据集,该数据集具有明显的长尾数据特征;其次,采用基于迁移学习的两阶段方法训练神经网络,第一阶段在分类损失函数中采用无加权方式进行训练,而在第二阶段提出了两种改进的重加权方法,并以第一阶段所得权重作为预训练权重进行重加权训练;最后,对野生动物测试集进行测试。实验结果表明,在分类损失采用交叉熵损失函数和焦点损失函数下,所提出的长尾数据解决方法达到了60.47%和61.18%的平均精确率均值（mAP）,相较于无加权方法在两种损失函数下分别提高了3.30个百分点和5.16个百分点,相较于所提改进的有效样本加权方法在焦点损失函数下提高了2.14个百分点,说明该方法能提升YOLOv4-Tiny网络对具有长尾数据特征的野生动物数据集的目标检测性能。     

使用PCA建立基于规则的组合分类器

提出了一种使用基于规则的基分类器建立组合分类器的新方法PCARules。尽管新方法也采用基分类器预测的加权投票来决定待分类样本的类,但是为基分类器创建训练数据集的方法与bagging和boosting完全不同。该方法不是通过抽样为基分类器创建数据集,而是随机地将特征划分成K个子集,使用PCA得到每个子集的主成分,形成新的特征空间,并将所有训练数据映射到新的特征空间作为基分类器的训练集。在UCI机器学习库的30个随机选取的数据集上的实验表明:算法不仅能够显著提高基于规则的分类方法的分类性能,而且与bagging和boosting等传统组合方法相比,在大部分数据集上都具有更高的分类准确率。     

基于极限树特征递归消除和LightGBM的异常检测模型

入侵检测数据维数大、数据样本不均衡、数据集分散性大的问题严重影响分类性能,为了解决该问题,文章提出基于极限随机树的特征递归消除(Extra Trees-Recursive Feature Elimination,ET-RFE)和LightGBM(LGBM)的入侵检测方法。首先对网络数据进行独热编码重构,在数据级层面均衡少量样本的攻击类别;其次,使用基于ET-RFE对流量特征进行降维处理,寻找含有信息量最大的最优特征子集;最后,将得到的最优特征子集作为LGBM输入数据集进行分类训练,并利用贝叶斯算法对LGBM参数进行优化。实验采用真实的网络流量数据集UNSW-NB15,通过与随机森林(RF)、XGboost算法和GALR-DT算法比较可得,文章所提方法能够有效提高检测率,并对小样本攻击类型实现有效的召回率。     

基于欠采样和代价敏感的不平衡数据分类算法

针对不平衡数据集中的少数类在传统分类器上预测精度低的问题,提出了一种基于欠采样和代价敏感的不平衡数据分类算法——USCBoost。首先在AdaBoost算法每次迭代训练基分类器之前对多数类样本按权重由大到小进行排序,根据样本权重选取与少数类样本数量相当的多数类样本;之后将采样后的多数类样本权重归一化并与少数类样本组成临时训练集训练基分类器;其次在权重更新阶段,赋予少数类更高的误分代价,使得少数类样本权重增加更快,并且多数类样本权重增加更慢。在10组UCI数据集上,将USCBoost与AdaBoost、AdaCost、RUSBoost进行对比实验。实验结果表明USCBoost在F1-measure和G-mean准则下分别在6组和9组数据集获得了最高的评价指标。可见所提算法在不平衡数据上具有更好的分类性能。     

基于自适应混合粒子群优化的软件缺陷预测特征选择方法

特征选择是软件缺陷预测中数据预处理的关键步骤。针对现有特征选择方法存在的降维效果不显著、选取的最优特征子集分类精度低等问题,提出了一种基于自适应混合粒子群优化（SHPSO）的软件缺陷预测特征选择方法。首先,结合种群划分设计了基于Q学习的自适应权重更新策略,其中引入Q学习根据粒子的状态自适应地调整惯性权重;其次,为了平衡算法前期的全局搜索能力和后期的收敛速度,提出了基于曲线自适应的时变学习因子;最后,采用混合位置更新策略帮助粒子尽快跳出局部最优解,并增加粒子的多样性。在12个公开软件缺陷数据集上进行实验验证的结果表明,与使用全部特征的方法、常用的传统特征选择方法及主流的基于智能优化算法的特征选择方法相比,所提方法在提高软件缺陷预测模型分类性能和降低特征空间维度上均取得了有效的结果。与改进樽海鞘群算法（ISSA）相比,所提方法的分类精度平均提高了约1.60%,特征子集规模平均降低了约63.79%。实验结果表明,所提方法可以选出分类精度较高且数量较少的特征子集。     

基于集成的非均衡数据分类主动学习算法

当前,处理类别非均衡数据采用的主要方法之一就是预处理,将数据均衡化之后采取传统的方法加以训练.预处理的方法主要有过取样和欠取样,然而过取样和欠取样都有自己的不足,提出拆分提升主动学习算法SBAL( Split-Boost Active Learning),该算法将大类样本集根据非均衡比例分成多个子集,子集与小类样本集合并,对其采用AdaBoost算法训练子分类器,然后集成一个总分类器,并基于QBC( Query-by-committee)主动学习算法主动选取有效样本进行训练,基本避免了由于增加样本或者减少样本所带来的不足.实验表明,提出的算法对于非均衡数据具有更高的分类精度.     

基于余弦相似度和实例加权改进的贝叶斯算法

面对大量样本特征时很多分类器无法取得较好的分类效果,样本数有限导致贝叶斯算法无法获得精确的联合概率分布估计,在样本局部构建高质量分类器需要有效的样本相似性度量指标. 针对以上问题,提出了一种基于余弦相似度进行实例加权改进的朴素贝叶斯分类算法. 算法考虑特征对分类的决策权重不同,使用余弦相似度度量样本的相似性,选出最优训练样本子集,用相似度值作为训练样本的权值来训练修正后的贝叶斯模型进行分类. 基于UCI数据集的对比实验结果表明,提出的改进算法易于实现且具有更高的平均分类准确率.     

基于ACO-FS-SVM特征选择加权的网络入侵分类方法

特征选择和分类器设计是网络入侵分类的关键,为了提高网络入侵分类率,针对特征选择问题,提出一种蚁群算法优化SVM选择和加权特征的网络入侵分类方法.首先利用支持向量机的分类精度和特征子集维数加权构造了综合适应度指标,然后利用蚁群算法的全局寻优和多次优解搜索能力实现特征子集搜索;然后选择网络数据的关键特征,计算信息增益获得各个特征权重,并根据特征权重构建加权支持向量机的网络入侵分类器;最后设计了局部细化搜索方式,使得特征选择结果不含冗余特征的同时提高了算法的收敛性,并通过KDD1999数据集验证了算法有效性.结果表明,ACO-SVM有效降低了特征维数,提高了网络入侵检测正确率和检测速度.     

基于加权极限学习机的异常轨迹检测算法

针对现有异常轨迹检测中分类不平衡造成难以确定最优分类面的问题,提出一种基于加权极限学习机（ELM,Extreme Learning Machine）的异常轨迹检测算法。该算法采用加权ELM克服轨迹数据不平衡造成的分类面偏移,通过对正、负两类样本合理分配权重,并构造最优分类面获得较好的异常检测效果。仿真实验表明,加权ELM算法在训练速度,准确率,整体性能等方面均优干传统SVM和BP网络分类方法。     

一种新颖的单目视觉深度学习算法:H_SFPN

针对单目视觉目标检测,提出了一种基于single-stage深度学习的H_SFPN算法。该算法与现有的YOLOv3和CenterNet算法相比,在保证实时性能的条件下,可有效提高小目标检测的准确度。首先设计了一种新的网络架构(backbone),这种架构通过改进的沙漏(Hourglass)网络模型来提取特征图,以便充分利用底层特征的高分辨率以及高层特征的高语义信息。然后在特征图融合阶段提出了基于SFPN的特征图加权融合方法。最后,H_SFPN算法对目标位置和大小的损失函数进行了改进,可有效降低训练误差,并加快收敛速度。由MSCOCO数据集上的实验结果可知,所提H_SFPN算法明显优于Faster-RCNN,YOLOv3以及EfficientDet等现有的主流深度学习目标检测算法,其中对小目标的检测指标AP s最高,达到了32.7。     

基于量子进化算法的网络入侵检测特征选择

针对当前网络入侵检测中普遍存在检测速度较慢的缺陷,提出了一种新的网络入侵检测特征选择方法。该方法将量子进化算法应用于网络入侵检测的特征选择,从网络连接的原始特征属性中选出一组有效的特征用于入侵检测,以提高检测效率。首先以增强寻优性能为目标改进了量子进化算法,基于特征属性的Fisher比构造了特征子集的评价函数,然后按照量子进化算法的流程设计了网络入侵检测特征选择算法。通过KDD99样本数据集的实验,表明算法是有效的,既保证了入侵检测的分类性能,也提高了入侵检测的效率。     

基于多通道图判别投影HAAR特征的多视角人脸检测

提出了一种基于多通道图判别投影HAAR特征的多视角人脸检测算法。该算法首先将人脸图像提取多通道图,降低图像中的光照和噪声影响;其次基于正负训练样本集利用线性判别投影学习增强HAAR特征,提高特征判别能力;然后计算训练样本的增强HAAR特征在多通道图中的响应,并利用非对称GentleBoost算法进行特征选择生成一组弱分类器;最后利用线性非对称分类器重新调整强分类器的权重和阈值。该方法不仅提高了特征的判别能力,而且实现了非平衡正负样本空间的合理划分。实验结果表明：该方法与当前经典方法相比具有更快的检测速度和更高的检测精度。     

Kernel ellipsoidal trimming

Ellipsoid estimation is important in many practical areas such as control, system identification, visual/audio tracking, experimental design, data mining, robust statistics and statistical outlier or novelty detection. A new method, called kernel minimum volume covering ellipsoid (KMVCE) estimation, that finds an ellipsoid in a kernel-defined feature space is presented. Although the method is very general and can be applied to many of the aforementioned problems, the main focus is on the problem of statistical novelty/outlier detection. A simple iterative algorithm based on Mahalanobis-type distances in the kernel-defined feature space is proposed for practical implementation. The probability that a non-outlier is misidentified by our algorithms is analyzed using bounds based on Rademacher complexity. The KMVCE method performs very well on a set of real-life and simulated datasets, when compared with standard kernel-based novelty detection methods.     

基于加权特征筛选的入侵检测系统

网络攻击隐蔽性高,手段多样。传统检测系统特征提取不全,数据包易丢失,漏报、错报率高。为提高检测率,提出一种基于加权特征筛选的入侵检测算法。首先对网络数据包进行特征提取;然后采用支持向量机交叉验证对全部特征进行筛选,并计算各特征的权值;最后以加权保留特征构建入侵检测模型。仿真实例结果表明,该检测算法提高了入侵检测率,是一种有效的网络入侵检测方法。     

基于邻域粗糙集的入侵检测集成算法

入侵检测领域的数据往往具有高维性及非线性特点,且其中含有大量的噪声、冗余及连续型属性,这就使得一般的模式分类方法不能对其进行有效的处理。为了进一步提高入侵检测效果,提出了基于邻域粗糙集的入侵检测集成算法。采用Bagging技术产生多个具有较大差异性的训练子集,针对入侵检测数据的连续型特点,在各训练子集上使用具有不同半径的邻域粗糙集模型进行属性约简,消除冗余与噪声,实现属性约简以提高属性子集的分类性能,同时也获得具有更大差异性的训练子集,采用SVM为分类器训练多个基分类器,以各基分类器的检测精度构造权重进行加权集成。KDD99数据集的仿真实验结果表明,该算法能有效地提高入侵检测的精度和效率,具有较高的泛化性和稳定性。     

Rough set-based heuristic hybrid recognizer and its application in fault diagnosis

Rough set theory (RS) has been a topic of general interest in the field of knowledge discovery and pattern recognition. Machine learning algorithms are known to degrade in performance when faced with many features (sometimes attributes) that are not necessary for rule discovery. Many methods for selecting a subset of features have been proposed. However, only one method cannot handle the complex system with many attributes or features, so a hybrid mechanism is proposed based on rough set integrating artificial neural network (Rough-ANN) for feature selection in pattern recognition. RS-based attributes reduction as the preprocessor can decrease the inputs of the NN and improve the speed of training. So the sensitivity of rough set to noise can be avoided and the system’s robustness is to be improved. A RS-based heuristic algorithm is proposed for feature selection. The approach can select an optimal subset of features quickly and effectively from a large database with a lot of features. Moreover, the validity of the proposed hybrid recognizer and solution is verified by the application of practical experiments and fault diagnosis in industrial process.     

A unifying methodology for the evaluation of neural network models on novelty detection tasks

An important issue in data analysis and pattern classification is the detection of anomalous observations and its influence on the classifier’s performance. In this paper, we introduce a novel methodology to systematically compare the performance of neural network (NN) methods applied to novelty detection problems. Initially, we describe the most common NN-based novelty detection techniques. Then we generalize to the supervised case, a recently proposed unsupervised novelty detection method for computing reliable decision thresholds. We illustrate how to use the proposed methodology to evaluate the performances of supervised and unsupervised NN-based novelty detectors on a real-world benchmarking data set, assessing their sensitivity to training parameters, such as data scaling, number of neurons, training epochs and size of the training set.     

基于稀疏表达和机器学习的行人检测技术研究

针对行人检测技术在智能交通系统中的应用,为了提高行人检测方法的有效性、实时性和准确性,将稀疏表达应用到图像的特征压缩中,提出一种基于HOG和LTP特征训练SVM分类器进行行人检测的方法。基于HOG和LTP特征训练SVM分类器进行行人检测的方法有效地结合了图像的梯度特征和纹理特征,利用稀疏表达进行特征数据的压缩可以有效地加速算法。实验结果表明,提出的算法具有精度高、速度快等优点。     

Application of feature selection methods for automated clustering analysis: a review on synthetic datasets

The effective modelling of high-dimensional data with hundreds to thousands of features remains a challenging task in the field of machine learning. This process is a manually intensive task and requires skilled data scientists to apply exploratory data analysis techniques and statistical methods in pre-processing datasets for meaningful analysis with machine learning methods. However, the massive growth of data has brought about the need for fully automated data analysis methods. One of the key challenges is the accurate selection of a set of relevant features, which can be buried in high-dimensional data along with irrelevant noisy features, by choosing a subset of the complete set of input features that predicts the output with higher accuracy comparable to the performance of the complete input set. Kohonen’s self-organising neural network map has been utilised in various ways for this task, such as with the weighted self-organising map (WSOM) approach and this method is reviewed for its efficacy. The study demonstrates that the WSOM approach can result in different results on different runs on a given dataset due to the inappropriate use of the steepest descent optimisation method to minimise the weighted SOM’s cost function. An alternative feature weighting approach based on analysis of the SOM after training is presented; the proposed approach allows the SOM to converge before analysing the input relevance, unlike the WSOM that aims to apply weighting to the inputs during the training which distorts the SOM’s cost function, resulting in multiple local minimums meaning the SOM does not consistently converge to the same state. We demonstrate the superiority of the proposed method over the WSOM and a standard SOM in feature selection with improved clustering analysis.