基于集成学习的恶意代码检测方法研究

网络时代带来了生活上的种种便利,也带来了恶意代码的爆发式增长。报告指出,恶意代码的数量和种类都在快速增长,其中,恶意代码种类的增长对恶意代码检测的影响影响尤为突出。使用分类算法进行恶意代码检测是现在的一个热门研究方向,而繁多的恶意代码种类会极大地削弱分类效果。鉴于这种情况,本文提出了一种基于集成学习的恶意代码检测方法,该方法首先用DBScan算法对训练样本进行聚类,再用聚类得到的各个簇训练SVM分类器,对未知样本进行检测时,首先将待检测样本分类到训练得到的各个簇中,然后输入对应的SVM分类器进行分类,判断是否为恶意代码。实验结果表明,这种方法的准确率相对于直接使用SVM分类有明显提高,达到了较好的检测效果。     

基于动态行为和机器学习的恶意代码检测方法

目前恶意代码出现频繁且抗识别性加强,现有基于签名的恶意代码检测方法无法识别未知与隐藏的恶意代码。提出一种结合动态行为和机器学习的恶意代码检测方法。搭建自动化分析Cuckoo沙箱记录恶意代码的行为信息和网络流量,结合Cuckoo沙箱与改进DynamoRIO系统作为虚拟环境,提取并融合恶意代码样本API调用序列及网络行为特征。在此基础上,基于双向门循环单元（BGRU）建立恶意代码检测模型,并在含有12 170个恶意代码样本和5 983个良性应用程序样本的数据集上对模型效果进行验证。实验结果表明,该方法能全面获得恶意代码的行为信息,其所用BGRU模型的检测效果较LSTM、BLSTM等模型更好,精确率和F1值分别达到97.84%和98.07%,训练速度为BLSTM模型的1.26倍。     

基于CNN-BiLSTM的恶意代码家族检测技术

近年来快速增加的恶意代码数量中大部分是由原有家族中通过变异产生,所以对恶意代码家族进行检测分类显得尤为重要。提出了一种基于CNN-BiLSTM网络的恶意代码家族检测方法,将恶意代码家族可执行文件直接转换为灰度图像,利用CNN-BiLSTM网络模型对图像数据集进行检测分类。此方法在避免计算机受到恶意代码伤害的同时全面高效地提取特征,结合CNN和BiLSTM的优点从局部和全局两个方面学习恶意代码家族的特征并实现分类。实验对4个恶意代码家族的4 418个样本进行识别,结果表明该模型相对于传统机器学习具有更高的准确率。     

基于感知哈希算法和特征融合的恶意代码检测方法

在当前的恶意代码家族检测中,通过恶意代码灰度图像提取的局部特征或全局特征无法全面描述恶意代码,针对这个问题并为提高检测效率,提出了一种基于感知哈希算法和特征融合的恶意代码检测方法。首先,通过感知哈希算法对恶意代码灰度图样本进行检测,快速划分出具体恶意代码家族和不确定恶意代码家族的样本,实验测试表明约有67%的恶意代码能够通过感知哈希算法检测出来。然后,对于不确定恶意代码家族样本再进一步提取局部特征局部二值模式（LBP）与全局特征Gist,并利用二者融合后的特征通过机器学习算法对恶意代码样本进行分类检测。最后,对于25类恶意代码家族检测的实验结果表明,相较于仅用单一特征,使用LBP与Gist的融合特征时的检测准确率更高,并且所提方法与仅采用机器学习的检测算法相比分类检测效率更高,检测速度提高了93.5%。     

自动的恶意代码动态分析系统的设计与实现

现代的恶意代码采用多态和加壳等方法来隐藏自己,使得恶意代码的分析检测变得越来越困难.传统的手工分析需要耗费大量时间和人力,不能满足恶意代码分析的需要.本文设计实现的自动化恶意代码动态分析系统MwDAS,可以自动地对恶意代码样本进行快速的动态分析,通过Kernel Hooking和Filter Driver技术在内核态提取其行为特征,生成详细的分析报告.实验结果表明MwDAS可以提高恶意代码的分析效率.     

基于静态结构的恶意代码同源性分析

由于变种和多态技术的出现,恶意代码的数量呈爆发式增长。然而涌现的恶意代码只有小部分是新型的,大部分仍是已知病毒的变种。针对这种情况,为了从海量样本中筛选出已知病毒的变种,从而聚焦新型未知病毒,提出一种改进的判定恶意代码所属家族的方法。从恶意代码的行为特征入手,使用反汇编工具提取样本静态特征,通过单类支持向量机筛选出恶意代码的代表性函数,引入聚类算法的思想,生成病毒家族特征库。通过计算恶意代码与特征库之间的相似度,完成恶意代码的家族判定。设计并实现了系统,实验结果表明改进后的方法能够有效地对各类家族的变种进行分析及判定。     

基于模型解释的PE文件对抗性恶意代码检测

深度学习已经逐渐应用于恶意代码检测并取得了不错的效果.然而,最近的研究表明:深度学习模型自身存在不安全因素,容易遭受对抗样本攻击.在不改变恶意代码原有功能的前提下,攻击者通过对恶意代码做少量修改,可以误导恶意代码检测器做出错误的决策,造成恶意代码的漏报.为防御对抗样本攻击,已有的研究工作中最常用的方法是对抗训练.然而对抗训练方法需要生成大量对抗样本加入训练集中重新训练模型,效率较低,并且防御效果受限于训练中所使用的对抗样本生成方法.为此,提出一种PE文件格式恶意代码对抗样本检测方法,针对在程序功能无关区域添加修改的一类对抗样本攻击,利用模型解释技术提取端到端恶意代码检测模型的决策依据作为特征,进而通过异常检测方法准确识别对抗样本.该方法作为恶意代码检测模型的附加模块,不需要对原有模型做修改,相较于对抗训练等其他防御方法效率更高,且具有更强的泛化能力,能够防御多种对抗样本攻击.在真实的恶意代码数据集上进行了实验,实验结果表明,该方法能够有效防御针对端到端PE文件恶意代码检测模型的对抗样本攻击.     

基于有效窗口和朴素贝叶斯的恶意代码分类

恶意代码分类是恶意代码分析和入侵检测领域中的核心问题.现有分类方法分析效率低,准确性差,主要原因在于行为分析原始资料规模大,噪声高,随机因素干扰.针对上述问题,以恶意代码行为序列报告作为基础,在分析随机因素及行为噪声对恶意代码行为特征和操作相似性的干扰之后,给出一个系统调用参数有效窗口模型,通过该模型加强行为序列的相似度描述能力,降低随机因素的干扰.在此基础上提出一种基于朴素贝叶斯机器学习模型和操作相似度窗口的恶意代码自动分类方法.设计并实现了一个自动恶意代码行为分类器原型MalwareFilter.使用真实恶意代码生成的行为序列报告对原型系统进行评估,通过实验证明了该方法的有效性,结果表明,该方法通过操作相似度窗口提高了训练和分类过程的性能和准确度.     

基于环境敏感分析的恶意代码脱壳方法

加壳技术是软件的常用保护手段,但也常被恶意代码用于躲避杀毒软件的检测.通用脱壳工具根据加壳恶意代码运行时的行为特征或统计特征进行脱壳,需要建立监控环境,因此易受环境敏感技术的干扰.文中提出了一种基于环境敏感分析的恶意代码脱壳方法,利用动静结合的分析技术检测并清除恶意代码的环境敏感性.首先,利用中间语言对恶意代码的执行轨迹进行形式化表示;然后,分析执行轨迹中环境敏感数据的来源和传播过程,提取脱壳行为的环境约束;最后,求解环境约束条件,根据求解结果对恶意代码进行二进制代码插装,清除其环境敏感性.基于此方法,作者实现了一个通用的恶意代码脱壳工具:MalUnpack,并对321个最新的恶意代码样本进行了对比实验.实验结果表明MalUnpack能有效对抗恶意代码的环境敏感技术,其脱壳率达到了89.1%,显著高于现有基于动态监控的通用脱壳工具的35.5%和基于特征的定向脱壳工具的28.0%.     

基于语义的恶意代码行为特征提取及检测方法

提出一种基于语义的恶意代码行为特征提取及检测方法,通过结合指令层的污点传播分析与行为层的语义分析,提取恶意代码的关键行为及行为间的依赖关系;然后,利用抗混淆引擎识别语义无关及语义等价行为,获取具有一定抗干扰能力的恶意代码行为特征.在此基础上,实现特征提取及检测原型系统.通过对多个恶意代码样本的分析和检测,完成了对该系统的实验验证.实验结果表明,基于上述方法提取的特征具有抗干扰能力强等特点,基于此特征的检测对恶意代码具有较好的识别能力.     

基于PE静态结构特征的恶意软件检测方法

针对现有检测方法的不足,提出了一种通过挖掘PE文件结构信息来检测恶意软件的方法,并用最新的PE格式恶意软件进行了实验。结果显示,该方法以99.1%的准确率检测已知和未知的恶意软件,评价的重要指标AUC值是0.998,已非常接近最优值1,高于现有的静态检测方法。同时,与其他方法相比,该检测方法的处理时间和系统开销也是较少的,对采用加壳和混淆技术的恶意软件也保持稳定有效,已达到了实时部署使用要求。此外,现有的基于数据挖掘的检测方法在特征选择时存在过度拟合数据的情况,而该方法在这方面具有较强的鲁棒性。     

FloatBoost learning and statistical face detection

A novel learning procedure, called FloatBoost, is proposed for learning a boosted classifier for achieving the minimum error rate. FloatBoost learning uses a backtrack mechanism after each iteration of AdaBoost learning to minimize the error rate directly, rather than minimizing an exponential function of the margin as in the traditional AdaBoost algorithms. A second contribution of the paper is a novel statistical model for learning best weak classifiers using a stagewise approximation of the posterior probability. These novel techniques lead to a classifier which requires fewer weak classifiers than AdaBoost yet achieves lower error rates in both training and testing, as demonstrated by extensive experiments. Applied to face detection, the FloatBoost learning method, together with a proposed detector pyramid architecture, leads to the first real-time multiview face detection system reported.     

基于对称α稳态模型的JPEG通用隐写分析

针对JPEG隐写术检测问题,提出一种基于DCT系数分布模型的通用隐写分析方法。根据DCT系数统计分布规律,建立双参数对称α稳态模型,并将模型参数估计问题转化为离散的函数参数优化问题,利用改进的遗传算法进行求解。提取分布模型的参数作为隐写分析的特征,并运用图像校准技术进行校准以提高特征的敏感性。设计与特征相匹配的、具有线性阶计算复杂度的单类分类器进行隐写判别。实验结果表明,该方法可以有效地检测JPEG隐写术,当嵌入率为25%时,平均检测率达到76.1%,相比传统基于模型的隐写分析方法提高5.5%,具有更高的检测性能。     

基于行为路径树的恶意软件分类方法

针对恶意软件家族分类问题,提出一种基于行为路径树的恶意软件分类方法,该方法使用恶意样本细粒度行为路径作为动态特征,通过将路径转化为树型结构的方式生成依赖关系,与传统基于系统调用的恶意软件分类相比,具有较低的复杂度。此外,针对传统分类模型无法解决行为路径树深度寻优问题,设计了基于自适应随机森林的分类模型,该模型采用随机逼近的方式完成行为路径树深度寻优。实验部分使用2588个样本(包含8个恶意家族,1个良性集合)对行为路径树的有效性进行验证,分类精度达到91.11%。     

基于机器学习算法的Android恶意程序检测系统

对于传统的恶意程序检测方法存在的缺点,针对将数据挖掘和机器学习算法被应用在未知恶意程序的检测方法进行研究。当前使用单一特征的机器学习算法无法充分发挥其数据处理能力,检测效果不佳。文中将语音识别模型与随机森林算法相结合,首次提出了综和APK文件多类特征统一建立N-gram模型,并应用随机森林算法用于未知恶意程序检测。首先,采用多种方式提取可以反映Android恶意程序行为的3类特征,包括敏感权限、DVM函数调用序列以及OpCodes特征;然后,针对每类特征建立N-gram模型,每个模型可以独立评判恶意程序行为;最后,3类特征模型统一加入随机森林算法进行学习,从而对Android程序进行检测。基于该方法实现了Android恶意程序检测系统,并对811个非恶意程序及826个恶意程序进行检测,准确率较高。综合各个评价指标,与其他相关工作对比,实验结果表明该系统在恶意程序检测准确率和有效性上表现更优。     

基于灰度图纹理指纹的恶意软件分类

随着安卓恶意软件数量的快速增长,传统的恶意软件检测与分类机制存在检测率低、训练模型复杂度高等问题。为解决上述问题,结合图像纹理特征提取技术和机器学习分类器,提出基于灰度图纹理特征的恶意软件分类方法。该方法首先将恶意软件样本生成灰度图,设计并集成了包含GIST和Tamura特征提取算法在内的4种特征提取方法;然后将所得纹理特征集合作为源数据,基于Caffe高性能处理架构构造了5种分类学习模型,最终实现对恶意软件的检测和分类。实验结果表明,基于图像纹理特征的恶意软件分类具有较高的准确率,且Caffe架构能有效缩短学习时间,降低复杂度。     

基于支持向量机的复杂背景下的人体检测

常用的人体检测方法多是基于经验风险最小化原理的传统统计理论，其性能只有在样本趋于无穷大时才有理论上的保证，而在实际应用中，学习样本通常是有限的。针对传统统计理论在人体检测中存在的不足，提出了一种基于统计学习理论——支持向量机(SVM)的人体检测方法，利用彩色空间对背景进行自适应建模提取运动目标，然后使用训练好的SVM进行验证是否是人体。为了简化SVM分类器的设计及提高机器学习的效率，提出了一种星形向量表示法用于抽取目标的特征向量，并且用实验方法得到了这种表示法的最优表示。将SVM与ANN进行比较，并且对不同内积函数的SVM的性能也进行了比较。实验结果表明，SVM的性能要优于ANN，并且采用径向基函数的SVM性能最好。该方法鲁棒性强，正确率高，解决了复杂背景下运动人体实时检测的一些关键问题。     

HEMD: a highly efficient random forest-based malware detection framework for Android

Mobile phones are rapidly becoming the most widespread and popular form of communication; thus, they are also the most important attack target of malware. The amount of malware in mobile phones is increasing exponentially and poses a serious security threat. Google’s Android is the most popular smart phone platforms in the world and the mechanisms of permission declaration access control cannot identify the malware. In this paper, we proposed an ensemble machine learning system for the detection of malware on Android devices. More specifically, four groups of features including permissions, monitoring system events, sensitive API and permission rate are extracted to characterize each Android application (app). Then an ensemble random forest classifier is learned to detect whether an app is potentially malicious or not. The performance of our proposed method is evaluated on the actual data set using tenfold cross-validation. The experimental results demonstrate that the proposed method can achieve a highly accuracy of 89.91%. For further assessing the performance of our method, we compared it with the state-of-the-art support vector machine classifier. Comparison results demonstrate that the proposed method is extremely promising and could provide a cost-effective alternative for Android malware detection.

     

Android malware detection based on system call sequences and LSTM

As Android-based mobile devices become increasingly popular, malware detection on Android is very crucial nowadays. In this paper, a novel detection method based on deep learning is proposed to distinguish malware from trusted applications. Considering there is some semantic information in system call sequences as the natural language, we treat one system call sequence as a sentence in the language and construct a classifier based on the Long Short-Term Memory (LSTM) language model. In the classifier, at first two LSTM models are trained respectively by the system call sequences from malware and those from benign applications. Then according to these models, two similarity scores are computed. Finally, the classifier determines whether the application under analysis is malicious or trusted by the greater score. Thorough experiments show that our approach can achieve high efficiency and reach high recall of 96.6% with low false positive rate of 9.3%, which is better than the other methods.

     

MACSPMD:基于恶意API调用序列模式挖掘的恶意代码检测

基于动态分析的恶意代码检测方法由于能有效对抗恶意代码的多态和代码混淆技术,而且可以检测新的未知恶意代码等,因此得到了研究者的青睐。在这种情况下,恶意代码的编写者通过在恶意代码中嵌入大量反检测功能来逃避现有恶意代码动态检测方法的检测。针对该问题,提出了基于恶意API调用序列模式挖掘的恶意代码检测方法MACSPMD。首先,使用真机模拟恶意代码的实际运行环境来获取文件的动态API调用序列;其次,引入面向目标关联挖掘的概念,以挖掘出能够代表潜在恶意行为模式的恶意API调用序列模式;最后,将挖掘到的恶意API调用序列模式作为异常行为特征进行恶意代码的检测。基于真实数据集的实验结果表明,MACSPMD对未知和逃避型恶意代码进行检测的准确率分别达到了94.55%和97.73%,比其他基于API调用数据的恶意代码检测方法 的准确率分别提高了2.47%和2.66%,且挖掘过程消耗的时间更少。因此,MACSPMD能有效检测包括逃避型在内的已知和未知恶意代码。