基于门禁日志挖掘的内部威胁异常行为分析

门禁系统是保护重要场所安全的重要手段,可以有效防止未授权用户的进入。然而,近年来大量案例表明重要场所的威胁主要来自于具有合法权限的内部人员。针对这个问题,提出基于门禁日志数据挖掘的内部威胁异常行为分析方法。该方法首先利用PrefixSpan算法对正常行为序列进行提取,之后计算待检测序列的序列异常度分数,并根据决策者设定的阈值来找出异常序列。通过真实门禁数据中的实验,验证了本方法可以降低精确匹配在数据较少时带来的高误报率,实现对内部人员异常行为的有效发现,为加强重要场所安全保护提供了新的途径。     

面向时序数据异常检测的可视分析综述

时序数据中的异常检测指的是在时序上去检测分析数据中异常的特征、趋势或模式.自动化的异常检测方法常会忽略细微的、模糊的、不确定的异常.可视分析通过对数据的可视表达和可视界面,集成用户和数据挖掘的能力.首先总结异常检测的挑战;然后从异常类型(属性、拓扑和混合)和异常检测方法(直接投影法、聚类方法和机器学习方法)2个角度对面向时序数据异常检测的可视分析工作进行分类和总结;最后阐述了未来的研究方向.     

基于百度搜索日志的用户行为分析

基于大规模搜索日志进行用户行为分析有助提高搜索引擎的各种性能指标。从三个方面对百度开放日志进行详细分析。首先对查询串长度和频次进行统计,发现查询串中存在着长尾效应,前10%最常用查询串的查询次数占总查询次数的70.8%。其次对URL点击深度和频次进行分析,发现有73%的网页只被点击一次,表明互联网中存在着大量低频访问网页。最后对用户使用高级检索情况进行分析,发现有不足0.12%的用户使用高级检索,表明用户更喜爱简单方便的操作。     

基于日志的异常检测技术综述

日志信息是信息系统快速发展中产生的重要信息资源,通过日志的分析,可以进行异常检测、故障诊断和性能诊断等。研究基于日志的异常检测技术,首先对主要使用的基于日志的异常检测框架进行介绍,然后对日志解析、日志异常检测等关键技术进行详细介绍。最后对当前技术进行总结,并对未来研究方向给出建议。     

基于日志多特征融合的无监督异常检测算法

日志是一种记录系统运行过程中重要信息的文本文件,而有效的日志异常检测可以帮助运维人员快速定位并解决问题,保证系统的快速恢复,从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间,序列,参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先,基于预训练模型对日志的事件模板进行语义信息提取,将系统日志建模为自然语言序列;然后,利用特征提取器分别对日志的事件序列,计数序列和时间序列进行特征提取融合,通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后,对日志进行分析,并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明,本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.     

日志分析网络异常检测系统研究

本文研究基于DNS日志分析的网络异常监测系统,通过对校园网DNS日志进行分析,能够得出用户进行域名访问的规律,提取用户行为特征,掌握网络运行状况,并通过定义DNS访问次数偏移度,即时发现并定位网络异常。     

面向用户互联网访问日志的异常点击分析

随着互联网用户人数的日益增长,用户行为分析已经成为互联网技术领域重要的研究方法之一。在日志中去除异常点击,对于准确挖掘用户行为的意图和习惯十分重要。该文采用某公司提供的真实用户互联网访问日志,对日志中的连续点击,单IP多用户以及单用户多IP等可能的异常点击,从访问集中度,用户平均访问量等方面进行了分析。我们认为对于连续点击,用户行为分析研究人员可以分情况滤去多余点击或该用户所有点击,而对于单IP多用户和单用户多 IP的点击,我们建议不做处理。     

基于日志模板主题特征的日志异常检测

在系统安全领域,通过日志来检测软件或者系统异常是一种常用的安全防护手段。随着软件和硬件的快速发展,在大规模的日志记录上进行人工标记变得十分困难,目前已有大量的日志异常检测的相关研究。现有的自动化日志检测模型均使用日志模板作为分类,这些模型的性能以及实用性很容易受到日志模板变化的影响。因此,基于日志模板主题特征的日志异常检测模型LTTFAD被提出,LTTFAD首次引入了LDA主题模型以提取日志模板的主题特征并且通过循环神经网络LSTM实现异常检测。实验结果表明,在HDFS和OpenStack数据集上基于日志模板主题特征的日志异常检测模型LTTFAD的查准率、查全率和调和分数等性能指标均明显优于现有基于日志模板的日志异常检测模型。此外,对于新日志模板的注入,LTTFAD模型依然具有较高的稳定性。     

企业日志数据的交互式可视分析方法研究

企业日志数据,即员工在企业内部使用网络服务时系统保存的记录,包括员工网页访问日志、邮件日志等。在一定程度上反映了企业内部的组织结构、员工的日常工作模式和各种异常情况等。对日志数据进行分析有助于企业高层及时把控企业的运行状况,发现企业潜在威胁,进而帮助更好地进行决策。现有的企业日志分析方法大多是在单一数据基础上使用数据挖掘和机器学习等算法来进行分析。将以数据为中心的分析算法和以人为中心的交互式可视化结合起来能够同时发挥算法和人的分析优势;可视分析方法可以更有效地将多源异构、时变、多维的日志数据分析结合起来,提供多角度分析。为此,设计并实现了面向企业日志数据的员工工作行为可视分析系统EWB-VIS。在ChinaVis2018挑战赛所提供的公开数据集上进行实验,证明了系统的可用性和相关可视化方法的有效性。     

基于Spark的油田应用日志行为分析系统

随着油田信息化建设的不断发展,越来越多的IT业务系统在油田各级单位普及应用.由于油田应用数量庞大、种类复杂,如何快速评估各类系统的运行情况和安全状况成为油田关注的重要问题.在使用这些应用系统的同时,一些访问信息会以日志的形式储存下来,因此通过分析日志数据可以挖掘出用户访问喜好,发觉业务系统潜在的安全问题,进而为油田应用评估提供决策依据.然而随着IT业务访问量剧增,应用日志的数量、容量也随之增加,仅依靠单机环境对海量数据进行分析已经无法满足油田业务需求.针对这个问题本文提出了基于Spark计算框架的应用日志行为分析方法,同时设计了可视化平台完成对整个分析系统的管理.     

面向在线交易日志的用户购买行为可视化分析

在线交易日志,即用户通过电商平台购买商品产生的交易记录,包括用户、商品、交易及商家的相关信息,反映了用户的购买行为.现有的可视化方法未能充分结合在线交易日志的时序、层次、地理、多维等特征,实现对用户购买行为的多角度分析.对此,本文结合交易日志的多个特征,提出了基于径向布局的复合时序可视化方法和融合空间信息的时间轴可视化方法,设计了颜色极值映射方法和规律映射方法,并基于上述方法,设计并实现了面向在线交易日志的用户购买行为可视化分析系统UPB-VIS,从而完成了单个用户和用户群体购买行为的全方位分析.最后,通过在京东商城在线交易日志数据集上的实验证明了系统的易用性和相关可视化方法的有效性.     

基于日志分析的中文输入法用户行为研究

与拼音文字不同,用户在进行中文输入时需要借助输入法软件完成从拼音串到汉字串的转换过程,输入法因此成为中文用户进行人机交互的基础性工具,而输入法的相关技术研发也一直是学术界与产业界的关注热点。在中文输入法技术的研究中,用户的行为特点对输入法软件的词库建立、算法设计、交互方式设计与性能评价等多方面都有着至关重要的作用,但由于数据获取与分析的困难,这方面的相关研究尚不多见。该文利用某中文输入法在用户许可下收集的超过4.1亿条用户输入行为记录,进行了中文输入法用户行为的分析研究,针对不同类别应用程序的输入词频差异,不同用户在同类应用程序中的不同候选词条的选择等行为特点进行了挖掘分析,研究结果会对深入了解中文输入法用户行为,进而改进输入法软件性能具有一定的指导意义。     

基于数值分析的异常扫描行为监测系统

提出了一种基于数值分析的异常扫描行为监测方法, 以Netflow网管数据为基础, 设计开发了监测系统, 实现了对网络中主流网络蠕虫病毒、IRC僵尸木马的传播爆发以及黑客恶意扫描探测等异常行为的实时监测, 取得良好效果, 大幅提升了网络运营单位的网络安全支撑服务能力。     

基于动机分析的区块链数字货币异常交易行为识别方法

当前区块链数字货币被众多恶意交易者利用,导致了"粉尘"注入、"空投"操作、勒索、骗局等一系列异常交易行为.因此,研究区块链数字货币异常交易行为的识别方法对于规范交易行为、保障网络空间安全具有重要意义.在众多区块链数字货币中,比特币市值超过所有区块链数字货币市值和的一半,具有高代表性.比特币系统的用户数量多、交易规模大、...     

高维时空房地产数据的可视分析

高维房地产数据中包含着复杂的空间和时间趋势,为了使用户能够创建自己的可视化形式并理解房地产市场中的内容,提出基于HTML5的在线房地产信息的、包含4个组件的可视分析方法.该方法提出了基于楼盘地理位置聚类的可视化方法来展示楼盘地理信息的地学可视化组件,结合多种布局和排序方式来展示楼盘销售数量变化的堆栈图组件,基于楼盘销量和价格的聚类方法来展示楼盘多维属性的像素条图组件,并结合多种节点布局和排序的方式展示数据层次结构的树图组件;最后对各组件设计了良好的交互操作,丰富了系统的分析能力.文中方法已用于杭州市房地产的真实数据分析中,用户和专家反馈效果良好.     

基于视频监控参考量的异常行为检测研究

为了解决传统算法难以检测一般动态场景情形下人体运动目标的问题,文中提出了一种新的人体运动异常行为的检测方法,该方法组合利用视频监控各个的参考量。文中针对视频序列中人的行为进行分析,目的是检测出人的异常行为,具体涉及：人体运动目标的检测、跟踪与提取,异常行为检测等。文中阐述了异常行为检测的相关概念,介绍了视频监控参考量各个参数的计算方法,探讨了异常行为检测与分类技术的关系。结合异常行为检测与分类的相似性,提出了基于视频监控参考量的算法的异常行为检测方法,给出了其计算方法,并确定了检测的过程,分析该方法的特点和优势。     

基于时空数据的驻留行为特征可视分析

随着智慧城市的快速发展,大量商业场所每天会产生海量的驻留行为数据,然而传统驻留行为数据分析方法难以克服数据稀疏性问题,并且对于时空伴随关系的发现准确度也较低。根据驻留行为数据特征和可视分析任务,设计一种交互式的可视分析系统。对原始数据进行处理,提取相关的时空特征并发现用户伴随关系。使用改进的可变滑动窗口算法,并结合可视分析技术,设计用户关系图、时间甘特图、多变量表达的示意性地图、径向条形图、日历热力图等多种视图,实现对驻留场所的流量分布、用户来源等特征的多时段可视分析。应用两个真实数据集进行案例分析,并对发现的行为模式及对应现象进行解释说明,证明了该系统的可用性和拓展性,并表明其可实现团体出行特征和场所流量分析等系统级应用,为相关经营性商业场所提供合理化建议及辅助决策支持。     

基于群体行为分析的人群异常聚集预测方法

随着智能通信设备的普及和通信基站定位精度的提升,利用通信基站记录的用户行为数据监测和预测人群密度成为可能。由于人群异常聚集事件具有突发性,利用时间序列分析方法和概率模型进行预测的效果较差。针对该问题,提出一种基于群体行为分析的预测方法。通过分析聚集人群的上网行为和基站间的人群移动行为特征,得到两者之间的相关性,结合基站的人群密度时间序列信息,利用扩张因果卷积神经网络和逻辑回归模型得出预测结果。运营商提供的手机用户上网记录数据集上的实验结果表明,该预测方法的精确率为0.93,召回率为0.97,显著优于ARIMA算法、LSTM算法和XGBoost算法,证明了引入用户群体的上网行为和移动特征能够有效提升人群异常聚集预测的准确性。