基于深度学习的系统日志异常检测研究

系统日志反映了系统运行状态,记录着系统中特定事件的活动信息,快速准确地检测出系统异常日志,对维护系统安全稳定具有重要意义。提出了一种基于GRU神经网络的日志异常检测算法,基于log key技术实现日志解析,利用执行路径的异常检测模型和参数值的异常检测模型实现日志异常检测,具有参数少、训练快的优点,在取得较高检测精度的同时提升了运行速度,适用于大型信息系统的日志分析。     

改进的关联规则挖掘算法在Web个性化服务中的应用

文章重点研究了Web日志挖掘以及关联分析中的关联规则挖掘算法FP_Growth算法,提出了一种改进的关联规则挖掘算法,并将该算法应用于某高校图书馆个性化服务系统My Library的设计过程中,从服务器日志中得到用户感兴趣的隐式模式,并将该隐式兴趣集推荐给用户,从而在一定程度上实现了个性化服务。     

基于操作日志的完井数据同步模型

同步技术是提高移动数据库系统性能的一项关键技术。依托完井移动平台,结合完井业务数据,提出一种基于操作日志的移动数据同步处理模型,重点分析了该模型中的日志序列的生成以及冲突的消解,并给出了具体的实现算法。该模型允许移动终端在断接状态下对本地副本数据进行操作,并通过移动事务日志记录用户行为,当重新连接时,根据服务器返回的日志序列进行同步处理,使系统最终收敛于一致性状态。同时还引入了日志合并、时间戳等方法,有效减少了移动终端的资源消耗,提高了同步效率。实验表明该算法能快速高效地完成客户端与服务器之间的数据更新与交互。     

多节点系统异常日志流量模式检测方法

随着国家高性能计算环境各个节点产生日志数量的不断增加,采用传统的人工方式进行异常日志分析已不能满足日常的分析需求.提出一种异常日志流量模式的定义方法：同一节点相同时间片内日志类型的有序排列代表了一种日志流量模式,并以该方法为出发点,实现了一个异常日志流量模式检测方法,用来自动挖掘异常日志流量模式.该方法从系统日志入手,根据日志内容的文本相似度进行自动分类.然后将相同时间片内日志各个类型出现的次数作为输入特征,基于主成分分析的异常检测方法对该输入进行异常检测,得到大量异常的日志类型序列.之后,使用基于最长公共子序列的距离度量对这些序列进行层次聚类,并将聚类结果进行自适应K项集算法,以得出不同异常日志流量模式的序列代表.将国家高性能计算环境半年产生的日志根据不同时间段（早、晚、夜）使用上述方法进行分析,得出了不同时间段的异常日志流量模式和相互关系.该方法也可以推广到其他分布式系统的系统日志中.     

基于MapReduce的Web日志挖掘

针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建Hadoop平台,利用该算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,充分利用了集群系统的分布式计算能力处理大量的Web日志文件,可以大大地提高Web数据挖掘的效率。     

基于机器学习的日志解析系统设计与实现

针对现有日志分类方法只适用于格式化的日志,且性能依赖于日志结构的问题,基于机器学习方法对日志信息解析算法LogSig进行了扩展改进,并设计开发了一个集数据处理与结果分析于一体的日志解析系统,包括原始数据预处理、日志解析、聚类分析评价、聚类结果散点图显示等功能,在VAST 2011挑战赛的开源防火墙日志数据集上进行了测试。实验结果表明,改进后的算法在归类整理日志事件时的平均准确性达到85%以上;与原LogSig算法相比,日志解析精度提高了50%,同时解析时间仅为原先的25%,可用于大数据环境下高效准确地对多源非结构化日志数据进行解析。     

基于大数据的网络日志分析技术

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案:由多台计算机完成日志文件的存储、分析、挖掘工作,建立了一个基于Hadoop开源框架的并行网络日志分析引擎,在MapReduce模型下重新实现了IP统计算法和异常检测算法。实验证明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和增加系统的可扩展性。     

基于Apriori算法的Web日志挖掘研究

本文在对Web日志挖掘理论和Apriori算法研究的基础上,设计和实现了Web访问日志挖掘系统,并将该挖掘系统应用于学院网络中心的"招生信息网"上,对Web服务器的日志记录进行了挖掘实验,找出用户的频繁访问路径,得到较为理想的结果。     

聚类分析在Web日志中的应用

随着社会和经济的快速发展,科技不断进步。笔者就Web日志挖掘系统的各部分工作情况进行了相应分析。一般来说,Web挖掘最基本的研究领域包括Web内容挖掘、结构挖掘、使用挖掘。基于此,阐述了从数据挖掘、Web数据挖掘到Web日志挖掘的一系列过程,专门介绍了该系统的一些算法。在上述内容的基础上,对该系统进行具体设计,并通过.NET实现该系统的功能。     

基于多维时序日志的异常行为可视分析

当前许多企业面临着来自内部的信息安全问题,由于核心信息的窃取而造成无法估量的损失。企业内部的监控日志数据记录了员工的操作行为与访问记录,通过对内部监控日志进行有效的分析以及时发现员工的异常行为具有重要的意义。然而现有的关于日志分析的方法不能很好地结合多种用户行为日志进行有效分析,并及时发现异常行为提前进行预警。针对这一问题,基于日志的多维性和时序性,提出了一种新颖的可视化系统MLVis。通过设计多个可视化视图,实现一个交互式的可视分析系统,可以帮助决策者发现异常行为,定位异常员工,并分析异常行为之间的联系。采用ChinaVis2018挑战赛I的数据集进行实验和案例分析,验证了该系统的可行性和有效性。     

船载系统日志自动分析软件的设计与实现

船载中心计算机系统的系统日志和测控软件日志记录了大量的系统故障与软件异常信息,如何及时、全面地分析系统日志、软件日志,发现系统运行故障,并及时予以处理、解决,是系统运维人员的一项重要工作;针对当前船载中心计算机系统日志分析现状及存在的问题,系统日志和测控软件日志自动分析软件给出了解决的思路和方法,提出并介绍其实现的技术要点和效果;测试结果表明日志自动分析软件有效地提升了人员工作分析效率,在快速分析故障问题和批量进行系统日志维护方面具有较好应用.     

非侵入式车载ATC设备在线检测运维系统方案设计

列车运行控制系统中,车载ATC(Automatic Train Control)设备行车日志里记录着各子系统的整个运行周期的全部信息,分析行车日志是监测车载设备状态和分析系统故障的重要手段。但在实际维护中存在以下问题：1. 设备实际输入输出和传感器电气工作状态信息中隐含大量故障特征信息,而这些信息在既有的车载信号系统中没有有效记录;2.行车日志收集依靠人工,效率低,成本高;3.故障诊断依靠经验,诊断结果具有局限性。在此基础上,本文提出一种非侵入式车载信号设备在线检测运维系统方案,该方案利用非接触式传感器采集信号,行车日志使用车地无线通信网络传输,通过地面服务器大数据分析,以达到对各子系统和关键零部件进行状态监测,并对异常信息进行预警的目的。     

基于微服务的通用性系统日志评估方案及应用

针对系统日志类信息譬如系统运行日志、命令行文本输出等信息的分析评估,提出了一种基于微服务的通用性评估方案.该方案中的框架采用微服务构架,单控制节点/多工作节点模式,各个节点都具备相同的能力.节点角色控制节点或工作节点是按需进行配置,工作节点的数量可灵活扩展以支持大数据分析能力,支持TB级的系统日志分析评估.相对于目前流...     

基于多源安全信息的IDS告警验证研究

由于检测算法的不足以及对目标系统相关信息的忽视，当前的入侵检测系统（IDS）存在着告警泛滥、误报率高等不足，影响了应用效果。为解决这些问题，在对现有验证算法不足进行分析的基础上，提出了一种利用多源安全信息进行告警验证的方法。通过利用深度漏洞信息、系统状态监测信息等多源安全信息，根据相应的告警验证算法，对IDS原始告警信息进行验证。相关实验证明了该方法的有效性。     

基于流式处理架构的日志采集系统的设计与实现

对信息系统运行记录、操作日志、告警信息的采集问题进行了研究,提出了一种面向泛政府行业安全运行管理平台的统一日志采集系统。采用基于消息队列的流式处理架构,实现日志采集、日志处理、日志上报等各个环节的解耦;采用标准化接口和插件技术,实现各种异构日志信息的采集和数据上报;采用消息队列的流量削峰技术,保证日志传输的安全可靠;依据日志流量特征,提出一种支持动态调整消费组的设计模式,满足系统的高性能要求。整个系统由日志采集、数据上报、数据管理、系统管理、策略管理、Agent管理、日志源管理模块和日志采集代理(Agent)子系统组成,可满足对各类安全数据的集中分析、安全威胁感知和智能研判。     

基于K-Means算法的Web日志用户聚类研究

Web日志作为服务器的记录文件,记录了网站最重要的信息,随着大数据时代数据量的骤然增加,提出一种应对大数据量的数据挖掘算法,更有效地分析日志文件迫在眉睫。用户聚类是在对日志文件进行数据预处理的基础上,建立用户会话序列矩阵,进而对其进行聚类分析,论文针对K-Means算法在选取初始中心点上存在的问题,以及在构建用户会话矩阵后存在的孤立点的问题,提出了一种密度参数和KCR算法的优化算法-ICKM算法,该算法利用密度参数最大的对象作为第一中心点,随后从数据集中将此对象删除,利用KCR算法寻找下一个中心点,算法借助MapReduce计算框架,提高大数据环境下的数据处理速度,通过实验表明,ICKM算法在寻找初始中心点以及用户聚类上具有较高的准确度,在处理大数据量的数据集时,有较好的的运算速度。     

基于数据块的关系数据库日志挖掘技术

在关系型数据库中数据库通过Redo日志来实现事物的快速提交,并记录事物的操作过程与操作内容.通过对Redo日志的分析与变化数据内容的捕获,将变化数据传送到灾备端,并在灾备端实现变化数据的写入,是目前数据库复制最主要实现原理.本文分析了oralce数据库Redo日志文件结构,阐述了日志文件头标志位信息.结合Redo 日志文件头定位分析技术,给出了一种基于数据块的数据库Redo日志挖掘算法.通过测试分析,验证了该Redo日志挖掘技术的可行性与可靠性.最后展望了下一步的研究方向.     

基于受限玻尔兹曼机的电力信息系统多源日志综合特征提取

为了充分利用电力信息系统中的异构数据源挖掘出电网中存在的安全威胁, 本文提出了基于受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)的多源日志综合特征提取方法, 首先采用受限玻尔兹曼机神经网络对各类日志信息进行规范化编码, 随后采用对比散度快速学习方法优化网络权值, 利用随机梯度上升法最大化对数似然函数对RBM模型进行训练学习, 通过对规范化编码后的日志信息进行处理, 实现了数据降维并得到融合后的综合特征, 有效解决了日志数据异构性带来的问题. 通过在电力信息系统中搭建大数据威胁预警监测实验环境, 并进行了安全日志综合特征提取及算法验证, 实验结果表明, 本文所提出的基于RBM的多源日志综合特征提取方法能用于聚类分析、异常检测等各类安全分析, 在提取电力信息系统中日志特征时有较高的准确率, 进而提高了网络安全态势预测的速度和预测精度.     

数据库恶意事务恢复日志系统

恶意事务攻击成功后的数据恢复机制要求日志文件必须同时记录写操作信息和读操作信息。为此,提出一种数据库恶意事务恢复日志策略,并基于该策略设计日志系统。在日志系统中,结构化查询语言(SQL)语句过滤可保护日志文件的安全,拒绝终端客户对日志文件的非法操作;敏感信息设置从行级和列级2个方面设置日志记录必须满足的约束条件,可有效控制日志文件的规模;写日志产生器通过使用触发器的临时表完成对写操作的记录;读日志产生器通过重构SQL语句产生临时表,再访问临时表完成对读操作的记录。实验结果表明,该系统可有效记录数据库读写操作,但同时会降低整体系统的效率。     

基于行为投影的Web服务组合行为兼容性研究

Web服务兼容性是确保组合系统能够正常运行的前提。首先提出既包含服务接口调用方法又包含逻辑行为的服务视图,根据服务间的连接关系,将服务行为投影到不同的连接件上。其次根据在连接件上的消息收发关系,将两个服务在该连接上的交互过程表示为两个LTS投影间同步变迁,通过同步积模拟在该连接上的交互行为,检查同步积中是否出现死锁状态来进行行为兼容性判定,并设计了判定算法以实现兼容性的自动分析,最后通过一个电子商务应用示例说明该方法有效性。