基于Flume的分布式日志采集分析系统设计与实现

互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于Flume的分布式的日志采集分析系统方案具有可行性。     

基于 Elasticsearch 的实时集群日志采集和分析系统实现

传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求。我们从实际需求出发,结合Flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统。通过预设日志规则库,实时统计并展示集群系统的运行状态,提供预警信息。     

基于日志挖掘的计算机取证系统的分析与设计

本文主要讨论基于日志的计算机取证分析系统的分析与设计，给出了基于计算机日志的取证分析系统的总体结构和计算机日志分析取证系统日志处理、挖掘与分析子系统结构，并着重讨论了日志数据的预处理、挖掘与分析模块的主要功能与设计思想，并对挖掘模式进行了评估和分析。     

面向云计算的粒度自配置日志采集平台

日志数据管理系统是最重要的云服务基础设施之一。重要日志数据缺失将造成相应日志分析与决策的片面性和不准确性。然而日志数据采集能力越强,日志采集的运行期开销就越大,海量日志数据的管理与分析就越耗时,对整个云服务环境的系统性能造成不可忽视的影响。针对如何采集必要的日志数据同时尽可能降低其运行期开销的问题,文章首先提出日志采集粒度的概念,然后设计并编程实现一个面向云计算的粒度自配置日志采集平台。其中,平台构成模块包括:日志采集工具、存储日志采集粒度规则和事实的知识库;基于规则动态增加或关闭相关日志数据采集模块的推理机;相应的图形界面,包括用于添加或修改知识库规则的管理界面和直观查看日志数据的用户界面。最后,初步的案例学习结果表明了平台的有效性。     

基于Hive的海量搜索日志分析系统研究

针对传统分布式模型在海量日志并行处理时的可扩展性和并行程序编写困难的问题, 提出了基于Hive的Web海量搜索日志分析机制。利用HQL语言以及Hadoop分布式文件系统(HDFS)和MapReduce编程模式对海量搜索日志进行分析处理, 对用户搜索行为进行了分析研究。对用户搜索行为中的查询热点主题、用户点击数和URL排名、查询会话的分析结果对于搜索引擎的排序算法和系统优化都有一定的指导意义。     

日志服务器建设和应用

设备日志及时、准确地记录网络运行、服务信息,是网络管理人员应该重点关注的信息源。日志服务器利用日志服务器软件,采集网络设备、安全设备、应用服务器等的日志信息,集中存储管理。这些日志信息可以在日常维护管理中人工查阅,也可以利用程序进行处理和准确分析,实现对网络的全面监管。     

Oracle用户SQL会话还原方法研究

针对Oracle8i/9i系统自带的审计功能无法获取用户操作语句的问题,研究分析了Oracle数据库的事务日志文件,提出一种结合事务日志和审计日志还原用户访问数据库会话过程的方法。该方法使用LogMiner分析事务日志文件,通过匹配事务日志和审计日志中共有的关键字段,确定对应的数据库操作语句,从而还原出任意用户从登录到退出的完整会话过程。会话还原结果可用来执行数据库操作的审计,保护数据库安全。     

基于可信计算的安全日志

保护日志免遭攻击对于入侵检测和取证具有重要的意义。本文分析了现有日志保护技术的局限性,提出了基于可信计算的安全日志系统。该系统利用嵌入式安全模块ESM(EmbeddedSecurityModule)保护日志,使得在系统遭到成功入侵的情况下,仍然可以防止入侵者修改、删除、甚至查看日志。     

基于Agent技术的多源日志采集系统的设计与实现

在分析Agent技术以及4种日志采集技术的基础上,本文提出了一个基于Agent技术的多源日志采集系统,来实现采集各种类型的系统日志。本文详细分析了系统的基本架构以及日志采集Agent的结构模型和工作流程。最后探讨了基于正则表达式的日志数据的识别与抽取以及日志XML格式化的实现技术。     

Rsyslog在IT日志采集中的应用

随着我国互联网发展,网络安全问题日益严重。校园网出口防火墙、网络行为审计等系统在运行过程中产生海量IT日志,这些日志对高校安全管理有着重要意义。但是,校园网IT日志种类繁多、数量巨大,给采集发送工作带来很大困难。文章对校园网IT日志采集的难点进行了分析,应用Rsyslog到校园网IT日志采集,以较低的运行成本和对现有应用最小的影响,解决日志的采集和转发问题。     

基于数据块的关系数据库日志挖掘技术

在关系型数据库中数据库通过Redo日志来实现事物的快速提交,并记录事物的操作过程与操作内容.通过对Redo日志的分析与变化数据内容的捕获,将变化数据传送到灾备端,并在灾备端实现变化数据的写入,是目前数据库复制最主要实现原理.本文分析了oralce数据库Redo日志文件结构,阐述了日志文件头标志位信息.结合Redo 日志文件头定位分析技术,给出了一种基于数据块的数据库Redo日志挖掘算法.通过测试分析,验证了该Redo日志挖掘技术的可行性与可靠性.最后展望了下一步的研究方向.     

大规模软件系统日志研究综述

规范和充分的日志是良好代码质量的必要因素,也是软件故障诊断的重要手段.然而,代码的质量管理受限于大规模软件代码的高复杂程度,目前,利用日志信息进行软件故障重现和诊断的难度大、效率低.从日志特征分析、基于日志的故障诊断、日志的增强这3个方面综述了日志研究的现状.通过对几种常用的大规模开源软件的日志进行调研,发现了一些日志相关的特征和规律以及现有工具难以解决的问题.最后,对未来的研究工作进行了展望,并分析了可能面对的挑战.     

测井工程数据库系统—LOGDBS

本文介绍了一个实用的工程数据库系统－测井工程数据库系统。它以测井资料解释处理方法为主，进行油藏描述。文中介绍了该系统的系统结构，系统功能和系统的特点，介绍了具有大型数据库控制功能的测井工程数据库管理系统以及在数据库支持下的测井多井分析系统和图形系统。     

改进的基于日志聚类的异常检测方法

针对基于日志聚类的异常检测方法(LogCluster)处理的日志类型单一的问题,提出一种改进的基于LogCluster的日志异常检测方法,SW-LogCluster。通过使用滑动窗口(sliding window)的方式将日志划分为日志序列,将划分后的日志序列向量化来进行特征提取,使其既能检测带标记符的日志,也能检测不带标记符的日志,扩展原始方法的应用范围。实验结果表明,SW-LogCluster方法能对所有类型的非结构化日志进行检测,有效扩展了LogCluster方法的适用性。     

网络日志管理分析系统构建技术研究

日志对于系统的日常运维、审计及入侵检测等具有重要作用,如何对日志进行有效的管理和分析是日志系统的重要课题.当前,对日志进行远程集中化管理和分析是普遍认同的有效手段.完整的日志系统包括日志源、日志服务器、日志存储和日志分析四个环节,其中日志服务器具有核心地位.首先介绍了常见的日志服务器系统、客户端软件及前端分析系统,详细说明了功能特性.最后分析了日志系统的部署架构和基本处理流程.     

WindowsNT日志分析与修复

介绍WindowsNT系统的日志管理构架和日志文件的文件结构,提出一种抓取并解析日志的分析方案,讨论如何针对WindowsNT构架来管理日志,以提高日志的安全性并实现对损坏的日志文件的修复.     

基于文本策略和SMCS的海量日志分析方法

现有的海量日志统计分析方法速度慢,且对硬件配置的要求高。为此,提出一种基于文本策略和SMCS的海量日志分析方法。根据文件的软件设计策略,采用日志文件索引方法,将日志文件与日志时间关联,以加快日志提取。SMCS算法采用哈希表、文件归并、堆操作方法对海量日志进行统计分析和内存损耗控制。通过对真实软件进行对比实验,结果表明,该方法的分析速度比传统方法提高4倍。     

Web日志挖掘及其在校园网中的应用

如何有效地分析用户的需求,帮助用户从因特网的信息海洋中发现他们感兴趣的信息和资源．已经成为一项迫切而重要的课题。解决这些问题的一个途径,就是将传统的数据挖掘技术与Web结合起来,进行Web数据挖掘。其中的Web日志挖掘可以掌握用户在浏览站点时的行为,并且将挖掘出的用户访问模式应用于网站上,在改善Web站点的结构以及页面间的超链接结构,提高站点的服务质量等方面有重要的意义。     

Web日志挖掘及其在校园网中的应用

如何有效地分析用户的需求,帮助用户从因特网的信息海洋中发现他们感兴趣的信息和资源,已经成为一项迫切而重要的课题。解决这些问题的一个途径,就是将传统的数据挖掘技术与Web结合起来,进行Web数据挖掘。其中的Web日志挖掘可以掌握用户在浏览站点时的行为,并且将挖掘出的用户访问模式应用于网站上,在改善Web站点的结构以及页面间的超链接结构,提高站点的服务质量等方面有重要的意义。