日志服务器建设和应用

设备日志及时、准确地记录网络运行、服务信息,是网络管理人员应该重点关注的信息源。日志服务器利用日志服务器软件,采集网络设备、安全设备、应用服务器等的日志信息,集中存储管理。这些日志信息可以在日常维护管理中人工查阅,也可以利用程序进行处理和准确分析,实现对网络的全面监管。     

一种视频点播日志分析系统的设计与实现

视频点播系统产生大量日志信息,包括机顶盒注册、页面浏览、会话和全局会话负载均衡等日志信息。通过采集这些日志,可以分析出用户的点播流程和视频点播系统的运行状态等信息。对一种视频点播日志分析系统的体系结构进行分析,设计基于C/S架构的日志采集模块和基于多线程并行处理方式的日志分析模块,实现一个视频点播日志分析系统。仿真实验证明,多线程并行处理方式比单线程处理在日志分析的效率上明显提高。     

检修公司人事劳资管理系统

检修公司人事劳资管理系统是典型的管理信息系统(MIS),本系统所创建的模块实现了如下功能:基本信息管理模块包含部门信息管理模块和员工信息管理模块,可以实现部门信息和员工信息的增加、删除、修改、查看功能;考勤考评管理模块可以实现记录的创建、修改、删除、查看功能;员工工资管理模块可以实现对员工的基本工资进行设定,对奖金以及福利补贴进行设置,用户可根据当月的情况对实发工资计算公式进行调整,根据出勤统计结果来计算本月各项实际金额以及对统计出的工资进行浏览;系统用户管理模块可以实现对普通用户的创建、密码复位、删除用户、修改自身密码,并且实现了用户的分权限管理,系统管理员具有操作本系统的所有权限,而普通用户只具有浏览权限;日志管理模块具有操作日志功能,普通用户只能浏览日志信息,管理员用户既可以浏览,又可以清空操作日志记录。     

基于ReWorks的内存日志服务设计与优化

传统的文件系统日志服务无法满足嵌入式系统异常记录的实时性需求。在国产ReWorks嵌入式实时操作系统中设计实现了一种基于内存的日志服务，通过记录异常信息到日志内存中，在热重启后仍然可以从内存中获取复位前所记录的系统异常日志信息。通过在国产FT2000A/2硬件平台的验证和分析，对其实时性和可用性实现了进一步优化。测试数据表明，内存日志服务记录一条完整异常信息到内存日志平均耗时约为文件日志的0.5%,内存文件系统的写性能近270 MB/s,是SSD硬盘文件系统的6倍，具有高实时性、热重启不丢失、非阻塞等特性，对实时系统的异常分析定位与故障统计排查提供了有力支撑。     

面向内存表的可动态配置预写日志框架

通常情况下,NoSQL数据库管理系统启动后,其多个数据库或数据分区的预写日志（WAL）会固定地写入一个或多个日志文件,因而形成强耦合的对应关系。由于数据库逻辑模型与分区配置是由应用业务和计算环境所决定的,在预写日志被强耦合的情况下,数据库管理系统无法对预写日志的个数、大小等进行配置以实现性能调优。针对该问题,提出了一种面向内存表的可动态配置预写日志框架,该框架记录了重写日志,内存表可以动态地被分配给不同的预写日志队列,支持可变的对应关系,实现了预写日志与具体应用之间的解耦。在物联网时序数据库Apache IoTDB上实现了该框架,并进行了相关实验,结果表明使用可动态配置预写日志框架后可以找到比强耦合的预写日志更优的配置方案,写入性能可提高8%～19%,说明该框架能针对不同计算环境和应用负载实现动态性能调优。     

Web使用挖掘在信任管理中的应用

通过研究IIS的工作原理、.Net程序架构及其宿主环境,在HTTP管道中拦截用户请求,创建一种新的Web日志,以聚类等方法对新日志进行挖掘,将信息数据应用于电子商务系统的信任管理中。实验证明,基于新日志的信息可以提高服务器的各项性能,约束用户的商业行为。     

基于共享内存的松耦合日志系统研究和设计

几乎所有的大型项目都有日志记录的需求,用于记录系统开发时的调试信息和运行时的各种状态信息,以便于软件系统的开发、调试与安全维护。为了提高日志记录在个人计算机内的效率,设计并实现一种基于共享内存的松耦合日志系统,改善以往内置式日志记录的高耦合性和低效性,能适应大多数系统的日志记录需求。通过分析比较,传统日志记录方式的时间代价与日志条数几乎成正比,而且当日志记录过多时会引发业务处理延时,对于实时性较高的系统是不允许的;使用该日志系统可以解决这些问题。使用该日志系统,可以快速地为新项目建立一个高性能的日志记录系统,提高程序的重用性,极大地减少企业在日志系统方面的开发与投入。     

EAST PCS日志管理系统的设计与实现

EAST等离子体控制系统日志文件大且繁,不便于系统对错误类型的统计分析,也不能快速找到错误原因,给实验带来了极大的不便.基于这样的背景,有必要挖掘日志信息,建立等离子体控制系统的日志数据库,并开发基于B/S模式的管理系统.日志数据库的建立是通过正则表达式提取出日志文件中的特征信息,信息经过抽取整合后存入关系型数据库;系统前端采用Apache、PHP、MySQL进行开发,为不同角色的用户提供良好的交互平台,实现了日志信息查询、评论管理和用户管理功能.     

基于SMB协议的数据信息提取

通过对局域网内所截取的用于数据信息传输的SMB数据包进行分析及重组的方案,从而得到在局域网中传输的关键信息,诸如文件数据、网内主机信息等,并实现了对LAN中的一些主机访问操作进行日志记录.本方案的实现主要通过分析数据包之间的相关性来进行数据的重组等处理,最终实现了对局域网的隐蔽的信息窃取,并可以和远程攻击相结合进行更深入的攻击.此方案实现网络环境为Windows 2000 Professional建立的局域网,但实现的基本原理是适用于其它NOS建立的局域网.     

网格资源发现和分配算法研究

在分布式集群环境中,资源发现和资源分配是网格计算中非常重要的环节.根据丰富的日志记录信息,构造基于日志信息的资源发现和资源分配模型,利用网格环境中各个集群中的守护进程对各子节点的CPU资源使用状态进行分析,提出了一种基于日志的资源发现和资源分配算法LRDA.LRDA算法对比其它的资源发现和资源分配算法能有效地根据日志信息进行资源发现和分配,有效地提高了资源发现和分配的效率,为资源再分配和动态分配提供决策支持.     

Web日志挖掘技术的应用研究

Web日志中保存着用户访问网站的大量信息,通过挖掘预处理后的日志数据,可以得到用户聚类,URL聚类以及用户频繁访问路径等诸多有用信息。本文先分析处理网站的日志数据,再阐述了Web日志挖掘的算法,最后讨论了Web日志挖掘的应用。     

分布式日志服务关键技术研究

在分析大型分布式系统对日志服务需求的基础上,设计并实现了一种分布式环境下的日志服务。文章从分布式系统的特点出发,介绍了该分布式日志服务中用到的关键技术,包括:体系结构设计、文件缓冲与传输、时钟同步、运行时调试、日志报警等。实际应用表明,采用以上关键技术实现的分布式日志服务有效地简化了分布式应用系统的开发、调试和维护,可广泛应用于各种分布式应用系统中。     

基于日志的异常检测技术综述

日志信息是信息系统快速发展中产生的重要信息资源,通过日志的分析,可以进行异常检测、故障诊断和性能诊断等。研究基于日志的异常检测技术,首先对主要使用的基于日志的异常检测框架进行介绍,然后对日志解析、日志异常检测等关键技术进行详细介绍。最后对当前技术进行总结,并对未来研究方向给出建议。     

基于XMLRPC的网络安全管理平台的设计与实现

针对传统网络安全管理方式的不足,设计实现了一个基于XMLRPC的网络安全管理平台,分析了平台中各安全产品的日志和数据信息的格式统一与融合问题,提出了解决方法并详细论述了实现过程。该平台可以统一管理运行在不同操作系统上的安全产品,并能对各种安全产品的日志数据进行统一分析。     

基于注意力机制的半监督日志异常检测方法

日志记载着系统运行时的重要信息，通过日志异常检测可以快速准确地找出系统故障的原因。然而，日志序列存在数据不稳定和数据之间相互依赖等问题。为此，提出了一种新的半监督日志序列异常检测方法。该方法利用双向编码语义解析BERT模型和多层卷积网络分别提取日志信息，得到日志序列之间的上下文相关信息和日志序列的局部相关性，然后使用基于注意力机制的Bi-GRU网络进行日志序列异常检测。在3个数据集上验证了所提方法的性能。与6个基准方法相比，所提方法拥有最优的F1值，同时获得了最高的AUC值0.981 3。实验结果表明，所提方法可以有效处理日志序列的数据不稳定性和数据之间相互依赖的问题。     

基于Hadoop的网络日志分析系统研究

查看网络日志是调查系统故障,监控系统运行状况的重要手段。管理员可以查看在某段时间内所发生的事件,也可以通过对各个日志文件进行分析获取知识。由于日志具有数据量大,不易读懂的特点,如果仅凭借管理员查看日志记录的手段,其中所蕴含的有用信息也难以发现。分布式计算技术正好可以用来解决这一难题。阐述了syslog日志收集流程,详细介绍了Hadoop分布式计算框架,设计并实现了一套基于Hadoop的网络日志分析系统。实验证明该系统是有效而实用的。     

应用软件系统的自动个性化

描述了对应用软件系统的自动个性化的研究工作.为了实现应用软件系统的自动个性化服务,需要建立与传统软件系统构架不同的系统构架--包含Edge Server的软件系统构架.在Edge Server中建立用户档案库和用户行为日志信息库,并对用户行为日志信息进行操作行为的关联规则的挖掘,结合用户档案信息,就可以为每一个应用软件系统的用户建立一个较为准确的用户模型.以此为基础,就可以实现应用软件系统的自动个性化.     

基于 Elasticsearch 的实时集群日志采集和分析系统实现

传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求。我们从实际需求出发,结合Flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统。通过预设日志规则库,实时统计并展示集群系统的运行状态,提供预警信息。     

基于流式处理架构的日志采集系统的设计与实现

对信息系统运行记录、操作日志、告警信息的采集问题进行了研究,提出了一种面向泛政府行业安全运行管理平台的统一日志采集系统。采用基于消息队列的流式处理架构,实现日志采集、日志处理、日志上报等各个环节的解耦;采用标准化接口和插件技术,实现各种异构日志信息的采集和数据上报;采用消息队列的流量削峰技术,保证日志传输的安全可靠;依据日志流量特征,提出一种支持动态调整消费组的设计模式,满足系统的高性能要求。整个系统由日志采集、数据上报、数据管理、系统管理、策略管理、Agent管理、日志源管理模块和日志采集代理(Agent)子系统组成,可满足对各类安全数据的集中分析、安全威胁感知和智能研判。     

基于Web日志的网站优化方案的设计与实现

Web日志挖掘的研究对象是Web日志数据,挖掘的对象是提供服务的网站的信息,挖掘结果可以帮助改善网站的设计,本文基于Web日志挖掘提出一种网站优化方案,本方案采用AprioriAll算法对用户频繁访问路径进行挖掘,根据挖掘结果进行模式分析,最终实现网站结构的调整、优化,提高用户满意度和站点的访问率。