一种视频点播日志分析系统的设计与实现

视频点播系统产生大量日志信息,包括机顶盒注册、页面浏览、会话和全局会话负载均衡等日志信息。通过采集这些日志,可以分析出用户的点播流程和视频点播系统的运行状态等信息。对一种视频点播日志分析系统的体系结构进行分析,设计基于C/S架构的日志采集模块和基于多线程并行处理方式的日志分析模块,实现一个视频点播日志分析系统。仿真实验证明,多线程并行处理方式比单线程处理在日志分析的效率上明显提高。     

一种日志采集统计系统的设计与实现

日志采集系统是所有数据的源头,日志采集的重要性不言而喻.基于各种日志采集框架的优缺点,提出了一种基于Log4j和Zookeeper的日志采集技术,提供了方便、快捷、实用的日志采集及统计的解决方案.     

基于 Elasticsearch 的实时集群日志采集和分析系统实现

传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求。我们从实际需求出发,结合Flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统。通过预设日志规则库,实时统计并展示集群系统的运行状态,提供预警信息。     

基于正则表达式的Web资源采集系统的设计与实现

介绍了Web资源类型和采集策略中的对采集质量有影响的因素。设计实现了一套基于正则表达式的Web资源采集系统,系统具有灵活的可扩展性和可配置性,重点介绍了采集系统结构和采集技术。     

基于正则表达式的Web资源采集系统的设计与实现

介绍了Web资源类型和采集策略中的对采集质量有影响的因素。设计实现了一套基于正则表达式的Web资源采集系统,系统具有灵活的可扩展性和可配置性,重点介绍了采集系统结构和采集技术。     

可扩展的Web日志采集框架的设计与实现

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架.该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集.该框架同样完全兼容传统的日志记录格式和记录方式.     

基于XML的多Agent系统的研究与实现

作为构建开放和分布式应用系统的一种主流模式,多Agent系统有着广阔的研究前帚和应用价值。在统一建模语言（UML）的支持下,面向Agent的软件工程研究开始走向成熟。一些面向Agent的方法学提供了开发多A—gent系统的工具、应用方法或技术。随着Web服务技术的发展,XML成为Internet上数据组织和交换的标准。现有研究工作所提出的多Agent系统对XML文档提供很少的支持。针对上述问题,设计了一个基于XML的多Agent系统——XMAS。该系统采用带根连通有向图来表示XML文档数据模型,并给出相应的文档模式提取算法,XML文档数据的解析以及对Web服务的相关支持。在数据存储过程中的索引优化使得XMAS在数据查询上具有良好的性能。     

基于Flume的分布式日志采集分析系统设计与实现

互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于Flume的分布式的日志采集分析系统方案具有可行性。     

基于SOAP实现异种多Agent系统间互操作

为了解决应用在多Agent系统中的分布式组件技术在互操作性方面的不足,探讨了应用SOAP(simple object accessprotocol)技术实现多Agent系统间互操作的可行性,进而提出一种基于SOAP的实现多Agent系统间互操作方法,阐明了系统的工作原理,给出了具体应用实例,证明了其可行性,并总结了该方法的优点,讨论了进一步研究的重点。     

基于大数据多源安全日志的设计与实现

近年来,随着信息技术的不断发展,网络渗透的手段和技术日益复杂.渗透攻击已经不再由单个攻击简单地进行,而是采取多工具、多阶段、分布化的攻击方式.因此,依靠独立的单项安全日志,已经无法真实反映整个信息系统的安全防护水平,无法掌握渗透入侵情况,不能提前采取应对攻击的预防措施.论文首先介绍了各类安全日志的定义、分类,并对几例安...     

一种分布式Web日志挖掘系统的设计与实现

Web挖掘已从早期的理论研究逐步转向实用阶段,可以利用对Web日志的挖掘发现用户的浏览模式、分析站点的使用情况。有效的Web日志挖掘工具是Web日志挖掘应用成功的关键。针对Web日志挖掘工具存在的问题与不足,提出了一种新颖的基于移动Agent技术的分布式Web日志挖掘系统（MAWLMS）的体系结构。重点阐述了移动代理层的设计,详细说明了移动Agent挖掘算法的设计与实现,包括最大向前路径识别算法和频繁遍历路径发现算法。最后对MAWLMS系统进行了验证,实验结果显示基于MAWLMS系统的分布式Web日志挖掘是可行且有效的。     

基于微服务架构的日志监控系统的设计与实现

由于软件系统的规模日趋扩大和由此带来的复杂性,会产生大量的日志信息,这些日志需要存储以备查询和分析,而传统的关系数据库对日志存储、查询、分析的能力有限,因此,需要考虑一种大容量复杂场景的日志解决方案。本文介绍了一种基于微服务化架构的日志系统,在日志的收集、处理、存储、展示各个流程都使用微服务方式部署,支持动态扩容缩容、支持大规模日志的处理和存储,满足了复杂使用场景的日志需[1]。     

基于流式处理架构的日志采集系统的设计与实现

对信息系统运行记录、操作日志、告警信息的采集问题进行了研究,提出了一种面向泛政府行业安全运行管理平台的统一日志采集系统。采用基于消息队列的流式处理架构,实现日志采集、日志处理、日志上报等各个环节的解耦;采用标准化接口和插件技术,实现各种异构日志信息的采集和数据上报;采用消息队列的流量削峰技术,保证日志传输的安全可靠;依据日志流量特征,提出一种支持动态调整消费组的设计模式,满足系统的高性能要求。整个系统由日志采集、数据上报、数据管理、系统管理、策略管理、Agent管理、日志源管理模块和日志采集代理(Agent)子系统组成,可满足对各类安全数据的集中分析、安全威胁感知和智能研判。     

基于Agent的人员疏散系统设计与实现

通过分析Agent与社会力模型在人员疏散方面的应用及疏散模拟中人和建筑物对象的存储方式,利用Agent技术结合人员疏散的动力学模型、改进的路径规划算法和人员在一般情况下的心理因素以及建筑物的不同特点,建立能够正确反映疏散时人员行为的Agent模型,运用C++语言实现基于Agent的人员疏散模拟系统。疏散结果显示,该系统能够较真实地模拟人员疏散过程。     

日志审计系统设计与实现

根据目前的网络环境现状，提出了一个日志审计系统的设计，介绍了该系统的重要性以及它的作用，从总体上描述了系统的框架设计，同时对系统中大的功能模块进行了阐述，并利用伪代码给出了一些关键技术的实现细节，预见了日志审计系统在网络发展中的潜力。     

基于Agent技术的机群智能构造器的设计与实现

提出了一种基于Agent技术的机群智能构造器CIB。通过一种系统构造机制,CIB实现了对机群系统的自动配置、部署和引导,从而构造出用户定制的机群系统。同时,它提供了遵循用户心智模型的GUI,减轻了用户的认知负担。文章概述了CIB系统提出的背景,分析了同类机群管理软件的不足之处,介绍了采用Agent机制解决问题的方法,描述了CIB的设计与实现,并从易用性和效率两个方面对系统进行了评测。     

基于软件代理的应用系统安全性设计与实现

文章以国际结算应用信息系统ISDMSv1.0中的安全系统为应用背景,分析了信息系统的安全性问题,强调了系统的网络安全管理问题,设计并实现了一种基于软件代理和安全套接层协议SSL(SecureSocketLayer)的数据安全传输系统。对该系统的两个主要组成部分:客户方安全代理NS-Agent和服务器端安全网关NS-Gateway,进行了详细介绍,并分析了实现中的若干关键技术。该方法被证明较好地解决了信息系统网络环境中的安全问题。     

基于防火墙日志的网络隔离安全审计系统设计与实现

在当前网络攻击方式不断变化的背景下,新出现的安全隔离技术直接阻断网络在链路层上的连接,并进行数据交换.日志是网络安全体系中的重要部分.针对一个网络隔离系统,讨论了日志管理系统的架构、设计实现方法,并在实际中得到应用.     

基于AOP的动态日志系统的实现

为了避免在软件系统中的代码散射(scattering)和代码缠结(tangling),提高软件系统的可维护性与可扩展性,需要将系统必要的但与系统的主要业务无关的一些功能分离出来,单独作为一个模块来实现.然后使用静态织入或者动态织人的方法将这些功能与主要业务联接在一起,组合成一个完整的软件系统.采用面向方面(Aspect-Oriented Programming,AOP)的编程方式将日志功能与主要业务功能组合在一起,并使用反射及动态编译的方法实现了二者结合点的可定制化,进一步提高了系统的灵活性与可扩展性.通过在仪器设备管理系统中的应用,这种方法取得了良好的效果,具有一定的推广价值.