WEB日志实时规则数据库的查询

随着WWW应用的高速发展和广泛普及,WWW服务器上收集大量的Web日志。对这些日志进行实时的数据开采,可得到大量关联规则,这些规则存放在实时规则数据库中。为了能即时并准确得到最能反映当前用户访问模式的规则,我们需要一套建立在规则形式基础上的查询和触发器系统,从实时规则数据库中,分析出Web用户当前访问模式的变化趋势。     

Web日志统计分析系统的设计与实现

Web服务器使用日志记录了Web服务器接收处理请求以及运行时所出现的错误等各种原始信息。通过对该日志的分析和统计。就能有效地掌握服务器的运行状况,发现网站中存在的问题与不足。本文在对MS IIS日志文件格式分析的基础上．详细地介绍在．NET Framework环境中使用C#快速开发MS IIS Web使用日志统计分析系统的相关技术问题。     

Web日志挖掘预处理中的用户识别技术

1 引言互联网技术和应用的迅速发展使得可以从因特网获取的信息量日益剧增,因此迫切需要一种新的技术从这些信息中快速、及时地发现有用的知识,提高信息的利用率。作为数据挖掘技术研究的一个重要领域,Web日志挖掘(Web LogMining)是从服务器日志文件内大量的用户访问记录中抽取有用信息的过程。通过对Web日志的分析,可以构造出用户的行为模式,对于分析改进网络性能、优化网站的设计和拓扑结构以及改善企业的市场营销决策等会有极大的帮助。当前Web日志挖掘领域的研究已取得了很大的进展,但是目前的研究重点大都集中于挖掘算法的设计、分析和改进,对日志文件预处理方法的研究相对较少,然而正确有效地对Web日志文件进行预处理,不仅有利于随后的挖掘算法分析,而且对于最终形成准确可靠的用户行为模式也是极为重要的。     

Web使用挖掘在远程开放教育网站建设的应用

通过广东电大成绩查询网站的开发运行,应用Web使用挖掘技术,对成绩查询网站服务器日志数据及扩展的用户日志数据进行数据挖掘,分析了解学生的访问行为,从而可以为学生提供个性化、针对性的服务;同时基于Web使用挖掘的研究可以使网站结构曼合理、更安全.     

Web服务器的性能指标——SPECweb 96

SPECweb96是一个WWW(World Wide Web)服务器的性能基准测试。它是由SPEC的开放系统组织(Open Systems Group,OSG)和世界上领先的Web产品厂商以及科研机构共同开发的。 SPECweb 96针对的是那些在购买Web服务器时,希望得到有关Web服务器的性能指标的系统厂商、软件厂和普通客户。在它第一版中,SPECweb 96主要用于测试网页为静态页面的Web服务器的性能,即测试Web服务器处理HTTP请求或“get”请求的能力。在测试过程中,一个或多个客户机运行SPECweb 96软件,向Web服务器发出HTTP请求,该测试软件能测量每次请求的响应时间。在测试程序运行完之后。SPECweb 96将根据Web服务器的总吞吐率来计算测试结果,并用每秒钟的最大操作次数(ops,operations per second)作为SPECweb 96的性能测试值。 SPECweb 96的工作负载(workload)是通过对许多流行的Internet服务器的访问日志文件以及一些小型的Web站点进行分析之后得出的。为了验证SPECweb 96工作负载的准确性;设计者还将这些分析数据和Netscape及CommerceNet提供的日志文件进行了核对。SPECweb     

Web日志挖掘的用户识别算法研究

Web日志挖掘是将数据挖掘技术应用到Web服务器的日志中,发现Web用户的行为模式,以便进一步改善网站结构或为用户提供个性化的服务。文中探讨了Web日志挖掘中的用户识别算法,提出了一种多重约束条件的用户识别算法。     

基于分布式协同缓存机制的Web Proxy研究

提出了一种基于全局内存对象缓冲池的高性能分布式Web Proxy模型，通过在系统范围内构建类似于分布式共享存储器系统的缓冲池，并将分布式Web Proxy系统中访问最频繁的Web对象置于其中，则Web对象的平均服务时间缩短，提高了系统性能。通过实际Proxy服务器的访问日志进行了系统性能仿真，结果表明，该机制可以提高分布式Web Proxy服务器的性能。     

Windows+IIS Web服务器性能异常的错误源排查探讨

在基于Windows+IIS的多站点Web服务器中,经常出现因外部的恶意攻击或Web站点本身程序缺陷导致的服务器性能异常。主要表现为服务器系统资源占用率高,网站访问缓慢等,严重时可导致服务器完全停止响应或服务器死机。针对此问题,笔者结合近年来进行服务器维护的经验,提出了一种综合采用IIS应用程序池、系统进程管理器、系统日志及站点访问日志等机制进行性能异常错误源排查的方法。     

Web日志挖掘数据预处理研究

随着WWW的广泛应用及相应的Web技术的出现,数据挖掘的研究也进入了一个新的阶段。Web日志挖掘是Web数据挖掘研究领域中一个最重要的应用方面,而数据预处理在Web日志挖掘过程中起着至关重要的作用。Web日志挖掘就是运用数据挖掘的思想来对服务器日志进行分析处理。本文针对基于日志的数据挖掘,提出了前期的几种数据预处理方法,目的是分割服务器日志为多个独一无二的用户的一次访问序列,并给予了算法实现。     

点击流中事务数据模型的设计与实现

点击流数据简单说就是Web服务器上一系列有序的日志记录。随着WWW应用及电子商务的高速发展,电子商务网站的Web服务器上自动收集了大量的用户访问信息记录,即所谓的Web日志。Web日志蕴涵了大量的有用信息,如客户来源、客户访问趋势、客户兴趣、网站流量等,因而记录和分析Web日志数据已逐渐成为e企业的一项重大活动。点击流数据仓库对原始的Web日志数据进行过滤、清洗并集成,以便于利用联机分析处理和数据挖掘技术对点击流数据做进一步分析,从而为企业创造巨大的信息财富。     

基于建康管理技术的机载计算机智能故障诊断方法

为了满足飞机机载电子设备以状态监控为基础的视情维修保障策略,提升设备可维护性,提出了一种基于在线检测、故障预测、辅助决策的健康监控管理故障诊断方法,支持对机载电子设备的健康状态进行预测和评估。通过划分机载电子设备子功能的敏感威胁区域,对这些区域设计专门的威胁预警监控电路,进行功能危害监控,建立推理监控模型对监控电路故障进行预警监控,结合辅助决策的方式对预警到的故障进行定位,实现对电子设备的智能故障诊断。通过FMEA的分析与故障注入测试验证,该预警电路、推理模型和辅助决策能有效的预测故障及定位,具有较高的故障预测覆盖率,可提高机载计算机的维修性、降低维修时间,在电子设备视情维修策略上具备工程应用价值。     

支持向量机决策树在隐患预警模型中的应用

危化企业的安全监控数据具有社会价值,对安全隐患进行实时精确的预测是预警研究的热点,本文从人、设备、环境和管理四个维度出发,对安全生产隐患预警的相关指标进行分析,构建隐患预警指标体系,在此基础上,构建了自底向上的基于支持向量机的决策树多分类预警模型,实现对安全等级的的准确分类并用于预警未来的安全生产状态,通过与自顶向下的多分类模型比较,证实本文所采用的预警模型具有较好的实时性和精确度,满足对预警模型的基本要求.     

Modern computer-aided maintenance of manufacturing equipment and systems: Review and Perspective

This paper examines various methods in modern computer-aided maintenance including machine monitoring, fault detection and fault diagnostics. A perspective on proactive maintenance by monitoring the degradation of manufacturing equipment and systems is presented and illustrated. If the behavior of manufacturing equipment and systems can be monitored and measured adaptively then an early warning of possible faults can be generated. By doing this, maintenance personnel can perform early diagnostics and part replacement during regular maintenance hours. The paper also addresses the research needs based on the industrial perspective. The author believes that the development of in-process monitoring of machine degradation and faults is one of the most important research tasks for increasing machine uptime and improving production quality.     

基于全神经网络增强算法的WSNs故障预警与检测

针对现有WSNs故障检测算法存在的故障分类检测率低、耗时长、节点能耗控制差等问题,提出一种全神经网络增强故障预警与检测算法。全神经网络的神经元节点与临近层的节点连接,形成具有强大故障数据训练功能的深度网络结构,选择平滑性更好的sigmoid函数作为模型的激活函数,并基于感知机合理调节相邻两个隐含层之间的阈值权重,降低模型的训练损失;采用Adam优化算法抑制模型的梯度膨胀和梯度消失等异常情况,并消除训练中产生的数据冗余,以降低故障数据训练中产生的虚预警。实验结果显示:提出算法的总体故障检测率和不同类型故障的分类检测率都优于传统算法,此外全神经网络增强算法在节点故障检测耗时和能耗控制方面,也具有显著优势。     

基于实物ID的资产普查与隐患排查系统研究

针对传统电力资产普查与隐患排查机制存在设备全生命周期成本核算数据归集困难、运维资产台账资料管理粗放、主配网增存量运维数据共享机制缺失、资产普查与隐患排查数据治理及全景追溯具有滞后性等固有弊端,提出了一种基于实物ID业务协同和数据共享机制的资产普查与隐患排查系统。引入电网实物资产统一身份编码机制,实现电网主配网存量全息运维数据的一键式获取,引入开放式数据共享接口与主配网存量设备隐患指数预测曲线,构建具备编码自动分配与一致性校验、隐患排查信息完整可追溯、跨系统贯通与平台可移植、全息数据深度聚类分析与主动预警等功能的电力资产全局协同精准化管理架构。以国家电网内蒙古东部电力有限公司某220 kV变电站为效能评价载体,开发了资产普查与隐患排查原型系统并进行了综合效能实证分析,一线运维验证结果表明原型系统具备电力设备全息数据便捷获取与融合、电力资产普查台账实时更新、隐患排查数据的实时反馈与预警等全方位立体电力资产普查与隐患排查体系效能,主配网设备物料分类、增存量设备分类、资产普查分类、隐患排查分级预警等多码对应的一致率达100%,实现了电力资产全息数据全维度收集、全过程追踪、全方位共享。     

基于WiFi数据的地铁车站客流预警模型

为了降低地铁车站因客流增加或突发事件产生的客流安全风险,提出了基于WiFi探针检测数据的地铁车站客流预警模型。基于WiFi探针客流数据采集原理、数据属性特征和探针网络化布设方案,实现了对WiFi探针原始数据的预处理。同时建立了基于时间序列的地铁车站短时客流预测模型,并与线性回归模型进行了比较,通过计算地铁车站客流承载能力,构建了车站客流预警指标和分级预警模型。最后以上海地铁江苏路站为例进行模型验证,结果表明,基于WiFi探针技术的地铁车站客流检测和预测模型具备可行性和有效性,且预警模型对客流预警应用和研究有一定的参考意义。     

基于抽象故障树的化工事故预警

情景是分析事件的发生、发展及可能的后果的有效机制,然而,基于情景的预警机制或缺乏有效的模型支撑或受制于模型的局限性,实践中难以推广.抽象故障树是同类事故故障树的高层抽象,综合历史案例与专家经验,能够刻画事故的成因的机理、情景演化过程及可能的后果,能够有效支撑基于情景的预警分析.提出一种基于抽象故障树的化工事故预警方法,基于抽象映射计算事件危害度及节点重要度,将情景演化的割集模型转换为贝叶斯网络模型,采用Board法对事故危害进行风险度量和防御事件排序,实现基于情景的不同演化路径的事故风险预测及最佳应对策略推荐,实验结果显示了该方法用于事故分析预警的有效性.     

电力通信网大数据应用场景开发及试点应用

通信网作为电网公司的第二张实体网络,承载着电网运行和经营管理的核心业务,是电网安全、稳定的重要保障。通信管理系统在资源管理、实时监控、运行管理方面发挥了巨大作用,但随着数据量急剧膨胀,基于传统技术架构的通信管理系统在数据存储、处理、分析挖掘方面已不能满足实际需求。基于大数据平台,通过挖掘电力通信网资源台账、告警故障数据,结合网管设备性能数据、电力气象数据,建立通信资源运行风险评价模型,支撑通信资源预警和故障定位;采集数据网业务流量与设备路由数据,实现对重要断面流量动态监测、链路性能动态监测及劣化分析预警,提高对路由设备的分析预警能力。     

基于遗传算法的机械设备故障检测机器人设计

当前故障检测机器人受到超声波影响故障检测存在精准度低的问题,据此提出了基于遗传算法的机械设备故障检测机器人设计。采用AD500-1A型号传感器采集机械设备内外部数据信息,使用等效转换电路使机器人实时感知周围环境变化信息,并利用灵敏度高电子仪器实现机器人传感工作;使用2路200万数字网络高清摄像头,监视整个机械设备,获取机器人结构通信、管理和运动信息;将proGee0813型号芯片作为导航设备定位芯片,根据实际需求获取信号指令,并选定机器人行驶路径;通过Unity与UE4引擎虚拟现实硬件交互设备进行故障定位追踪;利用关节装置连接车轮前臂和上臂,实现不同磁铁吸附与脱离,依据机器人结构,完成机器人硬件结构设计。采用遗传算法确定导航适应度函数,通过机器人视频采集信息,设计预警功能,并利用机器人即时生成设备故障图像,依据实现流程,在超声避障功能支持下,完成机械设备故障检测。由实验结果可知,该机器人检测精准度最高可达到0.96,提高了机器人检测鲁棒性。     

基于AE-LSTM的多目标硬盘故障预测方法

硬盘故障预测是在故障发生前发出预警,避免数据丢失或服务中断,提高数据中心的可靠性和安全性。然而,大多数故障预测模型将硬盘故障问题转化为二分类任务,忽略了硬盘故障是渐变过程的,并且缺乏故障诊断功能。因此,提出了一种基于AE-LSTM的硬盘故障预测框架,实现多目标任务：硬盘健康状态分级、硬盘剩余使用寿命预测、硬盘故障诊断。首先,采用回归决策树模型智能化对硬盘健康状态进行标记;其次,通过AE-LSTM模型提取鲁棒的隐藏变量,并构建剩余使用寿命预测模型和硬盘健康状态分级模块;最后,根据AE模块的输入输出差异进行硬盘故障诊断。在Backblaze公开数据集上,对比了RF、LSTM和AE-LSTM三种算法,实验结果证实了AE-LSTM算法在多目标硬盘故障预测中的有效性和优势。