面向物流服务的海量日志实时流处理平台

随着电商平台的快速发展,物流行业增长迅猛,其中物流服务平台的访问日志能够反映用户的行为规律,从而挖掘潜藏信息助力物流服务平台优化业务已至关重要.目前,针对于此类大规模日志数据处理提出了更高的实时性需求,本文综合考量多种实时计算的流处理框架、大规模存储数据库以及日志采集工具等,选取Flume及Kafka作为日志采集工具与消息队列,并利用Flink及HBase进行流数据实时计算以及大规模数据存储.同时,对平台设计了数据去重、异常告警、容错策略以及负载调度的功能.经实验测试证明,本处理平台可以有效处理物流服务平台的日志数据,具有较强的创新思路以及实际价值.     

基于 Elasticsearch 的实时集群日志采集和分析系统实现

传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求。我们从实际需求出发,结合Flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统。通过预设日志规则库,实时统计并展示集群系统的运行状态,提供预警信息。     

基于集群模式的日志归集与分析系统的设计与实现

随着企业生产系统规模的扩大和周边接口数量的增加,各种类型的日志也相继的产生,尤其在集群环境中,如何获取与分析数十甚至上百台服务器节点上的日志信息已经成为企业亟待解决的问题.本文提出了一种基于集群模式的日志归集与分析的解决方案,利用Flume的高可靠、分布式特性,将集群环境下的日志收集到统一资源进行处理.提出采用基于Hadoop-Hbase的分布式数据库作为数据存储模块,保证了数据的高容错、高吞吐量,重写了基于Hbase数据库的各种接口API,来解决数据存入和读取时的关键问题.研究表明,该系统可协助企业及时、高效的分析系统产生的日志信息,减少开发运维的工作量,目前已经在金融企业核心系统得到实际应用,并取得了较好效果.     

基于C#的DCS故障日志诊断分析方法的研究和应用

由于平台运行产生的日志数据规模庞大、形式多样、错综复杂，且信息甄别难度高，给核电站机组分布式控制系统(DCS)设备运行状态的判定分析带来困难。为了快速、有效地实现DCS故障日志诊断及分析处理，创新地提出了一种基于计算机编程、结合DCS组态软件配置的故障快速诊断分析方法。该方法基于日志数据的收集和服务处理思路，利用分布式收集策略采集日志，通过工作站上的运行程序，对DCS日志数据进行一站式分析，实现DCS故障的快速诊断。通过在机组上的应用，有效提高了现场工作效率，可精准预判、定位故障点或可靠性降级设备，较常规手段具有准确性高、时效性强等特点。该方法具有一定先进性和创新性，具备较高的同行推广价值。     

分布式网络安全及检测方法研究

分析了网络入侵检测系统、日志系统,以及常见的网络攻击方式.针对目前的网络攻击逐渐采取分布式的方式,提出以分布式的分析方式来设计网络安全系统,通过分布式的信息内容的搜集,分析异常行为或攻击行为,再借助其关联性,进行交叉对比查询,达到分布式同质日志及分布式异质日志的分析,进而提高网络安全系统的效能.     

基于Prometheus的油田数据泄漏防护大数据系统运维方法

数据泄漏防护系统可以阻止企业的重要数据从网络出口违规外发。针对油田数据泄漏防护大数据平台对各个区域、不同类型的数据采集和设备、业务监测问题,本文首先提出依托大数据Flume(数据采集系统)组件,采用抓取外泄事件日志JSON(一种轻量级的数据交换格式)和解析后的违规外发文件txt文本的方法,实现数据采集;其次依托Prometheus服务监管系统Flume_exporter、Node_exporter组件和Grafana(一个跨平台的、开源的度量分析和可视化工具),实现对数据泄漏防护设备信息和应用数据的监管;最后指出搭建采集系统和监管平台对数据泄漏防护系统运维的作用。     

基于流式处理架构的日志采集系统的设计与实现

对信息系统运行记录、操作日志、告警信息的采集问题进行了研究,提出了一种面向泛政府行业安全运行管理平台的统一日志采集系统。采用基于消息队列的流式处理架构,实现日志采集、日志处理、日志上报等各个环节的解耦;采用标准化接口和插件技术,实现各种异构日志信息的采集和数据上报;采用消息队列的流量削峰技术,保证日志传输的安全可靠;依据日志流量特征,提出一种支持动态调整消费组的设计模式,满足系统的高性能要求。整个系统由日志采集、数据上报、数据管理、系统管理、策略管理、Agent管理、日志源管理模块和日志采集代理(Agent)子系统组成,可满足对各类安全数据的集中分析、安全威胁感知和智能研判。     

基于大数据的安全态势感知系统研究

针对目前层出不穷的各类网络攻击事件,基于最新的大数据技术组件,构建集数据收集、数据处理、数据存储、数据分析、数据呈现于一体的安全态势感知系统框架.通过Flume和Kafka获取日志或网络攻击信息,使用MapReduce和Storm技术进行批量或实时分析,以达到对网络安全的感知;采用层次分析法确定指标权重,提取网络态势特...     

基于流处理技术的云计算平台监控方案的设计与实现

针对目前云计算平台监控手段实时性差的问题,提出一种基于大数据流处理技术的云计算平台实时监控方案。该方案采用实时计算系统Storm作为核心,使用iostat、mpstat等工具获取服务器性能信息,使用Flume和Libvirt获取全方位的日志信息以及云主机状态信息。获取到的信息以数据流的形式传至Storm,然后进行数据清洗、关键词匹配等实时分析。在模拟生产环境下对该方案进行测试,结果表明:该方案能够实现对大规模云计算平台进行实时监控,而且具有高可靠性、高扩展性的的优点,达到研究效果。     

基于Docker的大规模日志采集与分析系统

传统日志分析技术在处理大规模日志时存在效率低、功能简单、实际应用扩展性弱等问题.为解决这些问题,设计了基于Docker的大规模日志采集与分析系统.系统分为数据采集、数据缓存、数据转发、数据存储、数据检索和展示五层,支持从不同数据源采集各种类型的日志,通过Kafka消息队列提供可靠数据传输,利用Elasticsearch实现数据分布式存储和检索,并以可视化方式分析日志.同时采用Docker容器技术实现系统的快速部署和版本控制.该系统具有实时性、可扩展性、易部署等特点.实验结果表明了该系统可行有效,具有良好的实用价值.     

Assessing Ideational and Evaluative Skills and Creative Styles and Attitudes

This article describes the rationale for the multiphase creative problem solving process, and reports the findings from an empirical investigation conducted to facilitate the problem solving of managers. The ideational skills of the managers were assessed before and after training in a complete process of creative problem solving, along with their ideational attitudes, creative problem solving style (i.e., generator, conceptualizer, optimizer, or implementor), and evaluative skill (i.e., ability to recognize original ideas). The most important findings indicated that the training had a significant impact on the evaluative accuracy of the managers. They were significantly more accurate in their judgments about original ideas after training, both in their identification of original ideas and their recognition of unoriginal ideas. After training, the managers also gave more solutions and more original solutions to problems. Finally, several variables (e.g., the “preference for active divergence” attitude, and the conceptualizer process style) seemed to moderate the impact of training. Training was therefore effective, with specific effects that can be predicted from pre-training individual differences in attitudes and process style.     

高等院校行政分析与决策系统的设计与实现

为提高高等院校的管理水平和决策水平,充分利用校园网资 源,开发了高等院校行政财政分析与决策系统。解决了诸如数据的动态查询、自动生成报表 、网络环境下数据共享等技术问题,具有网上数据共享、图形界面友好和安全的保密措施等 特点。     

Stochastic balancing and approximation-stability and minimality

A new method of stochastic model reduction has recently been introduced by Desai et al. [1], [2]. The stability of the reduced order model has not previously, been considered. In this paper, we show that the stability of the reduced order model follows directly from the results of Pernebo and Silverman [3]. It is also shown that the reduced order model is minimal, in the controllability/observability sense. The relevance of this notion of minimality to stochastic minimality is made clear.     

Rank and select revisited and extended

The deep connection between the Burrows–Wheeler transform (BWT) and the so-called rank and select data structures for symbol sequences is the basis of most successful approaches to compressed text indexing. Rank of a symbol at a given position equals the number of times the symbol appears in the corresponding prefix of the sequence. Select is the inverse, retrieving the positions of the symbol occurrences. It has been shown that improvements to rank/select algorithms, in combination with the BWT, turn into improved compressed text indexes.