基于HDFS和IMPALA的碰撞比对分析

处理公共安全大数据需实现查询、全文检索、即时数据推送和内存计算等实时业务分析,而基于Hadoop生态系统建立的Hive不支持海量数据的实时查询,无法实现交互式查询和报表查询快速返回数据结果.针对Hive实时查询的不足,首次将Impala架构应用于公共安全数据处理上,结合Impala实时查询引擎的原理,分析了MapReduce上Hive的实时查询缺陷,比较了Impala和Hive的实时性能,改进了Impala上运行CURE碰撞比对算法,实现了异地数据碰撞比对的分析与展现.本系统的方案在实战应用中取得了较好的效果,可为公安安全领域构建大规模数据处理与分析系统提供技术参考.     

基于云计算技术的通用日志管理构件

计算机技术经历了并行计算、集群/分布式计算、网格计算等发展,现在已步入云计算时代。针对新环境下的日志管理问题,如日志文件分散存放,数量多,海量日志的查询费时或超时,效率低下等,提出了基于云计算技术的通用日志管理构件,研究了日志管理构件分布式部署,海量日志集中存储及管理,海量日志的实时、快速搜索。通过一个实际的日志管理应用场景进行验证,基于云计算的日志管理构件能满足预期的性能,故障排除和监控的效率极大提升,并能够为大多数软件项目中日志模块的开发所复用。     

基于微服务架构的日志系统

由于软件系统的规模日趋扩大和由此带来的复杂性,会产生大量的日志信息,这些日志需要存储以备查询和分析,而传统的关系数据库对日志存储、查询、分析的能力有限,因此,需要考虑一种大容量复杂场景的日志解决方案。本文介绍了一种基于微服务化架构的日志系统,在日志的收集、处理、存储、展示各个流程都使用微服务方式部署,支持动态扩容缩容、支持大规模日志的处理和存储,满足了复杂使用场景的日志需求。     

基于Spark Streaming的海量日志实时处理系统的设计

在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、 传输、 计算、存储、 查询存储等一系列功能的设计与实现.该系统不仅能够准确、 实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理.     

蜜罐系统中的日志应用及保护

本文阐述了蜜罐系统中的重要组成模块日志的格式及其功能,介绍了相关应用软件和工具,提出了远程异地存储日志、伪装传输策略以及基于第三层的日志保护方式,完善了日志功能在蜜罐系统中的应用。     

基于DirectShow的多媒体文件音视频的重新压缩

基于微软DircctShow开发平台，应用Visual C 开发环境，给出了一种对多媒体音频，视频数据以新的编码方式进行重新压缩，并存储为AVI件格式的C 编码实现。     

面向语义的日志系统构架设计

现有日志系统存在结构混乱、格式不统一、信息量随机和内容无法为计算机所理解并自动处理等缺陷。为克服这些缺陷，文章根据本体论和语义Web的思想，为日志系统引入语义。文章讨论了语义日志系统主要的设计思想，基于语义日志实现应用的环境感知和松耦合通信，语义日志事件查询和因果分析等应用问题，结合Linux内核给出了一个本体描述框架和系统结构，并结合开发实践给出了应用实例。     

Hive日志分析的大数据存储优化探讨

由于近些年我国信息化水平的提升,数据为我们工作与生活带来了不可估量的机制,怎样快速地转化大数据为可用信息,可以说是现阶段研究的重要课题。该研究基于Hive磁盘利用率与数据仓库查询性能的优化方式,有助于在专用场景中对Hive日志查询速率进行全面提升。该研究首先对Hadoop和大数据研究现状进行分析,其次探讨Hive日志分析的优化大数据存储策略,以期能够对大数据存储提供有效借鉴。     

分布式web日志处理平台的研究与实现

从日志信息采集、处理、存储等方面研究了分布式技术在日志处理平台的应用。使用Flume进行采集历史数据以及实时日志数据,并将收集的数据使用Kafka来缓存进行离线与实时清洗,最后将日志数据存储到数据库中,进行数据分析以图表的形式展示,做出相应策略从而提高效益。     

GNETS：一种新的GML数据存储和查询机制

随着GML的发展和WebGIS环境下地理空间信息的广泛使用,越来越多的地理信息数据以GML格式表示.然而,以文本形式存储的GML数据给数据管理和查询带来不便.根据GML文档的特点,提出一种新的基于节点关系的GML数据存储和查询机制,将GML数据存储在对象关系数据库中,并根据用户提供的搜索关键词,利用GML数据在对象关系数据库中的存储模式和节点关系,对GML数据进行相关查询,最终将查询结果以SVG格式显示给用户.实验结果表明,提出的查询方法可行有效.     

Hadoop平台在电信企业的应用实践

随着电信企业的业务发展,其运营网络、业务系统及支撑系统等生产了大量的日志数据,这些数据蕴含了大量有用信息,传统日志处理方式限制了企业对海量日志文件的处理、分析及应用.针对电信企业特定应用平台产生的大量日志文件,实践了Hadoop平台的MapReduce编程模型,该平台以HDFS作为底层文件系统,以Hbase作为可扩展的数据存储系统,更大幅度地提高了对日志数据分析的效率,具有较好的实用价值.     

Image/video spatial scalability in compressed domain

Image/video compression is widely used in various applications with the advent of the Joint Photographic Expert Group (JPEG), Motion Picture Expert Group (MPEG), and H.261 standards. Hence, most visual data are stored in the compressed format. Spatial scalable encoding of visual data has several applications, including browsing visual databases, querying multimedia databases, interactive multimedia communications, etc. We propose two novel techniques, namely, format compatible (FC) discrete cosine transform (DCT) and format modified (FM) DCT to implement image/video spatial scalability directly in the DCT compressed domain. The FC-DCT technique can be used to manipulate the standard bit streams, such as JPEG, MPEG, etc., while the FM-DCT technique can be employed in a variety of applications which require fast processing. In contrast to the traditional spatial-domain techniques, the compressed-domain techniques remove the unnecessary decompression and recompression procedures, thus, they have the advantages of reduced computational complexity and storage requirements. Simulation results demonstrate that the proposed DCT-domain techniques can achieve a comparable performance at a much lower computational complexity compared to the spatial-domain techniques     

信令监测系统共享平台业务订阅模块的设计

针对电信运营商的运营维护的要求,对信令监测系统的技术特点以及功能需求进行了研究,提出了一套信令监测系统共享平台的整体设计方案,对业务信令数据订阅模块的消息字段、通信流程进行了详细的设计,并且编码实现了其功能。测试表明,该业务信令数据订阅模块能够完成第三方平台对信令监测系统业务信令资源列表的查询、业务信令数据的订阅以及信令数据的传送,具有较好的实用价值。     

机动车尾气遥感监测数据中心平台的设计与开发

随着我国城市化建设的发展和机动车使用数量的提高,机动车尾气逐渐成为城市清洁空气的主要杀手。为有效改善城市空气污染状况,需对机动车尾气排放进行有效的控制和严格的检测。随着遥测技术的产生,在获得遥测尾气数据后,必须对检测数据进行有效安全的存储、管理及分析。针对机动车尾气遥感监测数据的存储、显示及分析处理的需求,建立了机动车尾气数据中心平台,实现对机动车尾气海量数据的存储管理以及Web监控查询平台的设计。     

Web日志挖掘中预处理过程的具体研究

Web日志的数据预处理是Web日志挖掘过程中基础而关键的一步,对之后的模式识别和模式分析有着很大的影响。为了达到有效处理数据的目的,针对此预处理过程中的5个步骤逐一进行分析,并在事务识别这一步骤中,比较了常用的两种算法。最后,基于这些算法思想,在Windows平台下,采用Java语言实现了Web日志预处理。实验结果表明是有效的。     

基于深度学习的域名查询行为向量空间嵌入

提出一种新的分析DNS查询行为的方法,用深度学习机制将被查询域名和请求查询的主机分别映射到向量空间,域名或主机的关联分析转化成向量的运算。通过对2组真实的校园网DNS日志数据集的处理,发现该方法很好地保持了关联特性,使用降维处理以及聚类分析,不仅可以让人直观地发现隐含的关联关系,还有助于发现网络中的异常问题如botnet等。     

基于FP-Growth算法的安全日志分析系统

传统日志分析存在单一事件分析不全面的问题,难以检测出新型攻击事件。针对这种情况,文中提出一种基于FP-Growth算法的安全日志分析系统,以电子政务平台产生的Web日志为主要研究对象,对日志进行了挖掘过滤分析,统计分析结果通过图表、报表等直观的方式呈现。实验结果表明,该系统能有效地发现潜在的Web安全隐患,为平台的稳定运行和后期优化提供指导。     

图像采集压缩和高清分析并行处理的硬件系统设计

将DSP与FPGA结合,设计一种对CMOS图像传感器进行图像采集和处理的硬件系统。该系统能够在硬件层面把图像分路处理,一路直接压缩后传输,另一路循环存储到多帧高清图像存储区,便于软件分析,较好地解决了传输带宽不足与智能监控需要高分辨率图像进行分析处理的矛盾需求。该系统具有高清图像实时采集处理的优点和硬件平台通用性,可用不同软件实现不同的图像分析处理。     

基于PXA270芯片的嵌入式数字视频采集系统

数字化的嵌入式视频采集系统成为当前视频采集的的主流。该嵌入式视频采集系统以Microsoft Windows CE 5.0操作系统和基于PXA270芯片的硬件平台为核心,实现了对现场的实时视频采集。系统在嵌入式端既可以进行视频的显示也可以进行图像的抓拍,同时视频数据在嵌入式端进行压缩之后通过局域网络传输到PC端,PC作为服务器端,在PC端的软件实现了对视频分析、存储和显示等功能。系统可广泛应用于视频监控的场合。     

An Compression Technology for Effective Data on Cloud Platform

There are more and more application systems running on the cloud platform, which will produce large amounts of effective data everyday. In order to preserve them and make fun use of the storage space, those effective data must be compressed and those compressed data, if necessary, should be recovered correctly. Meanwhile, there are a lot of equivalent data item values (or equivalent data item values within the system error) in the original data. So, it is not right to compress those effective data directly. In order to make fun use of the storage space and correctly recover the original data, a new method occurs. When compressed, those effective data must be processed firstly and then the handled data should be compressed with Huffman coding; when the compressed data need recover, the process is against with that of data compression.The experiment shows that this method has the advantages of fast compression speed, high compression ratio and lossless recovery .