大数据实时计算平台技术综述

随着互联网和互联网技术的快速发展,每天产生的数据正以指数级的速度增长,对这些大量数据的处理与分析具有巨大的应用价值。以Hadoop为代表的大数据技术的出现,可以很好的解决大量静态数据集的数据处理与分析,但是很多数据都是实时产生的,人们希望可以实时的处理这些数据,这就需要流计算处理技术来实时处理这些数据,及时产出应用价值。     

大并发、高吞吐量实时数据平台的研究

为了解决某省正在运行的"全省实时警情抽取平台"的数据吞吐量较低的问题,文章对影响平台的并发数和数据吞吐量的相关因素进行深入分析,并对数据平台中的汇聚队列进行性能调优。文章还对比ActiveMQ和Kafka队列系统的实现原理,针对大并发和高吞吐量设计仿真测试方案,同时还引入Drools规则引擎,以适应数据平台中的相关计算规则的变化;最后设计一套通过验证的完全可以应对大并发、高数据吞吐需求场景下的实时数据平台。     

实时流计算在航天地面数据处理系统中的应用

针对航天地面系统中数据高速、实时和突发性等特点,以实时流计算Storm系统解析AOS在轨协议数据为例,讨论了实时流计算系统在航天系统中的应用和优势,同时指出现有实时流计算框架不适合处理连续型数据流的不足,并给出通过并行处理提高处理速度的解决方案及性能评价.     

流计算及其在电信实时营销中的应用

移动互联网时代,随着新技术的不断涌现,市场竞争愈加激烈,实时营销的需求逐渐增大。通过调研分析大数据实时流式处理技术,并结合其在满足非功能性需求方面的独特优势,设计了一个可以同时满足大数据存储、大数据实时处理的实时营销平台。实时数据处理首先将实时数据以日志的形式存储在Flume中,然后再通过Strom和Spark Streaming工具对实时数据进行实时处理与分析,并对数据进行标签,并将生成的标签存储在Redis数据库中,为发现目标用户进行精准营销做准备。     

基于大数据平台的信令数据采集技术研究

针对现有信令数据采集技术所面临的海量数据采集需求以及存储困难等问题,文中研究了基于大数据平台的信令数据采集技术。设计了基于大数据平台的信令监测系统架构,并分析了信令监测系统的大数据解决方案。另外,文中进一步划分了基于大数据平台的信令数据采集架构,主要包括大数据信令采集架构、大数据信令采集模式以及大数据信令采集内容3部分。所设计的面向大数据平台的信令数据采集技术架构可以有效适用于海量信令数据采集场景,为实现大规模分布式信令数据采集提供了工具。     

运营商大数据技术应用研究

伴随着大数据时代的到来,数据已然成为企业乃至国家的战略性资产。针对大数据技术开展研究,既顺应了时代的潮流,也是各大运营商的社会责任。大数据在现实生活中的运用,是运营商在发展业务、推广市场的基础,更能体现企业的综合实力。如何将海量的数据进行快速且有效的处理,是当前运营商面临的关键问题。文章主要介绍了大数据技术的现状,通过对大数据技术优势与不足的分析,为运营商在大数据技术方面的应用提供参考建议。     

时序大数据流式计算处理在航天测控中心系统的应用

大数据处理技术按照时效性可分为批处理与流处理两种模式。大量航天器工程测量数据经过测控设备的解码、译码等处理后形成原始数据发往测控中心,带有时间戳的这些原始数据、过程数据、处理结果数据及软件状态信息组成了时序大数据。通过对航天测控中心智能化决策模型的研究,设计了一种基于流式计算技术在航天测控中心系统的应用方法,指出了当前消息队列系统的瓶颈,并提出采用Kafka的消息通信机制来解决任务数量受限的问题。     

基于实时大数据处理的交易欺诈侦测的研究

银行产业的迅猛发展,在带来海量银行卡交易的同时,也伴随着越来越多的交易欺诈。欺诈交易不仅给持卡人、商户等带来不可估量的损失,而且严重阻碍银行产业的发展,因此交易欺诈侦测技术就显得尤为重要。本文分析了交易欺诈的各种类型以及银行业规划反欺诈体系需要考虑的因素,提出了基于实时大数据处理技术的交易欺诈侦测方案,进而解决海量数据环境下的实时交易欺诈侦测问题。     

面向移动互联网大数据的异构实时计算框架

在移动互联网监控领域,面对扁平化的网络架构,想要做到分钟粒度的实时监控,运营商面临巨大的成本支出。本文针对移动互联网大数据的需求,研究并设计了一种异构实时计算框架,力图帮助运营商有效解决所面临的困难。     

大数据计算技术在电子政务领域的应用

本文首先阐述了电子政务的发展现状,其次分析了大数据计算技术在电子政务领域的作用,在此基础上研究了大数据计算技术架构以及计算技术模式,最后探讨了电子政务与大数据发展展望。     

浅析R语言并行计算在大数据分析中的应用

介绍了当今最流行的统计编程语言R语言,描述了R语言向量化计算思想以及其并行计算的软件包的使用过程,探讨了R语言在大数据分析中的应用.     

基于云计算的大数据挖掘平台

开发了一个基于云计算的并行分布式大数据挖掘平台——PDMiner.PDMiner实现了各种并行数据挖掘算法,如数据预处理、关联规则分析以及分类、聚类等算法.实验结果表明,并行分布式数据挖掘平台PDMiner中实现的并行算法,能够处理大规模数据集,达到太字节级;具有很好的加速比性能;实现的并行算法可以在商用机器构建的并行平台上稳定运行,整合了已有的计算资源,提高了计算资源的利用效率;可以有效地应用到实际海量数据挖掘中.在PDMiner中还开发了工作流子系统,提供友好统一的接口界面方便用户定义数据挖掘任务.     

飞行试验中振动信号实时处理技术研究

为了实现振动信号的实时监控,采用脉冲信号来确定振动信号周期的信号截取方法,对整周期信号进行误差去除后,利用傅里叶级数分析的算法对振动信号进行处理,在某型机飞行试验中进行了验证。结果证明,采用该方法设计的软件可以满足两路采样率为每秒1024点的振动信号的处理需求。     

大数据研究综述

随着互联网、物联网、云计算技术的迅猛发展,数据规模呈现了爆炸性增长的趋势,大数据时代已经到来,如何更好地管理和利用大数据成为研究的重点。本文从大数据的基本概念入手,分析了国内外大数据的发展和应用现状。在此基础上,对大数据的处理流程和关键技术进行了阐述,最后总结了大数据时代所面临的新挑战。     

基于CPCI总线的红外实时信号处理系统

介绍了一种高性能红外实时信号处理系统的原理、结构和特点.针对红外探测系统,提出了DSP FPGA CPCI的信号处理架构,采用Virtex Ⅱ Pro FPGA实现非均匀性校正等图像预处理,Spartan Ⅱ FPGA实现CPCI总线技术,DSP64X实现高层目标检测算法,以构成处理能力强、高速数据传输、接口可靠稳定的信号处理系统.实验测试表明,这种实时信号处理系统工作稳定、可靠,满足系统性能指标要求.     

Reconfigurable Computing for Digital Signal Processing: A Survey

Steady advances in VLSI technology and design tools have extensively expanded the application domain of digital signal processing over the past decade. While application-specific integrated circuits (ASICs) and programmable digital signal processors (PDSPs) remain the implementation mechanisms of choice for many DSP applications, increasingly new system implementations based on reconfigurable computing are being considered. These flexible platforms, which offer the functional efficiency of hardware and the programmability of software, are quickly maturing as the logic capacity of programmable devices follows Moore's Law and advanced automated design techniques become available. As initial reconfigurable technologies have emerged, new academic and commercial efforts have been initiated to support power optimization, cost reduction, and enhanced run-time performance.This paper presents a survey of academic research and commercial development in reconfigurable computing for DSP systems over the past fifteen years. This work is placed in the context of other available DSP implementation media including ASICs and PDSPs to fully document the range of design choices available to system engineers. It is shown that while contemporary reconfigurable computing can be applied to a variety of DSP applications including video, audio, speech, and control, much work remains to realize its full potential. While individual implementations of PDSP, ASIC, and reconfigurable resources each offer distinct advantages, it is likely that integrated combinations of these technologies will provide more complete solutions.     

安防大数据应用研究

描述了安防大数据的几个来源,论述了安防大数据实施中存在的难题,并据此提出了安防大数据实施的要点和步骤,最后重点分析了安防大数据的整体架构、与现有视频监控平台的关系以及基于GPU的安防大数据平台的系统架构.安防大数据实施时必须根据数据特点及算法成熟度分阶段进行.     

大数据平台云化技术

论述了大数据技术领域的发展趋势,从资源、能力、业务3个层面阐述了大数据平台云化的必要性和可行性;然后,结合Amazon EMR/Kinesis、VMware BDE、OpenStack Sahara等典型案例探讨了大数据平台云化的关键技术;最后,就大数据平台云化在未来发展中面临的关键问题进行了深入分析,为相关技术的研发和应用提供了重要参考.     

轨道电路故障诊断大数据处理技术综述

在轨道电路维护和管理过程中会产生大量的异构,多态数据,即大数据。如何高效存储和快速访问,是目前一个重要的研究课题。文中分析了轨道电路故障检测产生大数据的特点。回顾了当前在互联网和工业监测中大数据的处理技术,以及这些技术在轨道电路故障排除中大数据处理的优势和弱点。最终,从一个大的数据存储,实时数据处理,多数据源的异构集成和大数据可视化4个方面论述了大数据在轨道电路应用中的机遇和挑战。     

计算机数据处理中云计算技术的应用及发展方案研究

随着科学技术的不断发展与进步,计算机网络信息已经成为人们生活中不可缺少的一部分,不仅给人们的生活带来了诸多便利,而且技术创新使得技术更加符合人性化需求,特别是在计算机领域中应用云计算技术。云计算技术是一种新型的科学技术,在多个领域被广泛应用。因此,重点阐述计算机数据处理中云计算技术的应用,并研究顺应时代发展潮流的发展方案。