大数据基准测试程序包构建方法研究

基准测试程序是评估计算机系统的关键测试工具。然而,大数据时代的到来使得开发大数据系统基准测试程序面临着更加严峻的挑战,当前学术界和产业界还不存在得到广泛认可的大数据基准测试程序包。文章利用实际的交通大数据系统构建了一个基于Hadoop平台的交通大数据基准测试程序包SIAT-Bench。通过选取多个层次属性量化了程序行为特征,采用聚类算法分析了不同程序-输入数据集对的相似性。根据聚类结果,为SIATBench选取了有代表性的程序和输入数据集。实验结果表明,SIAT-Bench在满足程序行为多样性的同时消除了基准测试集中的冗余。     

一种分布式动态负载平衡算法

在多处理机系统中,负载平衡是提高并行处理效率的一条重要途径。基于分布存贮的TRANSCUBE多处理机环境,本文提出一种分布式动态负载平衡算法。算法采用接收者开始的异步调度策略,通过“握手”协议在空载和重载处理机间建立联系,并自动实现任务(或进程)从重载处理机到空载处理机的迁移,该算法适于并行解具有动态特性的应用问题,而且在问题规模较大和处理机负载变化较慢时,性能较好。     

云计算核心技术与应用研究

当前,云计算不仅是学术界的研究热点,而且也引起了工业界的极大兴趣,因此得到了全世界各国政府的广泛关注与重视。云计算的目标是要像使用水电一样使用计算资源,像使用银行一样使用存储资源。这样一种使用计算的方式将极大地提高计算资源的利用率,减少浪费。然而,要达到这样的目标绝非易事,不     

车载物联网技术探讨

基于车载无线通信技术的新进展,文章讨论了未来车载网络中不同网络协议层面临的挑战;信息传播是车载网络研究中最重要的研究课题之一,文章围绕信息这一中心元素,讨论了宏观和微观信息传播过程中面临的挑战;文章还介绍了美国和欧洲几个典型的车载网络应用案例。     

基于机器学习的动态分区并行文件系统性能优化

近年来,随着大数据、云计算技术的发展,应用系统越来越集中,规模亦越来越大,使得存 储系统的性能问题越来越突出。为应对其性能要求,并行文件系统得到了大量的应用。然而现有的并 行文件系统优化方法,大多只考虑应用系统或并行文件系统本身,较少考虑两者之间的协同。该文基 于应用系统在并行文件系统上的访问模式对存储系统的性能有显著影响这一特点,提出基于动态分区 的并行文件系统优化方法。首先,利用机器学习技术来分析挖掘各个性能影响因素和性能指标之间的 关系和规律,生成优化模型。其次,以优化模型为基础,辅助并行文件系统的参数调优工作。最后, 基于 Ceph 存储系统进行原型实现,并设计了三层架构应用系统进行了性能测试,最终达到优化并行 文件系统访问性能的目的。实验结果表明,所提出方法可以达到 85% 的预测优化准确率;在所提出模 型的辅助优化下,并行文件系统的吞吐量性能得到约 3.6 倍的提升。     

大规模分布式文件系统元数据管理综述

文件系统的元数据主要是用来描述它的命名空间,访问权限和数据定位等信息的数据。由于50%～80%的文件系统访问要涉及到元数据,元数据服务的性能将极大地影响整个分布式文件系统的性能。为此,文章重点讨论元数据管理面临的问题,从元数据服务的高可扩展技术、高性能技术和高可用技术三个主要方向进行综述,重点分析了各自的主要问题以及目前发展起来的一些主流技术,同时对未来分布式文件系统的元数据管理一些值得关注的问题进行了梳理和展望,为相关研究提供一定的参考。     

基于 Spark 和浮动出租车全球定位系统数据的实时交通路况预测方法

随着大数据的发展和城市化进程的推进,城市交通路况预测成为智慧城市的焦点课题。而目前已有的实时路况预测模型由于软硬件的不足而不能进行准确高效的预测。文章利用真实的城市交通大数据,基于 Spark分布式内存计算框架,提出了一种高效的实时路况预测方法,其中实时路况用路段的平均速度体现。首先并行地对大量车辆的全球定位系统数据进行水平时间窗口和垂直时间窗口切片抽样,然后利用 Spark计算估测历史样本在各个时间段内历史平均速度的概率分布,最后采用贝叶斯最大后验估计基于新到的样本对未来的路况进行预测。实验结果表明,文章提出的方法可实现高效准确的实时路况预测。     

基于多云服务器的企业网盘设计与实现

针对现有企业网盘存在的安全隐患、传输性能较差、可靠性不高、运营商锁定等问题。该文 从网盘存储的机密性、可靠性和访问效率等方面,设计和实现一种基于多云服务器的安全企业网盘系 统——SkyDisk,实现了数据的自主可控、高速存取和安全可靠。其中,基于 Tahoe-LAFS 系统将多个 云服务器整合成分布式存储集群,为网盘系统提供后端存储服务;文件在存储之前采用 256 位高级加 密标准加密,保证数据的机密性;通过纠删编码和分散存储保证数据的可靠性;本地网盘服务器与多 个云服务器之间并行传输数据,实现了高速上传和下载。最终,SkyDisk 实现一个 Web 服务,向用户 提供 Web 方式的网盘系统。系统测试结果表明,SkyDisk 能够实现安全、可靠的文件存储管理,多云 服务器存储集群没有单节点故障。同时,能够满足快速上传、下载和便捷的文件分享等功能性需求, 降低了企业文件管理成本、提高了生产效率和企业竞争力。     

刊首语

大数据正引领新一轮科技创新，并为社会经济转型升级、国家竞争力提升提 供了新动力和新机遇。为此，许多国家都提出了大数据发展计划。我国国务院于 2015 年 9 月份颁布了《促进大数据发展行动纲要》，要求政府各部门促进数据共 享，并提出“推动大数据发展与科研创新有机结合，推进基础研究和核心技术攻关， 形成大数据产品体系，完善大数据产业链”。大数据具有深刻的科学和技术内涵， 近年来已经引发了各个学科领域的广泛研究，为许多产业带来了技术、模式乃至 思想上的变革。 本期大数据专刊收录的文章来自于中国科学院深圳先进技术研究院（以下简 称“先进院”）、中国科学院计算技术研究所、中国科技大学、深圳大学等单位。 专刊的内容围绕大数据平台和支撑技术、大数据应用以及大数据安全和隐私等主 题来组织。深圳大学陈国良院士和黄哲学教授在《大数据分析平台建设与应用研 究》中，对大数据平台基础设施的关键问题和行业经验进行了探讨。先进院须成 忠和王洋研究员在《大规模分布式文件系统元数据管理综述》中，对大数据文件 系统中的一个关键问题——元数据管理进行了详尽的分析和工作梳理。先进院张 云博士、李晴岚博士、周丰丰研究员以及林裕杰等分别介绍了大数据在多媒体、 气象、生物和互联网方面的研究进展，并展示了他们的近期成果。大数据应用的 推广使得安全与隐私问题日益突出，为此本期专刊特别组织了两篇相关论文。其 中，姜青山研究员针对当前移动恶意软件带来的安全问题，研究了一种新的方法， 对安卓平台的恶意软件提供了有效的检测手段。尹凌博士则考虑手机位置大数据 研究中带来的隐私暴露问题，研究了个体重识别风险和数据可用性之间的关系。 本期专刊展示了大数据工程与科学的若干重要方向上的最新成果，体现了国 内部分科研机构和高校在此领域所做的探索。目前，我国的互联网以及多种应用 市场规模均达到了全球第一，这为大数据研究提供了珍贵的素材和实证机会。我 们相信，在科研人员和产业界的密切合作和不懈努力下，我国的大数据科研水平 和应用能力将迎来更广阔的发展空间。