| 基于NGAS的多点观测数据存储与同步方法 |
| |
| 引用本文： | 石聪明,邓辉,戴伟,卫守林,王锋.基于NGAS的多点观测数据存储与同步方法[J].天文研究与技术,2019(2):204-210. |
| |
| 作者姓名： | 石聪明 邓辉 戴伟 卫守林 王锋 |
| |
| 作者单位： | 昆明理工大学管理与经济学院;昆明理工大学云南省计算机技术应用重点实验室;广州大学天体物理中心/物理与电子工程学院;中国科学院云南天文台 |
| |
| 基金项目： | 国家重点研发项目(2018YFA0404603;2016YFE0100300);国家自然科学基金(11403009;11463003;11773012);国家自然科学天文联合基金(U1531132;U1631129;U1831204);塞尔网络下一代互联网技术创新项目(NGII20170204)资助 |
| |
| 摘 要： | 平方千米阵列(Square Kilometre Array, SKA)望远镜建成后将具有超高的灵敏度、超快的巡天速度以及宽视场,进而产生超海量的观测数据。SKA天文台与各国区域数据中心间的海量数据同步传输是当前SKA建设中的一个难点。SKA先导项目使用的下一代归档存储系统(Next Generation Archive System, NGAS)在应用测试中存在效率低下,性能不足等问题。提出了一种基于ZeroMQ的数据存储与同步方法,通过采用更加高效的异步消息机制实现同步传输数据,回避了NGAS原有的采用HTTP协议的局限。实验结果表明,新方法在平均数据归档存储效率方面比原有方法快了近40倍,能够基本满足10 GB带宽的全速传输需要,取得了较好的使用效果。
|
| 关 键 词： | 下一代归档存储系统 平方千米阵列 存储与同步 海量数据 ZeroMQ |
NGAS-Based Multi-site Observation Data Storage and Synchronization Method |
| |
| Shi Congming,Deng Hui,Dai Wei,Wei Shoulin,Wang Feng.NGAS-Based Multi-site Observation Data Storage and Synchronization Method[J].Astronomical Research & Technology,2019(2):204-210. |
| |
| Authors: | Shi Congming Deng Hui Dai Wei Wei Shoulin Wang Feng |
| |
| Affiliation: | (Faculty of Management and Economics,Kunming University of Science and Technology,Kunming 650093,China;Center for Astrophysics/Institute of Physics and Electronic Engineering,Guangzhou University,Guangzhou 510006,China;Key Laboratory of Applications of Computer Technology of the Yunnan Province,Kunming University of Science and Technology,Kunming 650500,China;Yunnan Observatories,Chinese Academy of Sciences,Kunming 650011,China) |
| |
| Abstract: | Shi Congming;Deng Hui;Dai Wei;Wei Shoulin;Wang Feng(Faculty of Management and Economics,Kunming University of Science and Technology,Kunming 650093,China;Center for Astrophysics/Institute of Physics and Electronic Engineering,Guangzhou University,Guangzhou 510006,China;Key Laboratory of Applications of Computer Technology of the Yunnan Province,Kunming University of Science and Technology,Kunming 650500,China;Yunnan Observatories,Chinese Academy of Sciences,Kunming 650011,China) |
| |
| Keywords: | NGAS SKA Storage and synchronization Massive data ZeroMQ |
| 本文献已被 CNKI 维普 等数据库收录！ |
|
