基于WEB的MUSER远程监控数据可视化展现方法

天文远程监控是天文研究的重要组成部分。为及时发现由于天气原因、电磁干扰、天线故障等导致的异常数据,提高数据处理的可靠性,我国明安图频谱射电日像仪迫切需要实现实时观测状态的远程监控。提出了一种基于WEBSOCKET技术的远程监控数据的可视化展现方法,并以观测过程中功率图和频谱图的实时展现为例进行了验证。实验表明,方法可满足实时监控数据可视化展现需求,并且改变了传统的现场监控模式,打破了地域限制,具有可靠性高、实时性好和扩充性广等诸多优点,提高了工作效率和设备利用率,对其它远程监控数据可视化展现系统有一定的参考价值。     

基于QT的MUSER观测数据多屏图形化实时显示的设计与实现

对天文望远镜的观测数据或控制过程状态进行实时的图形化显示,是天文仪器研制过程中的一个重要环节。随着Linux操作系统在天文领域的广泛应用,如何开发基于LINUX图形界面的实时图形化显示系统成为一种迫切需求。针对我国明安图超宽频射电日像仪(Mingantu Ultrawide Spectral Radio Heliograph,MUSER,原名为中国射电频谱日像仪,CSRH)实时观测数据图形化显示的要求,给出了一种利用QT架构进行实时、多屏的图形化展现方法,并以互相关与自相关数据实时展现为例进行了验证。实验表明本方法完全可以满足MUSER实时观测监控的要求,并且具有简单、快捷、可移植性好等优点,克服了LINUX下X-WINDOW编程困难等难题,对其它望远镜设计类似功能有一定的参考价值。     

基于OpenCL的MUSER CLEAN算法研究与实现

天文软件开发中迫切需要在单机环境下进行高性能数据处理工作,但由于机器配置不同,采用传统的多线程、CUDA(Compute Unified Device Architecture)+GPU(Graphic Processing Unit)等方式都存在明显的局限,不利于天文软件的快速移植和无缝运行.对明安图频谱射电日像仪(MingantU SpEctral Radioheliograph,MUSER)数据处理系统开发中所采用的OpenCL(Open Computing Language)技术进行介绍,并基于OpenCL实现Hgbom CLEAN算法.整体工作通过Python语言和PyOpenCL扩展包实现并行洁化处理.实验结果表明:基于OpenCL实现的CLEAN算法与基于CUDA实现的CLEAN算法具有大致相当的运行效率,同时也可以无需修改代码直接实现纯CPU(Central Processing Unit)环境下的高性能数据处理,解决了对CUDA+GPU环境依赖的问题,在保证MUSER数据处理系统洁化过程性能的基础上,提高了系统对硬件平台的适用性.该工作验证了OpenCL在科学数据处理中的可用性,可以预见:由于OpenCL所具有的异构环境下高性能计算特性,OpenCL将是未来天文高性能软件开发的首选技术.     

基于容器的脉冲星数据处理软件部署与测试

随着天文观测技术的飞速发展,天文数据处理软件日趋复杂,天文数据处理环境的部署与管理日渐繁琐。利用容器技术将脉冲星数据处理环境封装成容器镜像并建立私有镜像库,科研人员可以根据数据处理需求选择镜像,实现数据处理环境的快速部署。利用实体计算机、虚拟机和容器中对脉冲星基带数据进行相干消色散处理,对比不同平台的资源利用率与数据处理效率。实验结果表明,容器的性能与实体计算机相近;在多任务并发的数据处理测试中,容器的资源分配更加合理,相较虚拟机可以提高计算资源利用效率。在新疆天文台脉冲星数据处理服务器上实现了基于容器的数据处理架构部署,设计并开发了容器管理图形用户界面,通过优化多用户登录、身份验证、数据卷挂载管理等功能,提高利用容器技术进行天文数据处理的效率。     

基于OpenCL的射电干涉阵成像网格化算法实现

天文软件开发与应用中迫切需要在单机环境下进行高性能的科学数据处理,由于机器配置不同,采用传统的CUDA+GPU技术存在明显的局限,不利于天文软件的快速移植和无缝运行。针对明安图射电频谱日像仪数据处理中的网格化(Gridding)算法,采用并行计算OpenCL技术进行多线程编程实现。实验结果表明,基于OpenCL实现的网格化算法不仅能够在图形处理器上运行,而且能够在纯中央处理器上运行。当选择在图形处理器上执行时,算法的执行效率与基于CUDA实现的网格化算法执行效率大致相当,但算法不局限于NVIDIA GPU,解决了算法对CUDA+GPU的依赖;同时算法也能在纯中央处理器上较快速地执行,适用于单机模式下进行天文软件的开发和测试,也便于天文软件的应用与推广。     

相干消色散脉冲星观测系统的研究

云南天文台射电天文研究团组利用从美国伯克利大学CASPER天文信号与电子学研究中心购买的现场可编程门阵列(Field-Programmable Gate Array,FPGA)接收机平台ROACH2,实现了512 MHz输入带宽,512 MHz带宽分为128通道输出(每个通道4 M带宽),8比特采样和双极化输入(1 024 MHz)的基带数据采集终端。海量数据传输方式通过SFP+万兆网口实现,利用编写的脚本文件调用DSPSR程序包实现数据的解码、相干消色散、偏振计算和折叠等处理。数据处理结果以PSRFITS格式存储。构建以ROACH2为基带数据采集终端和DSPSR为数据处理核心的脉冲星观测系统,相比于以VLBI观测终端为基础构建的观测系统,在观测模式、数据处理方法、运算效率和观测数据的通用性等方面具有更好的优越性。     

明安图观测基地复杂电磁环境和干扰消减措施

射频干扰是射电天文观测设备无法回避的问题。国家天文台(内蒙古)明安图观测基地多台各具特色的射电观测设备、各类电磁辐射源及其传播路径共同组成了复杂的电磁环境。现有超宽带高分辨太阳射电成像观测设备——明安图射电频谱日像仪,以及即将建设的子午二期工程的太阳行星际监测系统,包括米波-十米波射电日像仪、行星际闪烁望远镜和超宽带射电频谱仪等,全部频率覆盖1 MHz～15 GHz,观测结果用于太阳物理、空间天气监测和预报的关键问题研究,也对电磁环境提出了更高要求。介绍了明安图观测基地的观测设备及其地理环境,给出了方位频率功率谱、立体方向图、时间频率功率谱等射频干扰的初步监测结果,讨论了射频干扰预防、消减及射频干扰自监测方案。     

基于Docker的射电干涉阵软件系统敏捷封装与部署

随着天文技术的发展,天文数据处理软件的需求也不断更迭变化,导致软件运行环境渐趋复杂。对于开发者和使用者,急需提出一种对复杂天文数据处理软件敏捷化封装和部署的方法。我国明安图射电频谱日像仪已进入常规观测,与之配套的数据处理软件也已完成开发并投入使用。由于该软件的部署涉及操作系统环境、图形处理器运行环境及底层依赖软件等配置问题,导致安装过程既繁琐又容易出错。结合容器技术的特点,提出了一种基于Docker容器对日像仪软件系统进行敏捷封装与部署的方法,并对该方法的设计进行介绍,通过实验验证了其可用性,以及相比于传统虚拟机可获得较优异的性能表现。该方法可为未来天文数据处理软件的封装部署提供参考。可以预见,未来容器技术将成为天文海量数据处理的基础支撑技术。     

基于GPU的HOTPANTS并行优化

HOTPANTS是天文领域的重要工具,它主要是天文图像相减技术的具体实现,在凌日行星观测、引力透镜观测、寻找超新星以及发现天文现象的数据处理中发挥着重要作用。现阶段HOTPANTS经常被用在天文实时观测数据处理的流水线上,但是HOTPANTS在处理大规模的天文图像(7 K×7 K-10 K×10 K)时十分耗时。在分析HOTPANTS的性能瓶颈之后,提出并实现了基于图形处理器(Graphic Processing Unit,GPU)的HOTPANTS的并行优化方法。优化的HOTPANTS在处理大规模图像时,整体性能提升了2~3.5倍,卷积部分计算效率提升了6~13倍,并且通过图形处理器优化之后HOTPANTS的误差在天文领域是可以接受的。     

丽江天文观测站全天相机介绍

全天相机作为一个对天文观测台站全天云量信息进行监视的工具,对天文观测的正常进行发挥着重要的作用,目前世界上主要天文台均配备有全天相机,为了满足对全天云量信息进行实时监视的需求,丽江天文观测站正式安装架设了一套全天相机系统。从硬件安装架设、软件调试到实际测试等方面,详细介绍了全天相机系统的设计方案以及遇到的问题,讨论了对问题的解决措施,重点介绍了根据天光亮度数值调整相机曝光时间的方法,这也是主要创新与特色之处。     

基于Spark Streaming的明安图射电频谱日像仪实时数据处理

目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;(2)5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。     

瞬变源快速自动响应观测系统的研究与实现

天文瞬变源后随观测对于瞬变源证认具有重要的意义。瞬变源发生的偶然性和光变的快速性要求后随观测系统具有快速自动响应的能力。介绍了基于Python开发的天文瞬变源快速自动响应观测系统的研究和实现,核心是基于Django架构实现数据库交互与模块调度功能。系统有基于VOEvent的警报消息传递、网络端状态监控与交互平台、数据自动处理和结果自动反馈以及望远镜控制接口等主要功能。通过在北京的中法天文卫星科学中心和兴隆观测基地之间的消息数据传递和实际触发观测测试表明,系统能满足中法天文卫星项目地基观测系统瞬变源后随自动响应观测的基本要求,同时系统还具有良好的可移植性,适用于其他类似的自动响应观测系统。     

基于Cassandra的海量MUSER数据分布式存储与检索研究

明安图射电频谱日像仪每天产生海量观测数据,传统的关系型数据库存储和管理这些数据时,面临着读写延迟高、性能和容量扩展能力有限以及可用性弱等诸多问题。针对这些问题,开展了基于No SQL的海量数据存储与检索应用研究。首先,详细分析了明安图射电频谱日像仪的数据特点、存储需要以及面临的问题;然后,对明安图射电频谱日像仪进行数据建模,给出了明安图射电频谱日像仪的列式非关系型数据模型,同时提出了元数据和数据在No SQL中的同步存储方法,解决了二者的一致性问题,在此基础上实现了基于Cassandra的海量天文数据存储管理系统(MBDMS);最后通过实验验证了系统存储与检索的高效性、扩展性以及可行性。实验结果表明,MBDMS可以很好地满足数据管理的需要,是解决当前数据存储问题的一种有效方案。     

Vantage Pro气象站实时数据采集与在MUSER中的应用研究

我国明安图射电频谱日像仪(Mingantu Ultrawide Sp Ectral Radio Heliograph,MUSER)已经完成所有的硬件设备安装与调试,即将进入常规观测。为有效地保证观测数据的可用性,项目组购置了Vantage Pro自动气象站,用以实时监控观测地的气象条件变化。首先介绍了MUSER项目的基本情况,论述了在项目中气象条件的应用场景及在数据处理时对数据有效性可能造成的影响;详细介绍了Vantage Pro气象站的数据采集格式、数据交换格式以及串行通信协议;介绍了在气象数据的存储方式;最后给出了构建气象数据服务、数据归档和高效查询的方法。可以应用在望远镜自动气象监控和数据处理方面,也可以为选址的自动气象监测提供参考。     

南极中山站全天信息采集系统

南极高原拥有独特的天文观测优势,为了对南极中山站夜天文观测条件进行实测研究,中国科学院云南天文台专门研制了一套具有耐低温、自动除雪除霜等适应南极气候特征的全自动全天信息采集系统,该系统可以提供实时的全天云量、天光背景和全天图像,并将信息推送到网页实时显示。介绍了系统的研制及为适应南极气候进行的耐低温实验,统计分析了中山站2016~2017年的全天信息数据,结果显示,中山站2016和2017年的可观测时间为772.21 h和437.38 h,可观测夜数为93 d和51 d,天光背景最大真实值为22.05 Mag/arcsec 2,年平均气温为-10.6℃,最高气温19.1℃,最低气温为-44℃,2016年平均相对湿度为55.2%。     

新疆天文台NSRT观测数据存储系统

新疆天文台南山26 m射电望远镜经过多年观测积累了大量的科学数据。针对26 m射电望远镜天文观测数据的在线存储与备份问题,建设了远程、异地、容灾备份系统,在新疆天文台本部及南山观测站分别建设了可独立运行的存储系统,实现了两套存储系统间的远程、异地数据实时容灾备份。以基于对象的存储技术Lustre为基础实现了存储系统,并对存储的读写性能进行了详细测试。建设的容灾备份系统有效解决了新疆天文台观测数据及次生数据的在线存储与数据安全问题。     

射电天文30～300 MHz频段稀布阵列关键技术分析与研究

30～300 MHz的甚高频(Very High Frequency, VHF)频段是重要的射电天文波段,该频段观测采用天线阵组阵方式。稀布阵列具有空间分辨率高、副瓣电平低以及造价低等优点,进一步的天线阵综合加权可以对天线阵主瓣波束进行有效赋形,对最大旁瓣副瓣(Maximum Side Lobe)电平和远区栅瓣(Far Side Lobe)电平进行抑制。首先回顾了射电天文甚高频稀布阵列研究发展和现状,以及将会遇到的难点,提出了首先优化最优稀布天线阵元排布,进一步提出融合高性能计算平台+FPGA SOPC的稀布甚高频射电天文阵列信号处理结构体系,在图形处理器(Graphics Processing Unit, GPU)或者云计算平台上完成对天线阵各阵元频点加权参数的计算,然后通过高速总线将计算参数下发到前端的信号处理板中,通过FPGA SOPC完成对加权参数的配发。进一步分析计算了多波束情况下的数据率,可以实现实时的参数配置。本文成果为下一步大规模甚高频天线阵架设提供了技术依据。     

基于MPI的高性能UVFITS数据合成研究与应用

中国明安图超宽频谱射电日像仪(Mingantu Ultrawide Spectral Radioheliograph,MUSER)进入实际观测后,每3 ms产生一帧100 k B左右的数据,每天的原始观测数据约3.5 TB。由于射电日像仪的原始数据采用自定义格式,为了后续数据分析和共享的需要,有必要根据数据存储需求把这些原始数据转换成天文常用的文件格式。在前期工作中已经实现了原始数据格式到UVFITS文件的转换,在此基础上研究了基于MPI的集群并行环境下UVFITS合成系统的性能优化。通过实验验证,在改进后的并行环境下,UVFITS合成系统的性能达到了需求的2.5倍,可以有效处理当前及未来一定时间内射电日像仪的海量观测数据。同时,改进后的系统具有良好的横向扩展能力,能够为相关项目的数据处理提供借鉴和参考。     

基于高性能芯片的射电天文厘米-分米波谱线观测方法

谱线观测在天文领域起着至关重要的作用,较高的频谱分辨率可以为研究天体细节带来便利,但在高频段谱线观测领域,使用传统的采样方法实现较高的谱线分辨率十分困难。目前,一种利用高性能芯片实现的用于射电天文厘米-分米波谱线观测领域的新方法克服了传统方法的诸多弊端,使用较低的采样带宽就可实现较高的频谱分辨率。这是一套完整的采集、处理、存储方案。首先将高频信号进行模拟下变频处理,再将处理过的低频信号交由上位机软件进行快速傅里叶变换、积分处理,最后保存成需要的文件格式。整个系统的采集参数由观测者通过上位机软件进行配置。     

MUSER可见度数据积分方法与实现

射电观测是研究太阳活动的重要探测手段。我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)主要用于研究太阳爆发活动初始能量释放区的物理过程,其观测将在太阳射电成像开辟一个新的窗口。成像处理是数据处理的重要组成部分,如何提高成像质量是当前数据处理的研究重点。首先介绍了射电干涉成像的基本理论,随后分析了对观测得到的可见度数据积分的必要性,细致讨论了短时段可见度数据叠加求平均和长时段UV覆盖叠加两种积分方法,并给出了完整的实现。通过实现代码与实验验证,两种积分均可以有效提高信噪比,图像质量明显提高。