新疆天文台数据中心建设与应用

经过多年观测,新疆天文台积累了大量珍贵的观测数据。如何高效管理快速增长的海量观测数据,如何实现全波段观测数据的融合及未来更大口径望远镜产生的海量数据归档与发布是目前新疆天文台急需解决的问题。新疆天文台数据中心面向天文学科研需求提供天文科学数据服务和基础设施,由新疆天文台计算机技术室负责运行与维护。数据中心以最新的虚拟天文台相关标准为基础建设,基本服务包括:为天文观测项目提供数据保存、管理和发布服务;为有价值的天文科学数据及二次处理后的数据提供长期保存和访问服务;为用户提供科学数据归档与发布服务及相关技术支持。数据资源主要有:新疆天文台25 m射电望远镜的脉冲星观测数据;活动星系核观测数据以及分子谱线观测数据。提供的数据服务有:PPMXL星表锥形检索;海量星表数据在线交叉认证;统一内容描述符信息查询等服务。主要介绍新疆天文台数据中心建设及其提供的服务,如何使用已发布的服务在线检索数据及利用标准虚拟天文台工具实现数据操作。     

中国虚拟天文台数据访问服务

随着科学技术的进步和大批天文观测项目的实施，天文数据正在呈现爆炸式的增长，天文学正进入一个数据富庶的时代。虚拟天文台项目的首要目标就是要解决这些高度分散、复杂、海量的天文数据的统一访问和管理，实现全球天文数据资源的融合，使天文学家能够高效快捷的获取所需的天文数据。中国虚拟天文台项目基于目前的网格技术，设计和实现网格环境下天文数据的查询访问服务，并为客户应用提供统一的访问接口。本文重点介绍了我们采用GlobusToolkit网格开发工具包，按照国际虚拟天文台联盟最新制订的天文数据标准，完成对天文星表数据资源的网格服务封装，实现天文星表锥形查询(Cone Search)和星表查询网格两个数据服务的工作，并介绍了如何使用天文数据服务搭建其他网格服务。     

天文数据检索与发布综述

海量观测数据及次生数据的高效存储与检索,天文大数据的快速及时处理,加速天文学研究的科学产出等问题,已成为天文观测和天文研究迫切需要解决的难题。以信息技术为支撑的天文大数据的高效分析和处理,帮助天文学家重新审视和了解宇宙。虚拟天文台的出现为全球范围内研究资源的无缝透明连接提供了协议、标准,以协议为基础规范了天文数据的发布与检索方式。以国内外现有的观测设备为基础,综述目前主流天文机构的数据发布与检索相关情况。     

基于JDBC的通用数据库访问和星表录人工具

LAMOST（Large Sky Area Multi-Object Fiber Spectroscopy Telescope）的巡天战略系统的主要功能是安排观测计划,而规划巡天星表是开展所有工作的初始步骤。天文研究人员或者巡天观测人员需要从各种类型的数据库进行选星、提取和录入。使用JDBC（Java Database Connectivity）数据库访问技术,利用面向对象的编程思想,实现了一个能访问多种类型数据库、获取星表数据、数据格式转换和星表录入的工具,支持大数据量处理,为天文研究人员以及巡天观测管理人员提供帮助。     

基于JDBC的通用数据库访问和星表录入工具

LAMOST(Large Sky Area Multi-Object Fiber Spectroscopy Telescope)的巡天战略系统的主要功能是安排观测计划,而规划巡天星表是开展所有工作的初始步骤。天文研究人员或者巡天观测人员需要从各种类型的数据库进行选星、提取和录入。使用JDBC(JavaDatabase Connectivity)数据库访问技术,利用面向对象的编程思想,实现了一个能访问多种类型数据库、获取星表数据、数据格式转换和星表录入的工具,支持大数据量处理,为天文研究人员以及巡天观测管理人员提供帮助。     

天文大数据管理工具的设计与实现

随着大型地面和空间观测设备的建设以及大型巡天项目的开展,天文数据以TB字节、PB字节,甚至EB字节计量,天文学进入了"大数据"时代。面对数据海洋,如何有效地存储和管理这些大数据是摆在天文学家面前的核心问题。数据存储和管理不仅仅是天文数据中心的任务,天文学家也需要有效地管理自己的科研数据。能够将海量的数据自动地存入数据库中是管理数据的基本前提,而高效的数据索引则是管理数据的核心要素,为此设计开发了天文大数据管理工具Auto DB,使用虚拟终端监视实现海量数据的自动入库,对数据自动创建全新的天空分区索引Q3C(Quad Tree Cube),对天文数据进行二维空间索引以便于高效的管理。天文大数据管理工具的改进和完善对天文学家后续研究中的数据融合、数据分析、数据挖掘提供了根本的保障,尤其对从事大数据的天文学家,拥有自动化的数据库管理工具,可以集中精力致力于科学研究。     

我国太阳物理历史观测资料存储方案

天文用户从数据服务得到最佳效果包括这些因素,如天文数据存储方法与数据存储的便利性、数据的安全性,数据存储服务维护的便利性,这是每一个大中型数据相关项目对数据存储及共享提出的要求。分析了领域型项目的存储需求,不同存储服务架构的差异,提出采用云存储架构并设计了领域云存储服务架构,此架构不仅能满足从数据处理到统一存储、统一对外服务的需求,对用户数据查询服务也有最佳体验。最后涉及了建立灾备系统,及其规范等内容。     

天文观测数据开放共享政策与策略分析研究

当代天文学已经进入数据密集型和数据驱动的时代。随着我国天文学研究的不断发展,国内自产的天文观测数据呈现爆炸式增长的趋势。将天文观测数据资源集成并推动数据资源与应用服务的共建共享,建立健全符合科学发展规律的数据资源开放共享政策与制度,使天文科技资源得到高效有序的管理和使用,对国内天文学研究和科普教育的发展至关重要。在充分调研各国政府、部门和国际组织有关政策的基础上,剖析了国外科学数据"完全与公开"的共享原则,介绍了我国科学数据共享有关的管理规定和当前状况,重点论述国际各大天文望远镜项目和天文数据中心天文观测数据资源开放共享的有关政策。对国内天文观测数据资源和开放共享的现状以及存在的问题进行了分析和总结。对我国天文观测数据资源共享工作发展和政策制定提出了具体建议。     

异地异构天文数据资源的统一访问

天文观测数据资源具有时间跨度大,数据量大,存储、管理分散,管理工具驳杂等特点.如何提供给天文学家一个统一访问这些异地存放的异构数据资源的方案,是虚拟天文台的一个重要研究课题.本文提出了一种基于网格的解决方案.我们基于OGSA-DAI技术实现了对天文星表数据,图像数据和光谱数据的封装(DataNode).我们设计的虚拟天文台数据访问服务(VO-DAS)实现了对DataNode的自动资源发现以及异地异构数据库的联合访问.这将使天体的多波段交叉证认成为可能.VO-DAS支持国际虚拟天文台联盟(IVOA)的各项相关标准,使得它具有良好的互操作性.它的对外接口简单实用,可以针对不同需求的天文数据用户发展出多种网格应用产品.通过在两个科学范例中应用VO-DAS服务,证明了它的可行性.     

天文星表入库的自动化

天文数据主要包括星表、星图、光谱、文献资料等,其中星表是包含天体信息的数据表格,是天文学家最常用到的天文数据。目前天文数据分布存储在全球各个数据中心。中国最大的天文数据中心是北京天文数据中心,其数据库的重要部分是天文星表数据库。本文阐述了建设天文星表数据库的意义,着重探讨了星表自动入库工具的实现,并介绍了在天文星表数据库基础上的数据融合和数据挖掘。