科技政策数据的评价及数据可视化研究

介绍了马尔可夫链模型在科技政策数据评价上的应用,通过编写爬虫代码,对科技政策数据进行预处理、聚类之后,把归一化的科技政策数据引入马尔可夫链中,对科技政策的变化加以预测;通过对python可视化函数库的研究,实现了对科技政策数据评价结果的数据可视化应用。     

信息可视化研究综述

信息可视化是可视化技术在非空间数据领域的应用,可以增强数据呈现效果,让用户以直观交互的方式实现对数据的观察和浏览,从而发现数据中隐藏的特征、关系和模式。可视化应用非常广泛,主要涉及领域:数据挖掘可视化、网络数据可视化、社交可视化、交通可视化、文本可视化、生物医药可视化等等。根据CARD可视化模型可以将信息可视化的过程分为以下几个阶段:数据预处理;绘制;显示和交互。根据SHNEIDERMAN的分类,信息可视化的数据分为以下几类:一维数据、二维数据、三维数据、多维数据、时态数据、层次数据和网络数据。其中针对后4种数据的可视化是当前研究的热点。多维数据可视化方法主要包括基于几何的方法、图标方法和动画方法等。基于几何的可视化方式中最经典的就是"平行坐标系"方法。平行坐标系(parallel coordinates)使用平行的竖直轴线来代表维度,通过在轴上刻划多维数据的数值并用折线相连某一数据项在所有轴上的坐标点展示多维数据。平行坐标系方法能够简洁、快速地展示多维数据,发展出很多改进技术。但是当数据集的规模变得非常大时,密集的折线会引起"视觉混淆"(visual clutter),处理方法包括维度重排、交互方法、聚类、过滤、动画等。其他基于几何的方法包括Radviz方法使用圆形坐标系展示可视化结果;散点图矩阵(scatter plot matrix)将多维数据中的各个维度两两组合绘制成一系列的按规律排列的散点图。基于图标的可视化方法用具备可视特征的几何形状如大小、长度、形状、颜色等刻划数据,代表性的方法包括星绘法和Chernoff面法等。动画方法用于可视化中可被用来提高交互性和理解程度,其缺点包括可能分散注意力、引起用户的误解、产生"图表垃圾"等。时间序列数据是指具有时间属性的数据集,针对时间序列数据的可视化方法如下:线形图、堆积图、动画、地平线图、时间线。层次数据具有等级或层级关系。层次数据的可视化方法主要包括节点链接图和树图2种方式。其中树图(treemap)由一系列的嵌套环、块来展示层次数据。为了能展示更多的节点内容,一些基于"焦点+上下文"技术的交互方法被开发出来。包括"鱼眼"技术、几何变形、语义缩放、远离焦点的节点聚类技术等。网络数据具有网状结构。自动布局算法是网络数据可视化的核心,目前主要有以下3类:一是力导向布局(force-directed layout);二是分层布局(hierarchical layout);三是网格布局(grid layout)。当数据节点的连接很多时,容易产生边交叉现象,导致视觉混淆。解决边交叉现象的集束边(edge bundle)技术可以分为以下几类:力导向的集束边技术、层次集束边技术、基于几何的边聚类技术、多层凝聚集束边技术和基于网格的方法等。其他研究热点包括图形的视觉因素研究、自适应可视化研究、可视化效果的评估等。视觉因素对于可视化效果的影响,如位置、长度、面积、形状、色彩等影响已经引起很多研究者的注意。色彩是视觉因素的重要组成部分,研究主要集中在颜色选择的原则和交互系统中。这些原则基于数据类型、类的数量、认知约束等。自适应可视化可以提高信息可视化的适应性。研究成果分为以下几类:自适应可视化展示、自适应资源模型、自适应用户模型。自适应可视化展示是指根据用户的特征自动为用户提供多种展示类型,自动选择可视化内容及布局的形式,自动调整可视化的元素等。自适应资源模型反映了对硬件和软件的利用以提高可视化性能。自适应用户模型通过显示用户模型的内容并让用户能够编辑,从而让用户能够控制模型的内容。当前关于信息可视化评价的研究较少,少量研究也没有提出直接和通用的可视化的评估方式,需要对信息可视化评价的理论基础、方法和应用做深入的研究。可视化技术与应用还应该继续向以下4个方面努力:直观化、关联化、艺术化、交互化。信息可视化技术的发展方向是协同(collaboration)、分析过程(analytics)、计算(computational)和意会(sense-making)。未来研究方向可以包括以下几个内容。信息可视化和数据挖掘的紧密结合。为提高处理海量数据时的速度和效率和解决视觉混淆现象;必须运用数据挖掘的公式和算法,对数据分析的过程及结果进行可视化展现。协同可视化。协同可视化领域的研究方向可以包括可视化接口设计、基于Web的可视化协同平台开发、协同可视化工作的视图设计、协同可视化中的工作流管理及协同可视化技术的应用等。更多领域的应用技术开发。包括统计可视化:需要研究使用几何、动画、图像等工具对数据统计的过程和结果进行加工和处理的技术;新闻可视化:对新闻内容进行抓取、清洗和提取和可视化展示;社交网络可视化:可视化方式显示社交网络的数据,对社交网络中节点、关系及时空数据的集成展示。搜索日志可视化:针对在使用搜索引擎时产生的海量搜索日志,可视化的展现用户的搜索行为、关系和模式等。     

基于CAN总线的农业车辆数据通信及存储系统设计

为了提高现代农业车辆数据通信的稳定性和实现数据可视化,提出了基于CAN总线的数据通信及存储系统设计方案。在该方案中,由3个STM32为核心处理器、PCA82C250为高速收发器的CAN节点构成数据通信系统,并通过在处理器上移植FAT16文件系统,实现对SD卡的可视化读写,实时记录各个节点采集到的数据。试验表明:在波特率为100 kBps和500kBps的情况下,3个CAN节点间网络畅通,数据通信正常。此外,文件系统在SD卡中创建的文本文档也记录了各节点采集到的数据,实现数据可视化。     

数据可视化研究综述

数据可视化对于从海量数据中发现规律、增强数据表现、提升交互效率具有重要作用。目前,数据可视化的概念及相关研究领域不断扩展,就数据类型而言,可视化研究逐渐聚焦于多维数据、时序数据、网络数据和层次化数据等领域。通过对中国知网（CNKI）中外文文献进行分析可知：2014年、2015年是数据可视化领域研究热度升级、理论成果大量产出的“里程碑”式年份;中国大数据领域研究热潮形成后,数据可视化是迅速发展的一个重要支撑领域;国内外数据可视化领域的研究,在时间上基本同步,而武汉大学、浙江大学、北京邮电大学、国防科技大学、电子科技大学等都是在该领域研究活跃度较高的国内高校。要获得良好的视觉效果,帮助用户降低理解难度,高效分析数据和洞悉价值,通常还需要注意色彩与语义、突出核心数据、防止数据过载、防止思维过度发散等技术要点。现有的数据可视化技术主要分为基于几何技术、基于图标技术、基于降维技术、面向像素技术、基于时间序列技术、基于网络数据技术的数据可视化方法,以及层次可视化技术和分布技术等。基于几何技术的可视化方法,包括平行坐标、散点图矩阵、Andrews曲线等。基于坐标的可视化方法,可以清晰展示变量间的关系,但受限于屏幕尺寸,当数据维度超过3个时,难以直观显示全部维度,需要结合人机交互技术进行展示,适用于表达不同维度之间的相关关系,比如学生学习行为之间的关联关系等。基于图标的可视化方法,主要包括星绘法和Chernoff面法,以几何图形作为图标刻画多维数据,直观反映出图标各个维度所表示的意义,适用于工作完成情况、激励工作进度概览等。基于降维技术的可视化方法,根据维度属性确定点的坐标,在保持数据关系不变的前提下映射到低维可视空间中,主要涉及主成分分析、自组织映射、等距映射等。基于时间序列的可视化方法,是一种显示数据间相互关系和影响程度的可视化方法,主要包含线形图、堆积图、地平线图等,随着时间发展采集相应数据,并利用上述3类可视化方法进行呈现,适用于表示信息数据流动和变化状态,如不同时间段成绩流向趋势分布、主题概念的变迁等。基于网络数据的可视化方法,核心是自动布局算法,通过自动布局与计算绘制成网状结构图形,主要有力导向布局、圆形布局、网格布局等,常用来表示大规模社交网络结构,适用于活跃度分析、引文关系展现等。层次可视化技术,主要包括节点链接、空间填充、混合方法等,通过绘制不同形状的节点和包围框来表示层次结构的数据,适用于表示群组成员间交互关系的发现和挖掘,如在线协作员工之间的交互。基于CNKI,通过对数据可视化研究情况的分析,提出数据可视化研究过程中的注意点,指出数据可视化需要重点考虑色彩的匹配,在色彩与数据内容的重要度之间建立关联;可视化方案应在满足业务需求的基础上以业务逻辑为依据,合理组合与应用相关可视化技术;统一的可视化风格有助于提升人们理解数据的连贯性、一致性和效率,兼顾用户的审美要求,在风格与色彩之间建立合理的匹配关系;数据可视化应以实用、合理、高效地表现关键过程、关键目标、关键结果为主要面向。此外,对可视化应用实例Echarts展开综述,包括Echarts 交互组件（markPoint和markLine标注点组件、dataZoom区域组件、图例交互组件）在可视化中的应用,以及动态数据绘制等。最后,对可视化存在的挑战以及未来研究方向进行了分析和展望,指出虚拟现实、可视化系统和数据分析是可视化未来的研究方向,其应用热点领域还包括统计可视化、新闻可视化、思维可视化、社交网络可视化和搜索日志可视化等。     

Hyperbolic技术及其在海洋环境质量评价与分析中的应用

Hyperbolic技术解决了大型层次数据在有限显示区域内的可视化问题.本文对Hyperbolic层次可视化技术进行了深入研究并加以实现,同时将Hyperbolic技术应用于某省各海域的海洋环境质量评价与分析中,对海量的、层次节点繁多的海洋统计与监测、环境评价与分析结果数据进行交互可视化,便于海洋管理者获取海洋环境质量的总体信息,从而进行更好的分析与决策.     

基于LDA主题模型的文献特征项多重共现可视化方法

文献计量学是运用数学和统计学方法对文献知识单元进行定量分析、揭示文献内部知识内容的一门科学。共现网络分析是文献计量研究中分析文献特征项数据关系的一种可视化方法，根据被分析特征项的数量分为单重共现网络分析和多重共现网络分析。与单重共现网络分析相比，多重共现网络分析增加了特征项的维度，对文献知识的呈现更加深入。但是，由于被分析特征项维度的增加，导致共现网络中的节点数量增多，节点间连线重合度和交叉频率过大，降低了文献计量可视化的效果。因此，目前文献计量共现网络分析主要以单重共现为主，多重共现网络分析可视化效果尚有待提升。为解决多重共现网络中节点过多、连线密度过大、不利于发现数据价值以及可视化效果较低等问题，引入LDA主题模型，采用空间划分的方法，将特征项全域可视化的问题转化为子空间可视化问题。首先，使用SATI文献题录信息分析软件抽取文献关键词，进行TF-IDF计算，以计算结果作为实验数据；其次，使用Python构建主题模型，对目标文献集合进行主题聚类分析；最后，使用Ucinet软件对不同主题子空间文献进行多重共现分析，并将子空间分析结果叠加和重构，完成多重共现可视化系统的结构化表达。结果表明：与原多重共现可视化方法相比，在内容呈现等价的前提下，基于LDA主题模型的多重共现可视化改进方法由于缩小了多重共现网络分析系统的规模，即子空间文献数量与特征词数目，因而降低了共现网络中的节点数量和节点间连线密度，使得多重共现可视化系统的结构更为清晰，增加了数据的可读性，突出了数据价值，有效提升了多重共现可视化效果。因此，多重共现可视化改进方法在一定程度上可以推进文献构成元素在多重组合知识挖掘方面的深入研究，提高不同领域文献计量的实证研究质量。     

辐状节点链接图在IPS日志分析中的研究与应用

为了提高IPS(入侵防御系统)日志分析的效率和精准度,提出一种辐状节点链接图可视化分析方法。针对经典节点链接图随着数据量增加,节点变得拥挤、层次难以区分、空间利用率不高等问题,结合节点链接图和辐射图的优势,设计一种新的可视化技术变形即辐状节点链接图。分析VAST 2013 Challenge比赛中IPS日志。研究结果表明:在大数据环境下,该技术能够合理分布节点以区分不同维度的IPS属性,利用可视化筛选降低图像密度,改进布局算法以合理利用显示面积以及产生图形的聚类;该方法能有效地感知网络安全态势,辅助分析人员决策;该辐状节点链接图的数据维度表现能力和业务层次控制能力较强。     

网络信息计量的数据挖掘技术研究

网络信息计量的数据挖掘技术研究是运用数据挖掘技术方法发现网络信息计量中的数据特征模式,利用现代可视化软件工具,开发网络信息计量中的数据特征模式的可视化系统,满足网络信息分析人员使用更复杂、更为强大的数据挖掘技术分析、处理数据的要求,为网络信息计量学理论研究及其方法和技术的丰富与发展开拓新的方向,为网络信息计量学规律应用于数据挖掘领域提供平台.     

基于网络的数据可视化研究与实现

数据可视化技术可借助人脑的视觉思维能力,帮助人们理解大量的数据信息,发现数据中隐含的规律,从而提高数据的使用效率。通过对数据可视化技术的特点和Web数据可视化参考模型的研究,采用了使用编程语言在计算机上绘制图形的方法来实现网络数据可视化。通过使用TeeChartProActiveX控件来实现图形的输出,并结合实例验证了研究方法的实用性和有效性。随着网络的快速发展网,络数据可视化方法拓宽了可视化研究的应用领域。     

基于网络流量数据的多视图协同交互可视分析系统

网络安全可视化通过提供有效的信息可视化工具将抽象的网络和系统数据以图形图像的方式展示出来,帮助分析人员理解分析网络状况、识别网络异常、发现攻击行为。在研究网络安全可视化技术的基础上,从流量数据出发,从可视分析角度入手,设计并实现了针对网络流量数据的多视图协同交互的可视分析系统。该系统通过提供多视图、多层次、多角度的数据展示与交互分析来识别网络流量数据中的网络异常,使复杂的网络数据更加生动形象地展示在用户面前,便于用户理解分析网络流量情况,辅助用户做出正确决策。     

社交网络中水军用户团队不当行为准确识别技术

传统方法通过提取用户的静态行为特征,利用监督学习模型完成识别,在社交网络规模大的状态下,水军用户团队不当行为特征和正常用户越来越相似,无法准确识别社交网络中水军用户团队的不当行为。为了解决该问题,依据用户动态行为特征研究社交网络中水军用户团队不当行为准确识别技术。对社交网络进行描述,在此基础上,提取用户行为动态特征。把社交网络中水军用户团队不当行为识别问题看作二分类问题,将提取动态特征相应的样本作为输入,构建决策树,通过决策树对新的社交网络数据集进行水军用户团队不当行为识别。结果发现：采用的动态特征可有效反映水军团队不当用户行为特征;所提技术对水军用户团队不当行为的识别结果和人工标识结果基本一致;所提技术在三个数据集上的调和平均值和平衡准确度较其它技术高。可见所提技术识别准确性高。     

基于k-邻域同构的动态社会网络隐私保护方法

社会网络数据分析蕴藏着巨大的经济利益,但是直接研究社会网络数据可能造成用户敏感信息泄漏,对个人隐私构成威胁.目前的隐私保护技术集中于研究单次数据发布,即静态网络中的隐私保护,然而社会网络数据动态发布需要动态的隐私保护方法.文中针对攻击者拥有在不同时刻的节点1-邻域子图作为背景知识的应用场景,提出了一种基于动态社会网络的隐私保护方法,该方法利用相邻时间片网络图之间的关联关系,依据信息变化增量确定邻域同构等价组中的基准节点,并通过对下三角矩阵操作来实现等价组中节点邻域子图匿名化的持久性.实验结果表明该模型能够有效地抵制邻域攻击,保护动态社会网络发布的用户数据隐私.     

高速电力载波接入技术的研究

本文通过对网络最后一公里问题的分析,并结合互联网络应用的多种过渡方案,提出了以高速电力载波为载体的接入设计方案,采用OFDM技术将高数据流分解为低速数据流,并有效地分离各信道信号,以实现高速信息数据在电力线上的传输,从而使得通过网络对家庭智能化设备进行控制变得简单、可行。     

动态社会网络中的社区挖掘算法研究

为解决社区挖掘问题,针对社会网络的动态特性,给出了新的社区定义,并结合连通性和频繁性概念提出一种新的算法DCSMA(Dynamic Community Structure Mining Algorithm)。挖掘时刻连通的个体集合作为社区,采用层状结构模型,根据重要性权重区分社区内个体,使社区结构更加清晰。在标准测试数据集上的实验结果表明了该算法的可行性和有效性。     

社会—生态系统适应性治理初探

近几年,基于生态系统管理的相关研究中,学者逐渐认识到社会维度的重要性,提出了适应性治理的概念.适应性治理是自我组织的社会网络,团队和行动者群体关注多样的知识体系和经验,以形成共识和决策.适应性治理涵盖多层次的个人、组织、代理机构,包括处理不确定性和变化过程中组织和制度的复杂性以及社会资本.社会资源的恢复力,例如社会资本（包括信任和社会网络）、社会记忆（包括应对变化的经验）,都影响社会—生态系统对变化的适应能力.适应性治理通过适应性管理系统发挥作用,并重视社会资本、网络、领导者和信任.社会-生态系统的弹性使其可以利用“危机”进入更理想状态.     

从信息网到社会网的转变看网络文化的特点及教育意义

网络发展经历了从信息网到社会网的转变。信息网受到新技术力量的推动不断演进,符合超摩尔定律且表现出三网合一的趋势。社会网以信息网为基础,依靠社会性软件建立全新的虚拟世界,重塑社会关系。社会网作为无尺度网络,能通过网络形成＂小世界＂,注重联通主义理论。具有高度聚合作用的社会网为教育带来了宝贵的启示。     

基于权重的Jaccard相似度度量的实体识别方法

社会网络分析方法将社会行动者映射为图的节点,社会行动者之间的关系映射为图的边,然后利用图论的相关知识来解决社会网络问题.将数据挖掘方法应用于社会网络分析是数据挖掘研究领域的一个新方向.本文主要在算法改进和系统实现层面展开数据挖掘在社会网络分析中的应用,提出了基于权重的Jaccard相似度度量的方法及处理多链接属性的实体识别算法.最后基于电信分析系统平台,使用上述算法在电信数据集上进行测试,实验结果表明上述算法的有效性和实用性.     

家庭社会资本与家庭收入关系的实证检验

依据社会资本理论,利用调查数据,用网络规模、网络差异、社会参与程度和信任程度等4个变量来测量家庭社会资本。通过建立模型实证分析,我们发现,家庭社会资本存在较大差异;家庭社会资本对家庭收入存在明显的正向影响。     

社交网络基于邻居结点亲密度的信息流控制

Web2.0技术的快速发展推动在线社交网络成为人们传播信息最流行的平台。用户在发布海量数据带来巨大的商业价值的同时,隐私信息泄露问题也随之而来。针对在线社交网络中隐私信息流不可控制的问题,提出了基于邻居结点亲密度的信息流控制模型。该模型通过计算用户授予好友可访问资源的敏感度来衡量邻居结点的亲密关系,并利用用户与好友之间的共同邻居数量对模型进行改进。此外,借鉴多级安全等级(MLS)的思想,将传递信息进行亲密度安全等级划分。社交网络管理者通过对传递信息设置合理的亲密度范围,以实现隐私信息流可控制范围内的传递。最后,通过仿真实验进行参数调整,验证了该模型的有效性和实用性。     

基于LabVIEW平台和网络的计算机远程在线监控

研究通过网络实现计算机远程控制和远程在线监测的方法.利用虚拟仪器技术和网络通讯技术,使用TCP/IP通讯协议组和LabVIEW中通讯功能模块,在LabVIEW工具平台上用G编程语言搭建计算机远程监控系统.结合实例阐明了这种方法的可行性及实用性强的特点.应用该方法可方便地建立计算机远程在线监控系统,可充分利用已有的网络资源,虚拟仪器技术和G语言编程使得系统变得灵活,其用户界面便于人机交流.