一种基于平衡指数平滑的交通流数据预测方法

为了解决传统指数平滑法在滤波后的数据与原始数据之间存在一个因累积误差而导致右偏移的问题,提出一种基于平衡指数平滑的交通流数据预测方法。该方法对传感器采集的异常数据和缺失数据进行处理,对于超过阈值的数据,则用前一时刻数据取代该数据;对于缺失数据,则插人前后时刻的均值。对处理过的数据采用平衡指数平滑法进行滤波。通过三次指数平滑预测模型对数据进行预测。实验仿真表明,该方法能有效消除传统指数平滑的右偏移误差,提高数据预测的准确性。     

应用WCF分布式框架实现移动数据同步

远程数据访问及合并复制同步方式存在数据安全性及不适合复杂网络环境的问题,而同步服务通过组件重构的方式实现数据同步,因此可以方便地将服务端同步组件和客户端同步组件分别部署。通过使用WCF封装服务端同步组件,可以使得服务端同步组件单独作为应用程序服务层为所有的客户端提供同步服务,从而解决了数据安全及复杂网络环境问题。可以自定义服务端同步适配器实现服务端和客户端之间的增量数据同步,利用同步服务冲突管理机制,又可以采用服务端优先或客户端优先方式解决数据冲突,从而给出一个完善的基于分布式框架的移动数据同步解决方案。     

大数据环境下的多源数据演化更新研究

大数据环境下的多源数据呈现出数据量大、数据种类多、数据变化快的特点,这些特点对数据更新提出了新的挑战。通过分析大数据下多源数据的特点,定义了演化数据的概念,基于此建立了大数据的动态变频遍历更新模型。首先通过抽象数据的演化方式,建立了演化数据的势与稳定性概念,从而推导出更一般的代数意义上的演化运算工具;其次通过将运算工具导入大数据数据更新的实际应用中,推导出基于概率的变频遍历与动态权值模型;最后通过实验验证了在大数据环境下动态变频遍历模型(Dynamic Frequency Conversion Traversal,DFCT) 对多源数据具有较高的更新效率。     

基于时间序列相似搜索和粗糙集的数据挖掘研究

提出了一种能够对含有时间序列数据的数据库信息进行数据挖掘的方法。首先使用时间序列相似搜索方法对其中的时间序列数据进行模式发现，然后将时间序列数据转化为离散型数值，进一步使用粗糙集理论进行数据约简和规则提取。通过使用这种方法能够对含有时序数据的信息进行充分的挖掘并发现其中的规律。     

基于情感文本数据筛选的感知节点选择机制

通过分析移动群智感知的协作过程,即感知节点的携带-存储-转发过程,发现该过程忽略了对节点携带信息的内容筛选.而对于有目的的数据获取而言,这种先收集后筛选的方法导致在后续对数据的分析与筛选过程中会耗费更多的时间,同时获取的有效数据占比不高.考虑到这个因素,本文结合遗传算法设计了一种在移动群智感知环境下基于情感文本数据筛选的节点选择机制.该节点选择机制主要通过对节点携带数据类型的筛选来选择感知节点,从而获取感知环境下移动用户的情感文本数据.通过实验验证表明,使用此方法在数据处理的效率上最大提高了27.6%,在有效的数据占比上最大提高了21%,因此该方法能够有效的提高对整体数据处理的效率.     

基于车辆检测器的可变情报板诱导效果评价

通过智能交通系统中的车辆检测器比较准确地检测了交通量数据,并在此基础上提出了一种采用实地试验方法对可变情报板的诱导效果进行评价的方法。该方法通过对分流匝道处的车辆检测器交通量历史数据进行清洗融合,得到不受可变情报板影响的历史数据,再将得到的历史数据通过诱导前的交通流数据校正后形成基准数据,然后和可变情报板作用后的交通流分流比例进行对比,最后针对对比的结果给出调整方法,从而获得了更好的诱导效果。     

动态数据融合算法改进仿真研究

为了有效滤除传感器网络动态数据携带的冗余信息,提高网络数据准确性与网络节点生命周期,提出了基于时间间隔与数据间隔双重增量的自适应加权动态数据融合算法。获取一段时间内的数据,结合数据间隔得出基准数据,利用其它数据与基准数据的偏差进行数据融合处理,有利于减少网络的负载压力;并根据递推估计将同一类型数据采取多次融合计算,引入自适应理论,利用相对方差对各个数据加权做相应调节,同时对数据修正后的估计权值做融合处理,得到最终的二次加权融合结果,进而提高动态数据融合的精度。通过仿真结果,验证了双重增量自适应加权算法在网络动态数据融合方面的有效性,显著降低了数据冗余程度,提高了数据准确性。     

信息战环境下基于数据依赖的文件可靠恢复

虽然现有的安全操作系统能够防止非授权用户的访问,但是它们不能阻止授权用户的恶意攻击行为。在信息战环境下,恶意授权用户(malicious authorized user)发起的数据篡改攻击是一种新的严重安全威胁。它通过被恶意修改的数据误导被攻击的组织做出错误的决策。针对恶意系统授权用户造成的文件数据篡改破坏问题,本文提出了一种基于数据依赖的文件数据可靠恢复算法。在发现系统授权用户的恶意攻击行为后,它能够通过对恶意用户所攻击的文件数据和非恶意用户所访问文件数据间存在的数据依赖关系的分析,自动发现被破坏的数据并对其进行自动修复。它的优点在于对受破坏的文件数据恢复时,能够保留未受恶意攻击影响的工作,从而提高系统的可用性,增强抗恶意攻击的能力。     

数据科学研究的现状与趋势

大数据时代的到来催生了一门新的学科——数据科学。首先,探讨了数据科学的内涵、发展简史、学科地位及知识体系等基本问题,并提出了专业数据科学与专业中的数据科学之间的区别与联系。其次,分析现阶段数据科学的研究特点,并分别提出了专业数据科学、专业中的数据科学及大数据生态系统中的相对热门话题。接着,探讨了数据科学研究中的10个争议及挑战:思维模式的转变(知识范式还是数据范式)、对数据的认识(主动属性还是被动属性)、对智能的认识(更好的算法还是更多的数据)、主要瓶颈(数据密集型还是计算密集型)、数据准备(数据预处理还是数据加工)、服务质量(精准度还是用户体验)、数据分析(解释性分析还是预测性分析)、算法评价(复杂度还是扩展性)、研究范式(第三范式还是第四范式)、人才培养(数据工程师还是数据科学家)。然后,提出了数据科学研究的10个发展趋势:预测模型及相关分析的重视,模型集成及元分析的兴起,数据在先、模式在后或无模式的出现,数据一致性及现实主义的回归,多副本技术及靠近数据原则的广泛应用,多样化技术及一体化应用并存,简单计算及实用主义占据主导地位,数据产品开发及数据科学的嵌入式应用,专家余及公众数据科学的兴起,数据科学家与人才培养的探讨。最后,结合文中工作,对数据科学研究者给出了几点建议和注意事项。     

基于数据预处理的无线气象传感网数据重构模型

针对无线气象传感网内由于节点数量大、感知数据冗余度高而导致节点通信耗能过高的问题,提出了数据联合稀疏预处理模型,利用监测区域气象要素预报值和各簇头要素值计算出一个全网公共分量并对网内数据进行预处理。将分布式压缩感知应用于簇型传感网中,对各节点感知数据进行压缩观测,在汇聚节点进行数据重构,从根本上降低节点通信量,均衡负载;同时设计了一个基于公共分量异常数据稀疏方法。仿真实验中,相对于单独使用压缩感知,数据联合稀疏预处理模型能够有效利用数据时空相关性提高数据稀疏度,压缩性能提高了25%,重构性能提高46%;同时,异常数据处理方案能够以96%的高概率恢复异常数据。因此,该数据预处理模型能够提高数据重构效率,有效降低网内数据通信量,延长网络寿命。     

■-残缺数据与■-残缺数据圆特征—应用

Fˉ-残缺数据是由Fˉ-数据(x)Fˉ与损失数据(x)-构成的数据对((x)Fˉ,(x)-),((x)Fˉ,(x)-)具有内-动态特性,应用于一类具有数据元减少特征的信息系统。基于Fˉ-残缺数据可视化问题,应用Fˉ-残缺数据提出Fˉ-残缺数据圆概念,讨论Fˉ-残缺数据辨识与恢复的几何方法。给出Fˉ-残缺数据圆位置关系定理,Fˉ-残缺数据的Fˉ-残缺数据圆辨识定理与辨识准则;给出Fˉ-残缺数据的Fˉ-残缺数据圆恢复定理,并给出应用。Fˉ-残缺数据圆是由数据圆OFˉ,O-构成的数据圆对(OFˉ,O-),Fˉ-残缺数据圆为研究Fˉ-残缺数据提供了一种几何方法。     

基于改进全卷积神经网络的医疗数据表面重建算法

为了实现对医疗数据的快速检测和分类识别,需要对医疗数据进行表面重建设计,首先,提出一种基于改进全卷积神经网络的医疗数据表面重建算法.采用无线射频识别技术进行医疗数据的大数据采样,对RFID采集的医疗数据进行信息融合处理,采用多元回归分析方法提取医疗数据的相关性统计特征量,然后,针对医疗数据中的冗余特征采用匹配滤波检测器进行冗余滤波处理,对提纯后的医疗数据采用相空间重构技术实现医疗数据重构,最后,对重构数据采用改进全卷积神经网络分类器进行分类识别,实现医疗数据的表面重建和自动识别.仿真结果表明,所提方法的医疗数据冗余特征处理效果较好,数据分类精度可高达90%以上,且医疗数据重建误差小,耗时少.     

F-残缺数据与F-残缺数据圆特征-应用

F-残缺数据是由F-数据(x)F与损失数据(x)-构成的数据对((x)F,(x)-),((x)F,(x)-)具有内-动态特性,应用于一类具有数据元减少特征的信息系统。基于F-残缺数据可视化问题,应用F-残缺数据提出F-残缺数据圆概念,讨论F-残缺数据辨识与恢复的几何方法。给出F-残缺数据圆位置关系定理,F-残缺数据的F-残缺数据圆辨识定理与辨识准则;给出F-残缺数据的F-残缺数据圆恢复定理,并给出应用。F-残缺数据圆是由数据圆OF,O-构成的数据圆对(OF,O-),F-残缺数据圆为研究F-残缺数据提供了一种几何方法。     

Application of fuzzy time series models for forecasting pollution concentrations

In the paper a model to predict the concentrations of particulate matter PM10, PM2.5, SO₂, NO, CO and O₃ for a chosen number of hours forward is proposed. The method requires historical data for a large number of points in time, particularly weather forecast data, actual weather data and pollution data. The idea is that by matching forecast data with similar forecast data in the historical data set it is possible then to obtain actual weather data and through this pollution data. To aggregate time points with similar forecast data determined by a distance function, fuzzy numbers are generated from the forecast data, covering forecast data and actual data. Again using a distance function, actual data is compared with the fuzzy number to determine how the grade of membership is. The model was prepared in such a way that all the data which is usually imprecise, chaotic, uncertain can be used. The model is used in Poland by the Institute of Meteorology and by Water Management, and by the Voivodship Inspector for Environmental Protection. It forecast selected pollution concentrations for all areas of Poland.     

Viscous Open Data: The Roles of Intermediaries in an Open Data Ecosystem

Open data have the potential to improve the governance of universities as public institutions. In addition, open data are likely to increase the quality, efficacy and efficiency of the research and analysis of higher education systems by providing a shared empirical base for critical interrogation and reinterpretation. Drawing on research conducted by the Emerging Impacts of Open Data in Developing Countries project, and using an ecosystems approach, this research paper considers the supply, demand and use of open data as well as the roles of intermediaries in the governance of South African public higher education. It shows that government's higher education database is a closed and isolated data source in the data ecosystem; and that the open data that are made available by government is inaccessible and rarely used. In contrast, government data made available by data intermediaries in the ecosystem are being used by key stakeholders. Intermediaries are found to play several important roles in the ecosystem: (i) they increase the accessibility and utility of data; (ii) they may assume the role of a “keystone species” in a data ecosystem; and (iii) they have the potential to democratize the impacts and use of open data. The article concludes that despite poor data provision by government, the public university governance open data ecosystem has evolved because intermediaries in the ecosystem have reduced the viscosity of government data. Further increasing the fluidity of government open data will improve access and ensure the sustainability of open data supply in the ecosystem.     

基于模板的数据结构类属实现方法

从抽象数据类型的多型数据类型观点出发,对数据结构的概念进行了拓延。通过实例对采用面向对象的模板技术实现数据结构的类属编程进行了讨论,为将数据类型作为数据结构的参数,实现多型数据类型提供了方法。     

一种基于Tri-training的数据流集成分类算法

数据流分类是数据挖掘领域的重要研究任务之一,已有的数据流分类算法大多是在有标记数据集上进行训练,而实际应用领域数据流中有标记的数据数量极少。为解决这一问题,可通过人工标注的方式获取标记数据,但人工标注昂贵且耗时。考虑到未标记数据的数量极大且隐含大量信息,因此在保证精度的前提下,为利用这些未标记数据的信息,本文提出了一种基于Tri-training的数据流集成分类算法。该算法采用滑动窗口机制将数据流分块,在前k块含有未标记数据和标记数据的数据集上使用Tri-training训练基分类器,通过迭代的加权投票方式不断更新分类器直到所有未标记数据都被打上标记,并利用k个Tri-training集成模型对第ｋ＋１块数据进行预测,丢弃分类错误率高的分类器并在当前数据块上重建新分类器从而更新当前模型。在10个UCI数据集上的实验结果表明：与经典算法相比,本文提出的算法在含80%未标记数据的数据流上的分类精度有显著提高。     

蒸煮过程软测量中的异常数据发掘方法研究

面向实际生产过程的软测量技术，融合了大量的现场数据，其中的任一异常数据(野值)的出现都可能导致模型的预测效果下降，甚至完全失败。由于实际测量数据不可避免地会带有误差，因此，对测量数据进行预处理非常重要。以制浆蒸煮过程纸浆Kappa值软测量模型为例，给出了一种综合判别异常样本数据的方法。该方法基于聚类分析和工艺机理发掘矛盾数据组，并结合回归分析和统计分析，定位异常样本数据并解释这些异常样本对建模的影响大小。以某造纸厂化浆车间的100组样本数据为对象进行分析，得到的异常样本及对建模的影响与专家经验分析相一致，证明了该方法的有效性。     

一种航天测量船船位数据替代方法

讨论了在传统航天测量船测量模式与新测量船使用的分布式测量模式之间,船位数据使用方式的差别.指出了在分布式测量模式下,研究一种使用已知点位数据等效计算其他点位数据的方法是必要的.把测量船船位数据替代问题抽象为具有一般性的位置替代问题.通过建立中间坐标系的方法,将位置数据替代过程分割成3个步骤,并且给出了每个步骤的数学表达式.最后通过测量船海上校飞试验数据对该位置数据替代方法进行了检验,结果表明在包含测量误差的同时,使用本方法计算得到位置数据,一致性和精度均满足任务要求.     

线阵式红外轴温探头的数据预处理

列车轴温监测系统中,线阵式红外探头提高了数据的可靠性,也成倍增加了数据量.为了适应大规模的数据处理,采用实时采集实时上传的方法,由上位机完成数据处理.数据处理前的预处理包括提取轴温数据、滤波去噪声.根据车轮传感器间的距离和时序提取出轴温信号,通过不规则十字滤波法对轴温信号滤波,结果表明,该方法可准确地从大规模数据中提取出轴温信号,滤波能平滑轴温信号,提高信号的抗干扰性.