缺失数据的多重插补方法

插补法是对缺失数据的调整方法,多重插补弥补了单一插补的缺陷,采用一系列可能的数据集来填充每一个缺失数据值,反映了缺失数据的不确定性。本文介绍了多重插补程序的三种数据插补方法:回归预测法、倾向得分法和蒙特卡罗的马氏链方法,并且对多重插补的插补效果进行推断,指出多重插补存在的问题。     

正态线形模型下缺失值的Bootstrap多重插补与比较

缺失值是调查中普遍存在的问题,对缺失值进行插补是处理缺失值的较好方法.如果变量之间存在相关关系,可以通过正态线形模型利用不存在缺失值的变量对有存在缺失值的变量进行插补.较之单一插补,多重插补更能有效地估计总体方差,因此更多地被使用.文章借助Bootstrap法,让模型的参数和残差来自完全观测的Bootstrap样本的最小平法估计,可进一步准确估计总体方差.通过大量模拟试验,发现Bootstrap多重插补较之单一插补和一般多重插补能构建更宽的置信区间从而有更准确的总体参数覆盖率,这点在数据缺失比重很大时优势更明显.     

缺失数据插补处理方法的比较研究

文章将抽样调查中由于项目无回答所形成的缺失数据作为研究着眼点,从矩阵运算的角度分析了此类缺失数据带来的危害,在此基础上,对缺失数据插补处理方法的基本问题进行了讨论,分析了各种单一插补方法特点及局限性,并介绍了简单随机抽样、分层随机抽样条件下缺失数据多重插补的抽样推断方法,在此基础上,对常用的单一插补和多重插补方法进行了比较,并对简单随机抽样、分层随机抽样条件下缺失数据单一插补与多重插补方法的效率进行了实证研究与比较。     

含缺失数据的半参数模型的稳健估计

文章在响应变量随机缺失下,基于分位数回归研究了半参数模型的稳健估计问题。首先基于B样条基函数近似技术,将模型非参数函数的估计问题转化为样条系数向量估计问题;其次,在响应变量随机缺失下,提出了一种新的插补方法,对缺失的响应变量进行多重插补;再次,基于插补后的数据集,构造出新的分位数目标函数,得到模型非参数函数以及参数向量的稳健估计;最后给出了有效算法计算多重插补估计量。通过模拟研究验证了所提方法的有效性和稳健性。     

公共突发事件应急统计中纵向缺失数据的处理方法研究

缺失数据在公共突发事件的应急统计数据分析中是一个非常普遍的问题,针对公共突发事件应急统计数据的纵向数据集,提出用一种得分匹配法来进行缺失值的借补处理,并将其与另外三种缺失值处理方法进行比较,即构造各种不同缺失率的随机缺失数据集,分别运用得分匹配法、LVCF借补法、无条件均值抽取法和多重借补法四种不同的缺失值处理方法对每一种缺失率的数据集缺失值进行处理。统计分析结果表明,少数缺失值发生时,LVCF法简单而有效;随着缺失率的增加,均值抽取法和多重借补法处理效果更稳定;得分匹配法借补缺失值考虑了变量之间的相关性,最大程度地利用了数据集包含的信息,同时考虑了含缺失值变量的实际变异程度,因此取得了最好的借补效果。     

缺失数据插补方法探讨——基于最近邻插补法和关联规则法

提出基于最近邻插补和关联规则的缺失数据插补方法,将不含缺失数据的变量作为辅助变量,通过定义距离函数寻找与含缺失数据的样本单元距离较近的样本,然后利用挖掘得到的关联规则支持度和提升度乘积的倒数作为权重,对样本单元之间的距离进行加权处理,得到加权距离,再用加权距离最小的样本单元对应的属性值对缺失值进行插补。这种方法可以解决由不同最近距离样本单元得到不同插补值的问题,最后给出了该方法的实施步骤和应用范例。     

顾客满意度测评中的缺失值处理方法

文章通过对缺失值处理方法分析,提出基于分类的三种缺失值处理方法:分类的均值插补法、分类的多重插补法和分类的K-means方法;该方法先对被调查对象问卷中的满意度关键字段按照分值进行分类,然后在同类中的缺失值用该类的平均值、多重插补值和聚类中心值替代.最后,以某食品公司为研究对象,对顾客满意度测评模型进行带缺失值的实证分析.结果表明:基于分类的三种缺失值处理方法优于均值插补法、多重插补法和K-means方法,为顾客满意度指数测评中的缺失值处理提供了实用方法.     

基于分层模型的缺失数据插补方法研究

大规模抽样调查多采用复杂抽样设计,得到具有分层嵌套结构的调查数据集,其中不可避免会遇到数据缺失问题,针对分层结构含缺失数据集的插补策略目前鲜有研究。本文将Gibbs算法应用到分层含缺失数据集的多重插补过程中,分别研究了固定效应模型插补法和随机效应模型插补法,进而通过理论推导和数值模拟,在不同组内相关系数、群组规模、数据缺失比例等情形下,从参数估计结果的无偏性和有效性两方面,比较不同方法的插补效果,给出插补模型的选择建议。研究结果表明,采用随机效应模型作为插补模型时,得到的参数估计结果更准确,而固定效应模型作为插补模型操作相对简便,在数据缺失比例较小、组内相关系数较大、群组规模较大等情形下,可以采用固定效应插补模型,否则建议采用随机效应插补模型。     

处理缺失数据的分数插补法研究

随着研究中对数据质量要求的提高,缺失数据相关问题也越来越受到重视.文章主要论述了处理缺失数据的方法之一——分数插补法的理论基础,并在此基础上研究了分数热卡插补法及其方差估计,同时使用模拟数据,对分数热卡插补法的实现过程做了模拟研究.通过对比实验,可以得到分数热卡插补法能够在保证原有数据分布的基础上,减少因插补造成的偏差,提供更加准确的插补结果.     

基于随机森林模型的分类数据缺失值插补

缺失数据是影响调查问卷数据质量的重要因素,对调查问卷中的缺失值进行插补可以显著提高调查数据的质量。调查问卷的数据类型多以分类型数据为主,数据挖掘技术中的分类算法是处理属性分类问题的常用方法,随机森林模型是众多分类算法中精度较高的方法之一。将随机森林模型引入调查问卷缺失数据的插补研究中,提出了基于随机森林模型的分类数据缺失值插补方法,并根据不同的缺失模式探讨了相应的插补步骤。通过与其它方法的实证模拟比较,表明随机森林插补法得到的插补值准确度更优、可信度更高。     

积极推进经济地理信息系统的建设——也谈“经济普查数据的开发与利用”

经济普查是一项国情国力的综合调查 ,调查的对象是从事第二、第三产业的全部法人单位、产业活动单位和个体经营户。与人口普查、工业普查等相比 ,经济普查调查的范围更全、涉及的领域更广。国家投入大量资金、人力、物力进行经济普查 ,得到的最终成果是经济普查数据资料。这些统计数据有 1 0 0 0余项指标 ,可谓非常全面和具体。如何开发应用这些原始数据资料 ,让经济普查数据更好、更方便地满足政府制订经济和社会发展规划的需求 ,服务于社会 ,将是摆在我们面前的一个迫切问题。有关“如何开发与利用经济普查数据”方面的讨论很多 ,有人主张…     

基于CDM模型的创新测度研究

  本文介绍创新调查分析领域比较流行的CDM模型的由来、结构及其在创新调查分析领域的应用,依据全国工业企业创新调查指标对CDM模型进行了改进,尝试建立一个适合进行中国企业创新的微观实证研究的模型框架。     

我国区域经济发展不均衡和极化的演化分析

一、引言我国经济转型期间,中央政府的权利分散、财政和金融的改革促使地方政府具有强烈的动机来发展本地经济,但由于国家宏观政策和地理环境以及地区的历史因素影响,区域发展不均衡问题日渐凸显,并在近两年受到社会各界关注。Yao指出我国区域发展不均衡是未来发展必须关注的重要问题[1],Xue强调不断扩大的不均衡可能会导致严重的社会和政治问题,且落后地区可能会影响经济发展全局[2]。资料显示,1978~1990年期间区域经济发展不均衡呈收敛趋势,但从1991年起,区域经济发展不均衡呈现发散趋势,特别是沿海与内陆,城市和乡村的差距更是受到了关…     

关于无形资产的处理问题——1993年SNA修订问题研究系列之四

1993年SNA对生产资产(固定资产、存货和珍贵物品)的交易、租赁以及有形非生产资产(如土地)的所有权转移有了明确的规定①。但是对于无形非生产资产的交易如何处理,却没有明确的表述。这里所说的无形非生产资产主要包括以下几个部分:政府颁发的可交易的执照和许可,例如赌场执照、出租车许可证和发行许可证等;一些非官方的可交易合约(如仍未生产的资产的买方期权,包括与作家、足球运动员和演员等签订的合约);可以转让或者转包给第三方的合约、租赁合同,以及特许经营权和商誉等。随着经济社会的发展,无形非生产资产在经济活动中涉及到愈来愈…     

2003年SEEA需要进一步研究的主要问题

一、引言2003年综合环境与经济核算体系(SystemofIntegrated EnvironmentalandEconomicAccounting2003,以下简称SEEA’2003)作为国民核算手册已经以白皮书的形式印发,并将由联合国、欧洲联盟委员会、国际货币基金组织、经济合作与发展组织和世界银行五个国际机构联合出版发行。SEEA”2003虽然在协调统一环境经济核算概念和方法方面向前迈出了一大步,但还没有成为一个国际标准。各个国家在某些方面已经取得了一致意见,使得SEEA’2003的实际应用效果良好;在另外一些方面则还没有取得一致意见,仍然存在各种不同的核算方法。核算(environ…     

重视统计标准建设，夯实和谐统计基础

政府统计改革千头万绪,只有抓住主要矛盾才能取得事半功倍的效果。近来,以调查队的整合为标志的统计体制改革取得进展,国家统计、地方统计、部门统计三位一体的格局愈见清晰。在此之时,如能将统计标准化建设放在较为重要的位置,抓住这一统计制度的细微之处做好“文章”,则是通往“内创和谐、外树信誉、优质服务”的快捷之路。一、统计标准和统计标准化标准是衡量事物的准则,统计标准则是统计活动过程中用以衡量统计对象的准则。统计标准的内容其实十分广泛,不只是各种统计分类,统计活动过程中所运用的概念、范畴、目录、编码、表式,特别是统…     

服务业发展的非线性阶段性特征分析——中国服务业发展之谜的一种解说

一、中国服务业发展之谜服务业即第三次产业是国民经济的一个重要部门,随着经济的增长,服务业在整个国民经济中的份额将逐步上升,并逐步成长为整个国民经济中份额最大的部门,通常被认为是世界经济发展的一个普遍规律。但是,对于中国服务业的发展,许多学者却发现颇难用这一规律来解释。那么,中国服务业的发展究竟与世界各国有什么不同?中国服务业的发展究竟具有什么样的特点呢?首先,我们将中国服务业的产出比重与世界一些国家的情况进行一下比较。表1给出了2000年中国和世界一些发展中的低中收入国家以及一些高收入发达国家兰次产业增加值比…     

投资乘数模型构建的若干方法论问题——与刘起运教授共同探讨

美国经济学家瓦西里·列昂节夫于 1 93 6年创立投入产出模型。由于这一模型在各国宏观经济管理中发挥了重要的作用 ,因而受到世人的瞩目。 1 968年 ,联合国统计局将投入产出核算纳入SNA中 ,使其与国民收入核算一道 ,成为国民经济核算的重要组成部分。在投入产出学领域内 ,国内外许多学者都试图在列昂节夫的投入产出模型的基础上有所创新 ,使投入产出分析不仅用于中间产品的分析上 ,也不仅用于考察最终产品和总产品之间的数量关系上 ,而是能在更大的经济领域内得到更广泛的运用。刘起运教授所发表的《结构式凯恩斯乘数模型研究》(《统计研…     

统计能力建设与国家统计发展战略

在信息时代中,国家统计系统已经成为一国信息体系的重要组成部分,政府、企业、居民对统计信息的需求空前膨胀,要求也不断提高。但是在像中国这样的发展中国家中,统计发展水平比较低,统计系统面临的挑战日益巨大。实施国家统计发展战略,是开展统计能力建设的重要平台,有助于迅速改善统计系统的绩效。中国应该尽快制定和实施国家统计改革与发展战略,本文对国家统计发展战略的内涵、基本原则、核心要素和实施步骤等内容作了详细的介绍。     

衡量产业区域集聚程度的简便方法及其比较

摘　　要:受统计数据的限制,现有衡量产业区域集聚程度的方法在测度我国产业区域集聚程度时难以发挥作用。本文构建了一种测度产业区域集聚程度的简便方法——θ_i指数,对我国制造业区域集聚程度及其变化趋势进行测度,并与已广泛使用的产业区域集聚程度γ指数测度的（近似）结果进行了对比,结果表明θ。指数是一种能够利用现成的统计数据有效测度我国产业区域集聚程度的简便方法