基于FDH模型的学术期刊评价新方法

[目的/意义] 探索用不同的方法对学术期刊进行评价,以获得更加有效、公平和有价值的信息,促进期刊评价理论与实践的发展。[方法/过程] 将经济学中的自由处置壳（FDH）效率评价模型引入到文献计量学中,对传统FDH模型进行调整,构建一种新的期刊评价方法,选取7个指标对图书情报类的41种期刊进行评价,并将评价结果与其他期刊排名进行相关性分析。[结果/结论] 基于FDH模型的期刊评价方法的评价结果更客观,与其他期刊排名显著相关;该方法将期刊评价指标融合在一起,不仅可以测算出每一个被评期刊的得分,还能够提供更多的有价值的信息,为期刊部门提供决策参考。例如,FDH模型可以识别出被评期刊的"标杆"控制期刊"等,期刊通过与其各指标表现接近的期刊进行对比、分析,发现自身存在的不足和差距,达到持续改进乃至超越的目的。     

指标数据分布与内部差距对学术期刊评价的影响——以JCR数学期刊为例

以2012年JCR收录的数学期刊为例,采用偏度、峰度、JB检验、极大极小值比、离散系数、中位数均值比分析期刊评价指标的数据分布特点,并首次采用基尼系数分析期刊评价指标的内部差距,发现期刊评价指标普遍是右偏的,并且不服从正态分布;总被引频次、特征因子、即年指标的内部差距较大。期刊评价指标数据偏倚情况从好到坏的次序为:影响因子与5年影响因子>被引半衰期>论文影响分值>即年指标>特征因子>总被引频次。得出结论:指标数据偏倚会影响评价指标的数据标准化;指标数据偏倚会影响期刊一般水平的判断;指标数据右偏会导致期刊评价值偏低;最好选取数据偏倚情况相对较好的指标来评价期刊平均水平;数据偏倚对基于传统回归的计量研究影响较大。该结论有待进一步检验。     

TOP期刊评价方法的改进及实证研究

结合学科TOP期刊评定的特定需求,提出结合定性评价、定量评价和事实数据评价的综合评价方法,期望能够更公正、客观、全面地为期刊评定决策提供科学依据。该方法在传统期刊评定的定量指标基础上,引入定性评价及基于事实数据的情报学评价方法——"同行趋向法",作为一种创新评价方法通过统计学分析得到了可行性印证。     

期刊政策影响力评价方法研究

［目的/意义］ 基于文献数据对期刊政策影响力定量评价方法开展系统研究,以便客观揭示和彰显期刊在决策、管理、公众等层面所产生的政策影响力。［方法/过程］ 采用将政策文件、政策相关者分别与期刊刊载成果建立证据关联以评估其影响效果的定量评价方法,构建包含政策研究指数、政策传播指数、吸引政策相关者参与度指数等3个一级、9个二级和22个三级指标的期刊政策影响力定量评价指标体系,并结合中国知网文献数据,对期刊开展政策影响力定量统计。［结果/结论］ 初步研究结果显示,该方法能有效揭示期刊尤其是政策型期刊的政策影响力,可为进一步改进完善期刊评价体系、客观评价各类不同定位期刊的综合作用提供有益参考。     

学术期刊影响力评价方法研究进展

[目的/意义]期刊影响力评价是科学计量学研究的重要组成部分和应用领域,对于优化期刊质量、促进科学交流具有重要意义。[方法/过程]综述国内外期刊影响力评价方法研究进展,从传统指标、影响因子系列评价指标、H指数以及衍生指标、类PageRank及其衍生指标、基于多因素综合评价方法、基于社交媒体的期刊影响力评价指标以及跨学科期刊评价方法出发,总结现有学术期刊影响力评价方法的特征及其不足之处。[结果/结论]现有评价指标融合度较差,较少考虑引文偏态与自引问题,且新兴的基于社交媒体的评价方法可行性有待商榷。未来应重视深度融合评价指标,引文偏态改进方法多样化,社交媒体期刊评价方法规范化以及跨领域期刊评价方法体系化。     

基于结构方程的学术期刊评价研究

本文利用中国科学技术信息研究所医学学术期刊数据,将指标分为影响力、时效性、期刊特征三个一级指标,它们之间存在两两相关关系,在此基础上建立结构方程进行模拟,计算出3个一级指标值并采用主观赋权法进行期刊的综合评价,取得了较好的结果.结构方程通过模拟期刊指标之间错综复杂的关系,可以对一些隐含指标进行估计,还可以进行指标的筛选,为科技评价提供了一种新的思路.同时要注意的是,基础数据的完备性和模型建立的科学性对评价结果的影响很大.     

基于因子分析的学术期刊评价指标分类研究

针对部分学术期刊评价指标分类的模糊问题,利用中国科学技术信息研究所的医学期刊数据,采用聚类分析和因子分析进行期刊评价指标分类.出聚类分析作为一种公认的分类方法,在期刊评价指标分类中并不适用.子分析由于解释力较强,为学术期刊评价指标分类提供了一种较好的方法.指标分类中完全根据数据说话是不完善的,可以根据具体情况在因子分析的基础上进一步进行整合.     

引文分布视角下期刊评价的P指数研究

[目的/意义]针对P指数不能反映评价对象引文分布的P缺陷,在P指数研究的基础上,提出基于引文分布的指数计算方法。[方法/过程]引入发文-引文分布曲线和学术矩阵表征期刊的引文分布,利用期刊评价的非参数统计方法,通过将引文数据进行分区划分,基于P核和P尾内有引用的论文,采用期刊的平均引文率代表零引用论文的影响,重新定义P指数的计算方法,提出P_new指数。为避免学科差异对期刊评价的影响,以仅属于Web of Science数据库中电子电气工程类目下有5年影响因子的53种期刊为研究对象,分别统计期刊的影响因子、5年影响因子、H指数、P指数、P_new指数等指标,并进行相关性及差异性分析,以验证P_new指数评价的科学性和有效性。[结果/结论]结果表明,P_new指数与H指数、P指数等多个关键指标的相关性较好。与P指数相比,P_new指数既延续了其高灵敏度与高区分度的特点,又对P指数相差无几但引用分布大不相同的期刊有更好的显示度和辨识度,而且能够矫正引文分布对P指数评价的偏差。     

期刊质量评价的二维排序方法

为了克服一般期刊质量评价方法的不足,提出一种新的期刊质量评价方法--二维排序评价法.将期刊质量评价的内容分为外在的和内在的2个方面,以期刊的社会影响力和期刊的日常编辑出版工作组成期刊评价的二维指标,将二维指标分解成若干个具体的评价参数,评价人只需针对每一个评价参数将参加评价的期刊相互比较后排序,并给出具体的名次,而不需要给出具体的分值.通过对评价人排出的名次进行数据处理,然后加权求和得到二维评价指标的结果,再将此结果相乘便得到每一种期刊的质量评价结果.     

数据期刊同行评议视角下科学数据质量评价指标识别

[目的/意义] 在数据期刊同行评议的视角下识别并构建科学数据质量评价指标，增强对科学数据质量评价的理解，为数据论文同行评议实践提供参考。[方法/过程] 利用扎根理论的研究方法，选取20个数据期刊的数据同行评议指南作为质性研究的原始资料，并使用NVivo质性分析软件对资料进行开放式编码、关联式编码和选择性编码，通过理论饱和度检验对编码结果进行检验。[结果/结论] 最终构建数据论文同行评议情境下的科学数据质量评价指标体系，识别出数据内在质量、数据表达质量、数据访问质量和数据效用质量4个主范畴和14个评价指标，并具体分析指标的含义及分类，帮助数据论文作者和评审者深入了解科学数据质量的内在结构。     

学术期刊评价中不同指标之间互补研究

[目的/意义]讨论科技评价中隐含的指标之间的互补问题,即一个指标不增加或增加很少,通过其他指标增加较多来进行弥补问题,并将互补分为等额互补、超额互补、欠额互补三类,进而分析指标之间互补对不同评价方法的影响。[方法/过程]设计一种检验和判定方法,针对某种非线性评价方法,维持一个指标不变,计算增加其他不同属性指标均值带来评价值的变化大小,并与线性加权法评价值变化大小进行比较。[结果/结论]研究发现,多属性评价方法指标之间的互补是个复杂问题,受评价方法、指标数据、权重设置、补偿值大小等多种因素的影响;基于比值的多属性评价方法更容易出现欠额互补;由于同类评价指标之间的相关性,讨论指标间互补应在不同属性指标间进行;指标互补问题对于多属性评价方法选取具有深远影响,本质上变相改变指标权重,可以作为评价结果检验和管理控制的一种方法。     

科技评价指标值与评价属性背离及修正研究——基于多属性评价视角

[目的/意义] 分析科技评价中指标区分度异常、数据分布有偏的深层次原因,认为本质上这是评价指标值与评价属性的背离现象,即评价指标值不能较好地体现评价属性的本质含义。[方法/过程] 提出一种新的降低评价指标值与评价属性背离的方法--对数中位数标准化,并以JCR2016数学期刊为例进行实证分析。[结果/结论] 研究结果表明：引文指标更容易出现评价指标值与评价属性背离问题;可以从多角度判定评价指标值与评价属性背离问题,如指标内涵分析、及格率、离散系数、中位数极大值比、集中度指数HHI等;采用对数中位数标准化可以大幅降低评价指标值与评价属性背离问题;建议评价中如出现指标值与属性背离,采用对数中位数处理后的数据进行评价。     

国内公共数字文化服务评价研究述评

[目的/意义]探讨当前公共数字文化服务评价研究的具体内容和研究特点,基于研究现状提出我国公共数字文化服务评价研究的建议。[方法/过程]从整个公共数字文化服务体系的视角出发,采用文献内容分析法,从评价主客体、评价指标体系、评价方法与工具及实证研究等方面,分析当前国内公共数字文化服务评价研究的现状和存在的问题。[结果/结论]当前国内公共数字文化服务评价研究内容存在多样化又相对集中的特点。存在的主要问题是指标责任主体不甚明晰,缺乏顶层指标体系设计,评价客体不全面,评价客体的研究成果未整合,缺乏与其他文化领域的比较研究,以及轻效能评价。从评价机制、评价视角、评价框架设计及以效能为导向设计评价指标等方面提出研究建议。     

信息化与工业化融合的评价指标及评价方法研究

从信息化与工业化融合内涵的角度入手,分析信息化与工业化融合的5级成熟度模型。在此基础上,明确两化融合评价指标体系构建的原则,在进行数据采集的基础上,构建针对工业企业的两化融合评价指标体系。结合定性研究中的层次分析法和定量研究的主成分析法给出不同评价指标的权重。研究可辅助企业对自身两化融合的现状进行客观评价,可辅助政府了解区域工业企业两化融合的现状及所处阶段,为相关政策的制定提供一定的参考。     

4种智库影响力评价指标体系评介与比较

[目的/意义]以国内外智库影响力评价指标体系为研究对象,比较分析4种国内外智库影响力评价指标体系,为我国建立和优化中国特色新型智库影响力评价体系提供借鉴。[方法/过程]采用比较分析法和案例分析法,比较国内外4种智库影响力评价指标体系,归纳各自的优势和不足,分析评价指标体系背后的理论基础。[结果/结论]每个指标体系各有优劣,明确评价体系的理论基础,针对不同类型智库运行特点设计不同的影响力评价指标体系是建立完善的中国特色新型智库评价体系的必要条件。     

图书馆评估研究进展综述

[目的/意义]总结国内外图书馆评估研究现状,为我国图书馆评估理论研究与实践工作提供参考。[方法/过程]从评估基本理论、评估主体、评估内容、评估体系与指标、评估方法5个方面对国内外图书馆评估研究进行全面梳理与评述,并提出图书馆评估未来发展方向。[结果/结论]从研究内容看,国外评估主体多元化,国内评估主体单一;国外评估内容由绩效评估转向成效评估,而国内依然注重投入评估;国外评估方法呈现综合化趋势,国内则以定性方法为主;国外广泛采用国际标准进行评估,而国内评估指标缺乏标准化和规范化。从研究类型看,评估理论研究方面有大量关于引进国外评估方法和成功案例的介绍,而实践应用研究略显不足。     

索引数据库质量评价标准的探讨

在简要说明建立索引数据库质量评价标准的必要性和紧迫性的基础上,结合国内外现有的索引质量标准,提出了我国索引数据库的质量评价基准,并以全国高校专题特色数据库的质量评价体系为参考构建了我国索引数据库的质量评价标准的内容(包括通用标准和专用标准),最后就索引数据库质量评价问题提出了自己的续想。     

基于主成分分析法的科技期刊评价方法

针对目前科技期刊评价方法中存在的指标之间相关性问题和指标权重选取问题,提出了基于主成分分析的科技期刊评价方法.该评价方法通过相关系数矩阵的特征向量将评价指标线性变化成彼此独立的主成分,根据主成分累计贡献值确定主成分的取用维数,由主成分方差确定权重.其优点是:可以消除由于指标间的相关性带来的偏差,降低计算维数,从而降低指标选择的难度,提高评价结果的可信度;此外,可以消除人为确定指标权重引起的弊病,使评价结果更具客观性和准确性.     

基于聚类分析的期刊多属性评价方法选择研究——聚类结果一致度筛选法

[目的/意义]解决学术期刊多属性评价方法众多、评价结果不一致问题。[方法/过程]提出一种基于聚类分析的多属性评价方法选取方法——聚类结果一致度筛选法。其原理是首先对原始评价指标进行聚类,然后采用可行的多属性评价方法进行评价并对评价结果进行二次聚类,最后根据评价结果聚类与原始指标聚类结果一致度的高低来选择评价方法,优先选取聚类结果一致度最高的评价方法。本文基于JCR2015数学期刊,选取11个指标,分别采用加权线性汇总、TOPSIS、VIKOR、主成分分析、调和平均进行评价,然后基于聚类结果一致度进行评价方法选取,发现调和平均的聚类一致度最高。[结果/结论]可以采用该方法对多属性评价方法进行选择;聚类种类设置对结果影响较小;该方法具有较高的稳健性。     

基于灰色关联度分析的突发公共卫生事件省级政府网站信息公开能绩评价研究

[目的/意义]信息公开是各国政府应对突发公共卫生事件的重要机制,合理评价政府信息公开有利于建立智慧共享的疫情防控体系。[方法/过程]本文拟对政府网站信息公开工作进行数据采集,通过相关政策内容分析拟定指标。采用变异系数的方法来对所选取的疫情信息公开指标进行权重的计算并验证其合理性。最后,采用灰色关联度分析对中国30个省政府网站数据进行综合评价。[局限]对于一些较为优秀的县级市缺少评价,在数据量采集和指标选取上还具有一些的局限和欠缺。[结果/结论]本文弥补了政府信息公开与能绩评价结合研究的匮乏,构建了多维度的危机信息公开能绩评价指标模型,深入探究政府应对新冠肺炎疫情事件的信息公开现状及现存问题。