学术期刊综合评价数据标准化方法研究

提出学术期刊综合评价中指标数据标准化方法选择的三大原则,即同一指标内部数据相对差距不变原则;不同指标之间的相对差距不变原则;标准化后极大值相等原则。根据三大原则筛选出一种正向指标标准化方法,并且提出一种新的反向指标标准化方法。认为这两种方法适用于学术期刊截面数据的比较,也可以推广到其他截面数据评价中。不同评价目的对数据标准化方法的要求不同,基于排序的评价对数据标准化方法不敏感。     

学术期刊评价中关键指标的确定方法研究

提出一种确定关键指标的方法——关键系数。认为关键系数的确定方法一般只具有统计学性质;数据标准化方法与极值对关键系数会产生影响;关键指标有可能会影响权重的确定;关键指标确定方法在线性评价和非线性评价中均可以采用。     

学术期刊评价中标准分与原始分的比较研究——科技评价方法必须进行革命性改良

采用标准分对数据进行标准化能充分反映不同指标值的难度,统一量纲,提高可比性,然而在整个科技评价中,标准分几乎没有得到应用.本文同时采用传统方法和标准分对期刊评价指标进行标准化处理,然后采用TOPSIS进行评价,并比较二者的评价结果.研究表明,采用标准分与采用传统标准化方法的评价结果相差较大,标准分提高了单个指标的可比性,非成熟指标采用标准分要慎重,只有正向指标和反向指标才能采用标准分.标准分普及不够的原因在科技评价中并不存在,用标准分进行评价必须引起足够的重视,应在科技评价中推广应用标准分.     

科技评价指标与评价方法辨识度的测度研究

提出科技评价指标与评价方法辨识度的概念,给出一种通用的测量评价辨识度的方法。其原理是首先将评价数据排序并将数据和序号进行标准化处理,然后计算评价数据各点连线的长度,并以汤森路透《期刊引用报告》中的光学期刊为例进行实证研究。评价辨识度可以广泛应用于评价指标选取、评价方法选取、评价结果运用等诸多方面。     

科技期刊国际影响力评价指标研究

分析当前我国学术交流国际化与中国期刊走出去的差距及成因,提出一个评价我国学术期刊国际影响力的指标——期刊“国际影响力指数CI”.通过分析主要的定量评价指标——影响因子、总被引频次及其他指标的意义和作用,探讨基于他引总被引频次、他引影响因子“线性叠加”的综合排序方法与“双指标归一化向量平权统计模型”的优劣,提出按后一种算法得到的期刊CI是一种更科学、全面反映学术期刊影响力的综合指标.依据《中国学术期刊国际引证报告(2014年版)》的数据,讨论我国学术期刊与WOS收录期刊的相对水平与差距.     

学术期刊多属性评价结果的实际差距研究

为了深入分析非线性评价带来的评价结果实际差距扭曲问题,本文采用回归分析法将非线性评价转换为线性评价并进行深入分析。研究结果表明,不同评价方法评价结果的用途不同,基于排序的评价其结果不能进行差距比较,线性评价在不同分值情况下改进难度不一样,非线性评价会带来评价对象实际差距的数据扭曲;TOPSIS法是一种惩罚落后,略微鼓励先进的评价方法;灰色关联法是一种防止骄傲,帮助落后的评价方法;在竞争中,期刊必须认识到非线性评价所带来的与竞争对手差距扭曲问题,从而明确差距,进行改进。     

期刊质量评价的二维排序方法

为了克服一般期刊质量评价方法的不足,提出一种新的期刊质量评价方法--二维排序评价法.将期刊质量评价的内容分为外在的和内在的2个方面,以期刊的社会影响力和期刊的日常编辑出版工作组成期刊评价的二维指标,将二维指标分解成若干个具体的评价参数,评价人只需针对每一个评价参数将参加评价的期刊相互比较后排序,并给出具体的名次,而不需要给出具体的分值.通过对评价人排出的名次进行数据处理,然后加权求和得到二维评价指标的结果,再将此结果相乘便得到每一种期刊的质量评价结果.     

学术期刊评价中不同指标之间互补研究

[目的/意义]讨论科技评价中隐含的指标之间的互补问题,即一个指标不增加或增加很少,通过其他指标增加较多来进行弥补问题,并将互补分为等额互补、超额互补、欠额互补三类,进而分析指标之间互补对不同评价方法的影响。[方法/过程]设计一种检验和判定方法,针对某种非线性评价方法,维持一个指标不变,计算增加其他不同属性指标均值带来评价值的变化大小,并与线性加权法评价值变化大小进行比较。[结果/结论]研究发现,多属性评价方法指标之间的互补是个复杂问题,受评价方法、指标数据、权重设置、补偿值大小等多种因素的影响;基于比值的多属性评价方法更容易出现欠额互补;由于同类评价指标之间的相关性,讨论指标间互补应在不同属性指标间进行;指标互补问题对于多属性评价方法选取具有深远影响,本质上变相改变指标权重,可以作为评价结果检验和管理控制的一种方法。     

基于聚类分析的期刊多属性评价方法选择研究——聚类结果一致度筛选法

[目的/意义]解决学术期刊多属性评价方法众多、评价结果不一致问题。[方法/过程]提出一种基于聚类分析的多属性评价方法选取方法——聚类结果一致度筛选法。其原理是首先对原始评价指标进行聚类,然后采用可行的多属性评价方法进行评价并对评价结果进行二次聚类,最后根据评价结果聚类与原始指标聚类结果一致度的高低来选择评价方法,优先选取聚类结果一致度最高的评价方法。本文基于JCR2015数学期刊,选取11个指标,分别采用加权线性汇总、TOPSIS、VIKOR、主成分分析、调和平均进行评价,然后基于聚类结果一致度进行评价方法选取,发现调和平均的聚类一致度最高。[结果/结论]可以采用该方法对多属性评价方法进行选择;聚类种类设置对结果影响较小;该方法具有较高的稳健性。     

科技评价指标值与评价属性背离及修正研究——基于多属性评价视角

[目的/意义] 分析科技评价中指标区分度异常、数据分布有偏的深层次原因,认为本质上这是评价指标值与评价属性的背离现象,即评价指标值不能较好地体现评价属性的本质含义。[方法/过程] 提出一种新的降低评价指标值与评价属性背离的方法--对数中位数标准化,并以JCR2016数学期刊为例进行实证分析。[结果/结论] 研究结果表明：引文指标更容易出现评价指标值与评价属性背离问题;可以从多角度判定评价指标值与评价属性背离问题,如指标内涵分析、及格率、离散系数、中位数极大值比、集中度指数HHI等;采用对数中位数标准化可以大幅降低评价指标值与评价属性背离问题;建议评价中如出现指标值与属性背离,采用对数中位数处理后的数据进行评价。     

基于关联数据的科研机构评价指标权重计算方法研究

[目的/意义] 科研评价中指标权重计算的合理性将直接影响科研机构评价结果的客观性和准确性,本文提出利用信息论方法来计算指标权重,为指标权重计算提供一种新的思路。[方法/过程] 基于DBpedia数据集,利用信息论方法计算出的指标权重和上海交通大学世界大学排行榜已有的指标权重,同时对榜单前100名大学机构进行排名,并将排名结果进行对比分析。[结果/结论] 实验发现利用本文提出的权重计算方法得出的机构得分结果与上海交通大学已有指标权重的得分结果皮尔逊相关性为0.980,斯皮尔曼相关性为0.939,并且其排名顺序和上海交通大学给出的排名顺序皮尔逊相关性和斯皮尔曼相关性均为0.939。以上两个排名结果的得分相关性和排名相关性极强,证明本研究中关联数据的权重计算方法的有效性。     

学术期刊客观赋权评价新方法——指标难度赋权法

在总结现有客观赋权法根据数据波动和数据独立程度赋权原理的基础上,对复相关系数法进行修正,提出一种根据指标值提高难度进行赋权的新方法——指标难度赋权法,并用标准分对学术期刊评价指标进行标准化,然后进行加权汇总。研究表明,指标难度赋权法能够克服评价中的"投机取巧"心理,区分度好,从而使评价更加公平,非常适合于学术期刊评价,但在评价对象较少的情况下采用该方法要慎重,概率权赋权法值得商榷。     

指标数据分布与内部差距对学术期刊评价的影响——以JCR数学期刊为例

以2012年JCR收录的数学期刊为例,采用偏度、峰度、JB检验、极大极小值比、离散系数、中位数均值比分析期刊评价指标的数据分布特点,并首次采用基尼系数分析期刊评价指标的内部差距,发现期刊评价指标普遍是右偏的,并且不服从正态分布;总被引频次、特征因子、即年指标的内部差距较大。期刊评价指标数据偏倚情况从好到坏的次序为:影响因子与5年影响因子>被引半衰期>论文影响分值>即年指标>特征因子>总被引频次。得出结论:指标数据偏倚会影响评价指标的数据标准化;指标数据偏倚会影响期刊一般水平的判断;指标数据右偏会导致期刊评价值偏低;最好选取数据偏倚情况相对较好的指标来评价期刊平均水平;数据偏倚对基于传统回归的计量研究影响较大。该结论有待进一步检验。     

人文社会科学研究成果评价:科学性、创新性与价值性及其关系

在人文社会科学研究成果的评价标准中,创新思想是评价的核心指标,研究规范是评价的基础指标,学术价值与社会价值则是评价的重要指标。研究规范是科研成果科学性的保障,研究方法规范化不代表成果的创新性。学术价值或社会价值是社会科学研究成果评价的终点,也是创新性科学研究成果产生的起点。静态意义上,创新始于科学终于价值,动态意义上,则创新始于价值又终于价值。     

How to evaluate rankings of academic entities using test data

In the field of scientometrics, impact indicators and ranking algorithms are frequently evaluated using unlabelled test data comprising relevant entities (e.g., papers, authors, or institutions) that are considered important. The rationale is that the higher some algorithm ranks these entities, the better its performance. To compute a performance score for an algorithm, an evaluation measure is required to translate the rank distribution of the relevant entities into a single-value performance score. Until recently, it was simply assumed that taking the average rank (of the relevant entities) is an appropriate evaluation measure when comparing ranking algorithms or fine-tuning algorithm parameters.With this paper we propose a framework for evaluating the evaluation measures themselves. Using this framework the following questions can now be answered: (1) which evaluation measure should be chosen for an experiment, and (2) given an evaluation measure and corresponding performance scores for the algorithms under investigation, how significant are the observed performance differences?Using two publication databases and four test data sets we demonstrate the functionality of the framework and analyse the stability and discriminative power of the most common information retrieval evaluation measures. We find that there is no clear winner and that the performance of the evaluation measures is highly dependent on the underlying data. Our results show that the average rank is indeed an adequate and stable measure. However, we also show that relatively large performance differences are required to confidently determine if one ranking algorithm is significantly superior to another. Lastly, we list alternative measures that also yield stable results and highlight measures that should not be used in this context.     

基于在线评论的网络社区信息可信度评价方法研究

[目的/意义]提出基于在线评论的网络社区信息可信度评价方法,为信息治理提供有效依据。[方法/过程]构建基于在线评论的网络社区信息可信度评价指标体系,利用改进AHP理论确定指标权重;利用LSTM模型对评论情感分类,采用改进的D-S证据理论模型融合情感分类数据作为指标量化计算方法。以知乎网络社区为例,从3个角度计算网络信息内容的可信度：经过筛选的具有可信观点评价的在线评论、所有在线评论、调查问卷。[结果/结论]实验结果表明,基于可信观点评论的可信度排序与基于调查问卷的可信度排序基本一致,说明利用在线评论对网络信息可信度进行评价具有一定的可行性。     

Improving the reliability of short-term citation impact indicators by taking into account the correlation between short- and long-term citation impact

The normalized citation indicator may not be sufficiently reliable when a short citation time window is used, because the citation counts for recently published papers are not as reliable as those for papers published many years ago. In a limited time period, recent publications usually have insufficient time to accumulate citations and the citation counts of these publications are not sufficiently reliable to be used in the citation impact indicators. However, normalization methods themselves cannot solve this problem. To solve this problem, we introduce a weighting factor to the commonly used normalization indicator Category Normalized Citation Impact (CNCI) at the paper level. The weighting factor, which is calculated as the correlation coefficient between citation counts of papers in the given short citation window and those in the fixed long citation window, reflects the degree of reliability of the CNCI value of one paper. To verify the effect of the proposed weighted CNCI indicator, we compared the CNCI score and CNCI ranking of 500 universities before and after introducing the weighting factor. The results showed that although there was a strong positive correlation before and after the introduction of the weighting factor, some universities’ performance and rankings changed dramatically.     

信息化综合发展指数(IDI)——对132个国家或地区（经济体）的测度分析

讨论ICTS测度的统计方法特点和ICT指标的构建过程。以国际核心指标体系作为理论框架,选取5个方面共20个指标,构建信息化综合发展指数（IDI）。并运用来源于国际权威机构的统计数据,对全世界132个国家（经济体）或地区的信息化发展进行测评和排序。     

国外竞争者在中国市场的竞争力评价方法——以风电装备整机制造产业为例

以我国风电装备制造产业为例,从产业竞争情报视角介绍一种国外竞争者在中国市场的竞争力评价方法。该方法的内容和过程主要包括：①建立一个包括5个大类指标、19项分指标的评价模型,给出各指标的含义和度量说明;②根据对所研究的国外企业的分析研究获得各项指标数据,根据设定的计分规则得到各项指标的无权重分值;③采取邀请多位业内专家打分的方法对指标体系进行权重赋值;④获得所研究国外企业在中国市场竞争力的最终量化测算结果。结语部分指出本方法可用于国内本土企业与国外优秀标杆企业之间的定标比超等扩展用途。