基于聚类分析的期刊多属性评价方法选择研究——聚类结果一致度筛选法

[目的/意义]解决学术期刊多属性评价方法众多、评价结果不一致问题。[方法/过程]提出一种基于聚类分析的多属性评价方法选取方法——聚类结果一致度筛选法。其原理是首先对原始评价指标进行聚类,然后采用可行的多属性评价方法进行评价并对评价结果进行二次聚类,最后根据评价结果聚类与原始指标聚类结果一致度的高低来选择评价方法,优先选取聚类结果一致度最高的评价方法。本文基于JCR2015数学期刊,选取11个指标,分别采用加权线性汇总、TOPSIS、VIKOR、主成分分析、调和平均进行评价,然后基于聚类结果一致度进行评价方法选取,发现调和平均的聚类一致度最高。[结果/结论]可以采用该方法对多属性评价方法进行选择;聚类种类设置对结果影响较小;该方法具有较高的稳健性。     

学术期刊评价中不同指标之间互补研究

[目的/意义]讨论科技评价中隐含的指标之间的互补问题,即一个指标不增加或增加很少,通过其他指标增加较多来进行弥补问题,并将互补分为等额互补、超额互补、欠额互补三类,进而分析指标之间互补对不同评价方法的影响。[方法/过程]设计一种检验和判定方法,针对某种非线性评价方法,维持一个指标不变,计算增加其他不同属性指标均值带来评价值的变化大小,并与线性加权法评价值变化大小进行比较。[结果/结论]研究发现,多属性评价方法指标之间的互补是个复杂问题,受评价方法、指标数据、权重设置、补偿值大小等多种因素的影响;基于比值的多属性评价方法更容易出现欠额互补;由于同类评价指标之间的相关性,讨论指标间互补应在不同属性指标间进行;指标互补问题对于多属性评价方法选取具有深远影响,本质上变相改变指标权重,可以作为评价结果检验和管理控制的一种方法。     

期刊影响力指标的时间异质性及其重构研究——基于多属性评价的视角

[目的/意义] 在多属性评价视角下,学术期刊影响力指标时间轴并不统一,存在时间异质性,评价对象涉及期刊创刊以来的所有论文被引、过去5年论文被引、过去两年论文被引、评价当年被引等等,迫切需要解决这个问题。[方法/过程] 以CSSCI科技管理类期刊为例,提出了两个新指标：隔年影响因子、隔年h指数,并基于灰色关联分析和期刊被引数据统计,验证了这两个指标的合理性。[结果/结论] 期刊被引指标的设计必须尊重时效性、鲁棒性、年度内评价等原则;多属性评价时,期刊评价被引指标必须尽量保证时间轴一致;来源指标与隔年被引指标数据均来自于期刊载文当年数据,多属性评价时间轴本质上只有一个。     

科技评价中标准化方法对评价结果的影响研究

对科技评价中多属性评价方法数据标准化问题进行系统梳理,认为无论是正向指标还是反向指标,两极标准化评价结果肯定小于可调标准化;可调标准化对一些评价分值较低的期刊有一种"鼓励作用",可以变相提高它们的评价得分;无论是正向指标还是反向指标,线性标准化方法的不同只会影响评价结果值,但不会影响评价结果的排序。但是反向指标经典标准化方法可能会影响评价结果的排序;提出一种新的线性反向指标标准化方法,并且提出应该淘汰反向指标经典标准化方法;评价机构应该公布标准化方法以保证评价公平。     

基于学术期刊视角的学科发展水平评价研究

[目的/意义] 为解决学科评价中采用不同评价方法评价结果不一致问题,提出一种基于元分析的新的学科发展水平评价方法。[方法/过程] 以JCR光学期刊为例,选取7个文献计量学指标,首先对数据进行标准化,然后采用主成分分析、因子分析、TOPSIS、离散系数、熵权、层次分析进行评价,接着计算评价结果的均值以及前20%优秀期刊的均值,再对各种评价方法的均值进行偏倚检验,最后对所有的均值采用元分析进行整合。[结果/结论] 研究表明,采用元分析对学科发展水平进行评价是一种行之有效的方法,该方法可用于不同学科发展水平之间的比较。认为全部期刊与优秀期刊元分析均值之比可用来衡量同一学科发展水平之差距。     

Altmetrics视角下科研机构影响力评价指标的相关性研究

[目的/意义] 多样化的科研成果、数字化的出版方式、网络化的科研交流呼唤新的机构影响力评价指标,探讨Altmetrics指标与传统科研机构影响力评价指标以及Altmetrics指标内部之间的相关性,有益于更好地探索数字环境下如何更加客观、有效地开展科研机构影响力评价。[方法/过程]以 Plum Analytics为数据源,基于样本机构2012-2015年间的引用数据与Altmetrics数据,开展指标之间的相关性分析。[结果/结论] 多元化的Altmetrics指标可反映多维化的机构影响力信息,故应当引入Altmetrics指标以全面审视机构影响力;指标数据源的属性在一定程度上决定了指标所反映的信息性质;要因评价对象的不同而遴选适宜的评价指标;对Altmetrics指标分类需作小范围调整。     

国内社交媒体用于学术成果Altmetrics评价存在问题及对策

[目的/意义]分析国内社交媒体用于学术成果Altmetrics评价时存在的问题及应对措施,以期推动国内学术成果Altmetrics评价研究。[方法/过程]采用文献调研方法,对国内外社交媒体用于学术成果Altmetrics评价的研究现状进行分析。[结果/结论]国内社交媒体用于学术成果Altmetrics评价存在6个方面的问题：缺乏数据基础;缺乏数据源和指标的探索;缺乏指标之间关系和影响因素的验证;缺乏对指标深层含义的研究;缺乏Altmetrics分析工具的开发;缺乏理论支撑。     

科学数据平台数据引用标准化成熟度评价模型研究

[目的/意义]构建科学数据平台数据引用标准化的成熟度评价模型,有利于推进科学数据引用标准的规范化进程,促进科学数据成果的有效传播与共享,促进科学数据引用标准化实践的持续健康发展。[方法/过程]通过文献梳理并结合现有成熟度理论模型,提出评价科学数据引用标准化实践的成熟度要素指标;运用德尔菲法收集专家对指标的重要性判断;利用层次分析法计算各指标权重并得出成熟度量化计算公式。基于初始级、过程管理级、规范管理级、量化管理级和动态优化级5个等级构建科学数据引用标准化的成熟度评价模型,并以国家地球系统科学数据中心为例对该模型进行应用探析。[结果/结论 ]通过量化分析得出该平台的数据引用标准化实践处于规范定义级,据此对调查结果进行分析并提出建议,为数据管理者、决策者以及使用者提供借鉴和参考。     

基于数据变权预防指标人为操控期刊评价研究——以管理学期刊为例

[目的/意义]在学术期刊评价中,过度自引和人为操纵载文量是两个比较重要的问题,必须设法加以纠正。[方法/过程]文章提出采用关键指标数据变权来防止文献计量指标的人为操纵问题,其基本原理是通过变权函数对评价指标原始数据进行惩罚或激励,并将自引和载文量纳入评价体系,然后再进行评价。[结果/结论]本文基于中国知网管理学期刊数据进行了实证,研究发现：必须重视学术期刊载文量与自引的人为操控问题;采用关键指标数据变权可以有效地解决指标人为操纵问题;评价体系应注意评价目标与防止人为操纵的平衡;建议优秀期刊适当扩大载文量。     

科技评价中关键指标的测度方法研究——以学术期刊评价为例

[目的/意义]在科技评价中,不同评价指标的重要性和地位是不同的,采用科学合理的方法进行关键指标的测度具有重要意义。[方法/过程]用指标信息熵和离散系数表示信息量,用指标权重或模拟权重与指标信息量的几何平均值表示关键指标系数。以JCR 2015经济学期刊为例,采用TOPSIS进行评价,并计算指标的信息量、模拟权重和关键指标系数,发现特征因子、标准特征因子、总被引频次是关键指标。[结果/结论]研究表明,关键指标系数是一种有效的关键指标筛选方法;不同评价方法关键指标是不一样的;本方法同样适用于采用信息量赋权的评价方法;防止遗漏重要指标,保证评价指标的完备性是本文方法的前提条件;关键指标是双刃剑,既是科技管理工作的重要抓手,也要防止其中的不正当竞争。     

基于专利申请及审查制度的专利引文评价效能实证研究

[目的/意义]研究专利申请及审查制度下的专利引文作用机理,厘清专利引文评价效能,是保证学术评估客观合理的重要前提。[方法/过程]以美、中、日三国诉讼专利和许可专利为实证样本,分析专利引文频次与专利价值的相关性,并结合专利申请和专利审查制度就专利引文对施引专利、被引专利的评价效能进行深入剖析。[结果/结论]专利引文频次对专利价值而言是一个正向、负向、中性混杂的评价指标,专利引文对专利价值的评价需建立在对引用动机、引文扮演角色和实际发挥作用等诸多要素的深入细致分析上,否则,专利引文对专利价值不具有客观的评价效能。     

基于语言评价信息的移动电子商务服务质量评价研究

[目的/意义] 针对现有移动电子商务服务质量评价指标不客观的问题,重点研究移动电子商务环境下评价服务质量的模型及方法,为消费者科学选择电商服务提供参考,为企业改善服务质量提供建议。[方法/过程] 引入群决策理论中的对语言评价信息的处理方法,首先将7粒度短语评价信息转化为三角模糊数,然后收集用户给出的语言短语形式评价信息,计算各个评价指标的质量评价值,最后计算评价值与三角模糊数之间的相似度,相似度最高的语言短语即为其对应的服务质量评价等级。[结果/结论] 以手机淘宝服务质量为评价对象进行实证分析,验证了基于语言评价信息的移动电子商务服务质量评价方法的科学性和有效性。     

大数据时代哲学社会科学学术成果评价:问题、策略及指标体系

[目的/意义]学术成果评价是推进哲学社会科学健康发展的重要因素,长期以来,传统同行评议和科学计量学方法在哲学社会科学学术成果评价中暴露出的问题越来越多,挑战固有方法的统治地位、开发有针对性的评价策略已刻不容缓。文章试图探索大数据环境下哲社学术成果评价的变革及其实现,特别是提出了大数据思维下的哲社学术成果的评价指标体系。[方法/过程]基于比较分析和综合分析,对传统哲学社会科学评价方法的弊端进行分析,然后对大数据给哲学社会科学评价带来的改变进行分析,最后提出基于大数据环境的哲学社会科学评价策略和指标体系。[结果/结论]提出大数据时代哲学社会科学学术成果评价的策略：由引文著录分析转向多维度的引用内容与行为分析,由面向成果的阶段性静态评价转向以"学术活动"为中心的全过程动态评价,由学术影响力评价转向学术价值和社会效益评价。在此基础上,构建由两个一级指标、5个二级指标和34个三级指标组成的大数据背景下哲学社会科学学术成果评价指标体系。     

学术期刊影响力评价方法研究进展

[目的/意义]期刊影响力评价是科学计量学研究的重要组成部分和应用领域,对于优化期刊质量、促进科学交流具有重要意义。[方法/过程]综述国内外期刊影响力评价方法研究进展,从传统指标、影响因子系列评价指标、H指数以及衍生指标、类PageRank及其衍生指标、基于多因素综合评价方法、基于社交媒体的期刊影响力评价指标以及跨学科期刊评价方法出发,总结现有学术期刊影响力评价方法的特征及其不足之处。[结果/结论]现有评价指标融合度较差,较少考虑引文偏态与自引问题,且新兴的基于社交媒体的评价方法可行性有待商榷。未来应重视深度融合评价指标,引文偏态改进方法多样化,社交媒体期刊评价方法规范化以及跨领域期刊评价方法体系化。     

基于“公平性测试”的Altmetrics学术质量评价方法研究

[目的/意义]为了探讨在学科论文评价上,Altmetrics指标间的量度结果是否具有一致性,试图通过已有测量数据构建基于Altmetrics的文献综合评价模型,为评价数据的使用和重用创建新的度量标准。[方法/过程]获取PLoS ALMs上土木工程学科2009年至2016年发表的全部文章的Altmetrics指标,采用相关分析、主成分分析方法将15个原始指标划分到4个主成分,得到适用于具体学科的Altmetrics评价指标体系,并对Altmetrics的单一指标与综合评价指标进行相关度分析,采用"公平性测试"方法探索时间对论文评价相关度的差异。[结果/结论]研究发现采用"公平性测试"方法消除时间影响后,引用指标相关性上升,而与社交媒体传播相关的指标有所下降,但Twitter指标不降反增,且始终与F值具有较高的相关性。     

引用行为的演变趋势及其对引文评价的影响分析

[目的/意义] 针对60年间作者引用行为演变的分析,了解引文评价的局限性,促进学术论文评价方法的发展和完善。[方法/过程] 通过对1957-2017年物理学和哲学代表性期刊的280篇论文的3 314条参考文献和5 222次引文进行识别,判断和统计其在不同年代的引用特征,并讨论引用行为的演变趋势对引文评价的可能影响。[结果/结论] 通过调查发现如下结论：一是期刊论文在参考文献载体类型和年代分布上没有明显变化,但在篇均参考文献量、参考文献文内平均被引用次数、论文的引用认同和引用深度等方面存在明显变化趋势;二是引用行为的变化,使得引文分析作为学术论文评价的依据受到质疑。论文篇均参考文献量的增长以及深度引用与负面引用比重的下降,使得引文评价的参考性减弱。     

商品在线评论动态变化评价指标体系的研究

[目的/意义] 研究商品在线评论动态变化的评价指标体系,为商家掌握消费者态度的变化过程,有针对性地改进产品或服务提供参考。[方法/过程] 结合ELM方法,建立商品在线评论的动态评价模型,并提出结构分布指标、跨类变动指标和内部变动指标等3类一级指标,以及评论结构比、平移率、跨越率、集中率、扩散率、商品价值关注度、服务敏感度等二级指标。[结果/结论] 以天猫网女装的在线评论为例进行实证研究,详细说明模型和指标体系的应用过程,并验证其适用性。网商可借助该指标体系评价商品在线评论的变动情况,了解消费者态度变化趋势。     

数字图书馆资源聚合质量评价指标构建

[目的/意义]大数据环境下,资源聚合成为满足多元化数字图书馆用户知识需求的有效途径和迫切需要,但资源聚合质量评价研究成果较少,本研究从计量和语义视角展开研究,以期深化相关理论,在实践层面指导数字图书馆采取切实有效措施提升资源聚合质量。[方法/过程]基于国内外文献确立评价依据,从计量和语义视角,结合大数据时代特点,运用归纳演绎、系统论方法构建了包括11个一级指标、26项二级指标的评价指标体系,在此基础上对评估数据采集和指标度量进行阐述。[结果/结论]构建数字图书馆资源聚合质量评价指标,对评价指标体系进行详细解释。研究结果表明,针对大数据环境,基于语义和计量视角构建数字图书馆资源聚合质量评价指标体系,理论依据充分,指标体系系统、完整、合理,具有一定的理论创新价值。