相对评价视角下的科技评价方法权重单调性检验——基于相关系数法
Weight Monotonicity Test of Scientific and Technological Evaluation Method from the Perspective of Relative Evaluation——Based on Correlation Coefficient Method
-
摘要: 现有科技评价方法权重单调性研究只关注了权重与评价值的关系，而忽略了权重与评价值相对差异的关系。从相对评价的角度，本文提出了一种检验科技评价方法权重单调性的新方法−相关系数法。以JCR2017地理学期刊评价为例，分别采用相关系数法和传统检验方法检验5种科技评价方法的权重单调性。研究结果表明，2种权重单调性检验方法的检验结果存在差异，传统检验方法不能用于相对评价。以相对评价为目的时，线性加权汇总法、TOPSIS和加权调和平均法都不存在权重单调性问题；而修正的加权调和平均法存在权重单调性问题；分子加权TOPSIS虽然不存在权重单调性问题，但其计算公式中分母与分子采用的距离公式不可比，导致权重无法充分发挥作用。以相对评价为目的时，建议采用相关系数法作为科技评价方法的权重单调性检验方法。Abstract: The existing research on the weight monotonicity of scientific and technological evaluation methods only focuses on the relationship between the weight and the evaluation value, but ignores the relationship between the weight and the relative difference of the evaluation values.From the perspective of the relative evaluation, this paper proposes correlation coefficient method to test the weight monotonicity of scientific and technological evaluation methods.Taking JCR2017 geographic journal evaluation as an example, the weight monotonicity of five scientific and technological evaluation methods was tested by correlation coefficient method and traditional test method respectively. The results show that the test results of the two weight monotonicity test methods are different. The traditional test method cannot be used for the relative evaluation.For the purpose of relative evaluation, linear weighted aggregation method, TOPSIS and weighted harmonic average method do not have the problem of weight monotonicity, while the modified weighted harmonic average method has the problem of weight monotonicity. For the purpose of relative evaluation, although molecular weight TOPSIS does not have the problem of monotonicity of weight, the distance formulas in the denominator and molecule in its formula are incomparable, which leads to that the weight cannot play its role fully. For the purpose of relative evaluation, it is suggested that the correlation coefficient method should be used as the test method of weight monotonicity of scientific and technological evaluation method.
-
科技评价是科技管理工作的重要组成部分，包括科技政策评价、科研机构评价、科研人员评价和科技期刊评价等诸多方面。科技评价的复杂性决定了其更适合采用多指标综合评价方法。目前用于科技评价的综合评价方法众多，按计算原理的不同，可分为线性评价方法和非线性评价方法两大类。代表性的线性评价方法为线性加权汇总法，按赋权方法的不同其又可分为层次分析法、熵值法等，这些方法广泛应用于科技评价中[1-2]。除了线性评价方法以外，许多非线性评价方法也广泛用于科技评价中，比如TOPSIS、数据包络分析方法(DEA)、调和平均法、支持向量机等[3-7]。这些线性和非线性评价方法的计算原理不同，导致针对同样的科技评价问题，不同的评价方法可能会得到不同的评价结果，即多种方法的评价结论具有非一致性[8]。目前，组合评价是解决多方法评价结论非一致性问题的主要办法，但是不同的组合又会产生新的非一致性问题[9]。另一种解决办法就是对评价方法进行筛选和检验，以选择合适的科技评价方法。在科技评价领域，俞立平、张爱琴等提出了多种评价方法的筛选和检验方法[5-7][10-12]。在评价方法的筛选方法方面，代表性的有偏最小二乘法[5]、因子回归检验法[6]和聚类结果一致度筛选法[7]等。在评价方法的检验方法方面，代表性的有指标的单调性检验，即回归系数不能为负[10]；权重的单调性检验，即评价值应随权重增加而单调递增[11-12]。这些筛选和检验方法为选择合适的科技评价方法提供了一定的依据。
权重的单调性检验是一类比较特殊的检验方法。俞立平等[11]曾给出了权重单调性的定义：对于任意一个正向指标，如果其他指标权重不变而该指标权重增加时，评价结果中该指标的相对重要性也应增加，各评价对象的评价值也应大于权重改变前的评价值。上述定义有一个潜在的标准，即其他指标权重不变而某个指标权重增加后，如果各评价对象的评价值大于权重改变前的评价值，说明该指标的相对重要性增加，即具有权重单调性。俞立平、张爱琴、王灵芝等都是基于上述检验标准判断TOPSIS和加权调和平均法存在权重单调性问题[11-13]。为此，张爱琴等[12]提出了分子加权TOPSIS，以解决TOPSIS的权重单调性问题。王灵芝等[13]将加权调和平均法的权重和指标统一放在分母中，以解决其权重单调性问题。现有科技评价许多都属于相对评价，即评价的目的是为了比较各个评价对象的相对优劣水平，比如大学排名，学术期刊排名等。这种情况下，评价值的相对差异以及由其所决定的评价对象的排序结果是科技评价的重要结论[1-2][14-16]，它们反映了评价对象的相对优劣水平。上述权重单调性研究只关注了权重与评价值的关系，而忽略了权重与评价值相对差异的关系。以相对评价为目的时，评价对象的相对优劣水平才是评价者关注的重点，此时权重的单调性研究应侧重于权重与评价值相对差异的关系。如果某指标权重的增加能够增强该指标对评价值相对差异（评价对象的相对优劣水平）的影响，则说明该指标在评价中的相对重要性增加，即具有权重单调性。特别是TOPSIS等主要以相对评价为目的的科技评价方法，更应该关注权重与评价值相对差异之间的关系。为此，本文从评价值相对差异的角度提出了一种新的权重单调性检验方法−相关系数法。以JCR2017地理学期刊评价为例，分别采用相关系数法与传统检验方法检验线性加权汇总法、TOPSIS、分子加权TOPSIS、加权调和平均法和修正的加权调和平均法5种科技评价方法的权重单调性，在此基础上提出了这5种科技评价方法的应用建议。
一. 研究方法
一 科技评价方法
1 线性加权汇总法
线性加权汇总法是科技评价中应用最广泛的方法之一，其计算公式如下：
$ {C}_{i}={w}_{1}{x}_{i1}+{w}_{2}{x}_{i2}+\cdots +{w}_{n}{x}_{in} $
(1) This page contains the following errors:
error on line 1 at column 1: Start tag expected, '<' not foundBelow is a rendering of the page up to the first error.
2 TOPSIS和分子加权TOPSIS
TOPSIS是由Hwang等在1981年提出的逼近于理想解的排序方法[17]，后Deng等[18]在TOPSIS的基础上提出了修正的TOPSIS，即俞立平、张爱琴等在分析权重单调性问题时采用的加权TOPSIS[11-12]。为与俞立平、张爱琴等的研究[11-12]进行对比，本文采用的TOPSIS为修正的TOPSIS（加权TOPSIS）。其计算原理详见文献[18]。评价值的计算公式如下：
$ {{\rm{RC}}}_{i}=\frac{\sqrt{{\displaystyle\sum }_{j=1}^{n}{{w}_{j}\left({x}_{ij}-{x}_{j}^{-}\right)}^{2}}}{\sqrt{{\displaystyle\sum }_{j=1}^{n}{{w}_{j}\left({x}_{ij}-{x}_{j}^{+}\right)}^{2}}+\sqrt{{\displaystyle\sum }_{j=1}^{n}{{w}_{j}\left({x}_{ij}-{x}_{j}^{-}\right)}^{2}}} $
(2) This page contains the following errors:
error on line 1 at column 1: Start tag expected, '<' not foundBelow is a rendering of the page up to the first error.
为解决了TOPSIS的权重单调性问题，张爱琴等[12]提出了分子加权TOPSIS，其计算公式如下：
$ {{\rm{RC}}}_{i}=\frac{\sqrt{{\displaystyle\sum }_{j=1}^{n}{{w}_{j}\left({x}_{ij}-{x}_{j}^{-}\right)}^{2}}}{\sqrt{{\displaystyle\sum }_{j=1}^{n}{\left({x}_{ij}-{x}_{j}^{+}\right)}^{2}}+\sqrt{{\displaystyle\sum }_{j=1}^{n}{\left({x}_{ij}-{x}_{j}^{-}\right)}^{2}}} $
(3) 与TOPSIS相比，分子加权TOPSIS的权重仅在分子部分设置。这样可使某个指标权重增加时，评价值也单调递增[12]。
3 加权调和平均法和修正的加权调和平均法
加权调和平均法的计算公式[13]如下：
$ {C}_{i}=\dfrac{1}{{w}_{1}\dfrac{1}{{x}_{1}}+{w}_{2}\dfrac{1}{{x}_{2}}+\cdots +{w}_{n}\dfrac{1}{{x}_{n}}} $
(4) 从公式(4)可以看出，某个指标权重增大，加权调和平均法的评价值必然会降低。所以，传统检验方法认为加权调和平均法存在权重单调性问题。为了解决加权调和平均法的权重单调性问题，王灵芝等[13]提出修正的加权调和平均法，其计算公式如下：
$ {C}_{i}=\dfrac{1}{\dfrac{1}{{w}_{1}{x}_{1}}+\dfrac{1}{{w}_{2}{x}_{2}}+\cdots +\dfrac{1}{{w}_{n}{x}_{n}}} $
(5) 修正的加权调和平均法将权重和指标统一放在分母中，这样可使某个指标权重增加时，评价值也单调递增。
二 权重单调性检验方法
1 传统检验方法
传统检验方法通过权重与评价值的关系检验权重的单调性。实际操作时则是通过模拟权重与权重对比的方法判断权重的单调性[11-12]。当某个指标权重单调递增时，模拟权重也是单调递增，则说明权重具有单调性。以评价值为因变量，以评价指标为自变量进行回归：
$ {{\rm{RC}}}_{i}={a}_{0}+{a}_{1}{x}_{i1}+{a}_{2}{x}_{i2}+\cdots +{a}_{n}{x}_{in} $
(6) This page contains the following errors:
error on line 1 at column 1: Start tag expected, '<' not foundBelow is a rendering of the page up to the first error.
This page contains the following errors:
error on line 1 at column 1: Start tag expected, '<' not foundBelow is a rendering of the page up to the first error.
第二步，以某个评价指标为例，将其权重依次设定为1～9，其他指标的权重保持为1，然后进行评价。重复第一步，分别得到每个指标的模拟权重。
第三步， 比较权重与模拟权重。判断该指标权重增大时，对应的模拟权重是否相应增大，若出现非单调递增现象，则说明存在权重单调性问题。
第四步，对其他指标重复第二步和第三步，只要任何一个指标出现非单调递增现象，都说明评价方法存在权重单调性问题。
传统检验方法将式(2)的非线性关系转换为了式(6)的线性关系，显然不能完全准确表示评价值与评价指标之间的关系。比如，张爱琴等[12]提出的分子加权TOPSIS虽然满足评价值随权重增加而单调递增，但是在检验时仍然存在某个指标权重增大，而模拟权重减小的现象。张爱琴等[12]认为这是回归的拟合误差导致的。为了能有效对比传统检验方法与本文所提出的检验方法，本文在应用传统检验方法时，采取更为直接的方法，即通过权重与评价值的关系检验评价方法的权重单调性。由于评价对象较多，不便于一一分析各评价对象评价值的变化情况，本文以所有评价对象评价值的均值相对于权重的变化情况来判断权重的单调性。对于任何一个指标，在权重增加时若出现评价均值非单调递增现象，则说明存在权重单调性问题。
2 一种新的权重单调性检验方法−相关系数法
当科技评价的目的是比较各个评价对象时，评价值的相对差异以及由其所决定的评价对象的排序结果是重要的评价结论。各指标与评价值之间的相关性可用于表示各指标对评价值相对差异的影响程度。本文采用Pearson相关系数表示各指标与评价值之间的相关性。极端情况下，若某指标与评价值之间的相关系数为1，则有
$ {C}_{i}=a{x}_{ij}+b $
(7) This page contains the following errors:
error on line 1 at column 1: Start tag expected, '<' not foundBelow is a rendering of the page up to the first error.
对于评价对象p、q，评价值之间的差异为：
$ {C}_{p}-{C}_{q}=a\left({x}_{pj}-{x}_{qj}\right) $
(8) 同理可得
$ \mathrm{max}\left({C}_{i}\right)-\mathrm{m}\mathrm{in}\left({C}_{i}\right)=a\left({x}_{j\mathrm{m}\mathrm{a}\mathrm{x}}-{x}_{j\mathrm{m}\mathrm{i}\mathrm{n}}\right) $
(9) This page contains the following errors:
error on line 1 at column 1: Start tag expected, '<' not foundBelow is a rendering of the page up to the first error.
$ \frac{{C}_{p}-{C}_{q}}{\mathrm{max}\left({C}_{i}\right)-\mathrm{m}\mathrm{in}\left({C}_{i}\right)}=\frac{{x}_{pj}-{x}_{qj}}{{x}_{j\mathrm{m}\mathrm{a}\mathrm{x}}-{x}_{j\mathrm{m}\mathrm{i}\mathrm{n}}} $
(10) 根据式(10)可知，若指标值与评价值之间的相关系数为1，则评价值的相对差异完全由该指标值的相对差异决定，此时多指标综合评价退化为单指标评价。显然，指标值与评价值之间的相关系数越大，该指标对评价值相对差异的影响程度越大，在评价中的相对重要性越大。相关系数法检验的具体步骤如下。
第一步， 对科技评价指标进行无量纲化处理，以某个评价指标为例，将其权重依次设定为1～9，其他指标的权重保持为1，然后进行评价获取评价值，计算该指标值与评价值的相关系数。
第二步，比较权重与相关系数。判断该指标权重增大时，对应的相关系数是否相应增大，若出现非单调递增现象，则说明存在权重单调性问题。
第三步， 对其他指标重复第一步和第二步，只要任何一个指标出现非单调递增现象，都说明评价方法存在权重单调性问题。
二. 实证分析
一 权重单调性检验结果
以JCR2017地理学期刊的评价为例，为了精简起见，选择具有代表性的影响因子、即年指标、论文影响分值3个指标进行评价。JCR2017地理学期刊共有84种，部分期刊存在数据缺失现象，将其删除，最终保留80种期刊。由于指标值为零时，加权调和平均法和修正的加权调和平均法无法计算评价值，因此在采用这2种评价方法时，未考虑存在指标值为零的期刊。3个指标均为正向指标，采用俞立平等[19]推荐的极大化对原始数据进行标准化处理。学术期刊评价目的是判断各学术期刊的相对优劣水平，评价值的相对差异和各期刊的排序结果是重要的评价结论。分别采用传统检验方法和相关系数法检验5种评价方法的权重单调性。各指标权重与评价均值、相关系数的关系如图1所示。从图1中可以看出，除线性加权汇总法和分子加权TOPSIS以外，其余3种评价方法的权重单调性检验结果不一致。
如图1(a)所示，对于线性加权汇总法，随各指标权重增加，评价均值和相关系数呈现单调递增趋势，且相关系数逐渐趋近于1，说明2种检验方法都认为线性加权汇总法不存在权重单调性问题。这是由线性加权汇总法的计算原理所决定的。
如图1(b)所示，对于TOPSIS，传统检验方法认为其存在权重单调性问题，评价均值随论文影响分值和即年指标权重的增大而单调递减。但是，相关系数法认为其不存在权重单调性问题，相关系数随各指标权重增加而单调递增，说明随各指标权重增加，各指标对评价值相对差异的影响增大，各指标的相对重要性增加。
如图1(c)所示，对于分子加权TOPSIS，其是为解决TOPSIS的权重单调性问题而出现的，所以评价均值必然随各指标权重增大而单调递增。相关系数法同样认为其不存在权重单调性问题，相关系数随各指标权重增加单调递增。
如图1(d)所示，对于加权调和平均法，评价均值随各指标权重的增大而单调递减，按传统检验方法，存在权重单调性问题。但是，各指标值与评价值的相关系数随各指标权重的增大而单调递增，说明各指标对评价值相对差异的影响增大，各指标的相对重要性增加。
如图1(e)所示，对于修正的加权调和平均法，评价均值必然随各指标权重的增大而单调递增。但是，各指标值与评价值的相关系数随各指标权重的增大而单调递减，说明指标权重的增大并不能增加该指标对评价值相对差异的影响程度，反而降低了该指标在评价中的相对重要性。
二 评价结果对比
分别计算各指标权重改变时加权调和平均法与修正的加权调和平均法评价值的相关系数（以CC-I表示），以及TOPSIS与分子加权TOPSIS评价值的相关系数（以CC-II表示），计算结果见表1。由于等权重评价时（所有指标权重为1），加权调和平均法与修正的加权调和平均法的评价值相同，TOPSIS与分子加权TOPSIS的评价值相同，所以对应的CC-I和CC-II为1。当各指标权重增大后，CC-I逐渐降低，说明加权调和平均法与修正的加权调和平均法的评价结果差异越来越大，这是因为2种方法权重单调性（相关系数法检验结果）刚好相反。TOPSIS与分子加权TOPSIS在计算原理上相似，所以CC-II非常接近于1。但是随着各指标权重的增大，2种评价方法评价值的相关系数有降低的趋势，这是由2种方法计算原理有所差异导致的。
表 1 不同评价方法评价值的相关系数指标权重 各指标权重改变时的CC-I 各指标权重改变时的CC-II 影响因子 即年指标 论文影响分值 影响因子 即年指标 论文影响分值 1 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 2 0.9911 0.9708 0.9871 1.0000 1.0000 0.9999 3 0.9786 0.9331 0.9699 0.9999 0.9999 0.9999 4 0.9676 0.9030 0.9551 0.9999 0.9998 0.9998 5 0.9583 0.8780 0.9431 0.9999 0.9997 0.9998 6 0.9505 0.8588 0.9332 0.9999 0.9996 0.9997 7 0.9439 0.8434 0.9250 0.9999 0.9995 0.9997 8 0.9383 0.8320 0.9181 0.9999 0.9994 0.9996 9 0.9334 0.8188 0.9123 0.9999 0.9994 0.9996 为进一步对比5种评价方法在评价结果上的差异，以实证分析中的5种JCR2017地理学期刊的评价结果为例，评价指标的标准化值如表2所示。以即年指标为例，其权重改变时5种评价方法的评价结果如表3所示。表2和表3中括号内的数据表示排序值。其中,影响因子极大值为1. 000，极小值为0.027;即年指标极大值为1.000，极小值为0.000；论文影响分值极大值为1.000，极小值为0.009，极小值几乎都为0。
表 2 评价指标的标准化值JCR缩写标题 影响因子 即年指标 论文影响分值 PROG HUM GEOG 1.000(1) 0.480(2) 1.000(1) ECON GEOGR 0.935(2) 0.304(10) 0.585(3) GLOBAL ENVIRON CHANG 0.925(3) 1.000(1) 0.949(2) LANDSCAPE URBAN PLAN 0.725(4) 0.406(6) 0.426(10) CAMB J REG ECON SOC 0.576(5) 0.330(8) 0.404(11) 表 3 即年指标权重改变时的5种评价方法的评价结果评价方法 JCR缩写标题 即年指标权重 1 2 3 4 5 6 7 8 9 线性加权汇总法 PROG HUM GEOG 2.480(2) 2.959 3.439 3.918 4.398 4.877 5.357 5.836 6.316(2) ECON GEOGR 1.823(3) 2.127 2.431 2.735 3.038 3.342 3.646 3.949 4.253(7) GLOBAL ENVIRON CHANG 2.874(1) 3.874 4.874 5.874 6.874 7.874 8.874 9.874 10.874(1) LANDSCAPE URBAN PLAN 1.557(4) 1.964 2.370 2.776 3.183 3.589 3.995 4.402 4.808(4) CAMB J REG ECON SOC 1.311(6) 1.641 1.971 2.300 2.630 2.960 3.290 3.620 3.950 (8) TOPSIS PROG HUM GEOG 0.738(2) 0.677 0.642 0.619 0.601 0.588 0.577 0.569 0.562(2) ECON GEOGR 0.579(3) 0.520 0.484 0.459 0.441 0.427 0.415 0.406 0.398(7) GLOBAL ENVIRON CHANG 0.948(1) 0.955 0.960 0.963 0.966 0.968 0.970 0.972 0.973(1) LANDSCAPE URBAN PLAN 0.511(4) 0.486 0.471 0.460 0.453 0.447 0.443 0.439 0.437(4) CAMB J REG ECON SOC 0.432(6) 0.407 0.392 0.382 0.375 0.370 0.365 0.362 0.359(8) 分子加权TOPSIS PROG HUM GEOG 0.738(2) 0.777 0.813 0.848 0.882 0.914 0.945 0.976 1.005(2) ECON GEOGR 0.579(3) 0.600 0.620 0.640 0.659 0.677 0.695 0.713 0.730(7) GLOBAL ENVIRON CHANG 0.948(1) 1.110 1.251 1.378 1.494 1.602 1.703 1.799 1.889(1) LANDSCAPE URBAN PLAN 0.511(4) 0.560 0.604 0.646 0.685 0.722 0.757 0.791 0.823(4) CAMB J REG ECON SOC 0.432(6) 0.471 0.508 0.542 0.574 0.604 0.633 0.661 0.687(8) 加权调和平均法 PROG HUM GEOG 0.245(2) 0.162 0.121 0.097 0.080 0.069 0.060 0.054 0.048(2) ECON GEOGR 0.165(3) 0.107 0.079 0.063 0.052 0.044 0.039 0.034 0.031(8) GLOBAL ENVIRON CHANG 0.319(1) 0.242 0.195 0.163 0.140 0.123 0.109 0.099 0.090(1) LANDSCAPE URBAN PLAN 0.162(4) 0.116 0.090 0.074 0.062 0.054 0.048 0.043 0.039(4) CAMB J REG ECON SOC 0.138(5) 0.097 0.075 0.061 0.052 0.045 0.039 0.035 0.032(7) 修正的加权调和平均法 PROG HUM GEOG 0.245(2) 0.329 0.371 0.397 0.414 0.426 0.435 0.442 0.448(1) ECON GEOGR 0.165(3) 0.226 0.258 0.278 0.291 0.300 0.308 0.313 0.318(3) GLOBAL ENVIRON CHANG 0.319(1) 0.380 0.405 0.419 0.428 0.434 0.439 0.442 0.445(2) LANDSCAPE URBAN PLAN 0.162(4) 0.202 0.220 0.230 0.237 0.242 0.245 0.248 0.250(4) CAMB J REG ECON SOC 0.138(5) 0.175 0.192 0.201 0.208 0.212 0.215 0.218 0.220(7) 下面解释TOPSIS评价值随即年指标权重的增大而单调递减的原因。从表2中可以看出，除GLOBAL ENVIRON CHANG以外，其余4种期刊的TOPSIS评价值均随即年指标权重的增加而减小。由于本文采用了极大化作为标准化方法，各指标的极大值为1，极小值几乎为零，如表2所示。除GLOBAL ENVIRON CHANG的即年指标大于其他2个指标以外，其余4种期刊的即年指标均小于其他2个指标，这种情况下与其他2个指标相比，即年指标离极大值的欧氏距离更大，离极小值的欧氏距离更小。如果增加即年指标的权重，则会导致这4种期刊离理想解（各指标的极大值）越来越远，离负理想解（各指标的极小值）越来越近，从而导致TOPSIS的评价值越来越小。这是由TOPSIS的计算原理决定的，增加较差指标在评价中的相对重要性必然会降低评价对象相对于理想解的优劣水平，即评价值降低。
This page contains the following errors:
error on line 1 at column 1: Start tag expected, '<' not foundBelow is a rendering of the page up to the first error.
表 4 线性加权汇总法评价值的线性转换值JCR缩写标题 即年指标权重 1 2 3 4 5 6 7 8 9 PROG HUM GEOG 0.863(2) 0.764 0.706 0.667 0.640 0.619 0.604 0.591 0.581(2) ECON GEOGR 0.634(3) 0.549 0.499 0.466 0.442 0.424 0.411 0.400 0.391(7) GLOBAL ENVIRON CHANG 1.000(1) 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000(1) LANDSCAPE URBAN PLAN 0.542(4) 0.507 0.486 0.473 0.463 0.456 0.450 0.446 0.442(4) CAMB J REG ECON SOC 0.456(6) 0.424 0.404 0.392 0.383 0.376 0.371 0.367 0.363(8) 即年指标权重越大，即年指标对评价值相对差异的影响越大，所以才会影响线性加权汇总法和TOPSIS评价值所代表的相对优劣水平。以排序值近似说明权重对评价值相对差异的影响，从表3中可以看出，即年指标权重增加到9后，对于这2种评价方法，不论评价值增加还是减小，5种期刊的排序结果都更接近即年指标的排序结果，如果继续增大即年指标的权重，最终5种期刊的排序结果将会由即年指标决定。
即年指标权重对分子加权TOPSIS排序结果的影响表现出了相同的规律，由于分子加权TOPSIS与TOPSIS在计算原理上的相似性，这5种期刊的排序结果完全一致。分子加权TOPSIS仅在原TOPSIS计算公式的分子中采用权重，虽然也具有权重单调性，但是无法将评价值限制在[0,1]范围内。这是因为分子加权TOPSIS计算公式的分子采用的加权欧氏距离，而分母采用的未加权欧氏距离，2种距离不具可比性。从表3中可以看出，即年指标权重为9时，PROG HUM GEOG 的评价值超过了1，为1.005。所以，与TOPSIS相比，分子加权TOPSIS的评价值失去了原有相对于理想解优劣水平的意义。
加权调和平均法的评价值虽然随各指标权重的增大而降低，但是各指标对评价值相对差异的影响却在增加，如图1(d)所示。从表3中可以看出，即年指标权重增加到9后，加权调和平均法的排序结果与即年指标的排序结果更为接近，说明即年指标权重增大后，即年指标对评价值的相对差异产生了更大的影响。同样，如果继续增大即年指标的权重，最终所有期刊的排序结果将会由即年指标决定。
修正的加权调和平均法的评价值虽然随各指标权重的增大而增大，但是各指标对评价值相对差异的影响却在减小，如图1(e)所示。从表3中可以看出，即年指标权重增加到9后，修正的加权调和平均法的排序结果与即年指标的排序结果相去甚远，说明即年指标权重增大后，即年指标并未对评价值的相对差异产生更大的影响，无法增加即年指标在评价中的相对重要性。
三 权重单调性的极端情况对比
正常情况下，若某指标权重增大到无穷大，那么评价值的相对差异应该完全由该指标决定，该指标与评价值的相关系数将达到1。为了验证5种评价方法是否满足上述条件，以影响因子为例，将其权重分别设定为10，100，1000，10000，计算5种评价方法评价值与影响因子的相关系数，结果如表5所示。
表 5 影响因子与评价值的相关系数评价方法 权重 10 100 1000 10000 线性加权汇总法 0.9980 1.0000 1.0000 1.0000 TOPSIS 0.9950 0.9997 1.0000 1.0000 分子加权TOPISIS 0.9945 0.9973 0.9973 0.9973 加权调和平均法 0.9918 0.9999 1.0000 1.0000 修正的加权调和平均法 0.8779 0.8704 0.8696 0.8695 从表5中可以看出，当权重取100时，线性加权汇总法评价值与影响因子的相关系数几乎为1。当权重取1000时，TOPSIS评价值与影响因子的相关系数几乎为1，但是分子加权TOPSIS评价值与影响因子的相关系数仅为0.9973，当权重增大到10 000时，相关系数仍然只有0.9973，即使继续增大权重也是如此。权重10 000时，分子加权TOPSIS排序值与影响因子排序值的统计关系如图2所示。从图2中可以看出，存在较多评价对象的排序值不一致，所占比例达到了25%，最大排序差异达到了3。造成上述现象的原因便是分子加权TOPSIS计算公式中分母与分子采用的距离公式不可比，使得权重无法充分发挥作用。
当权重取1 000时，加权调和平均法评价值与影响因子的相关系数几乎为1，即随着影响因子权重的增大，加权调和平均法评价值的相对差异最终将会完全由影响因子决定。对于修正的加权调和平均法，其评价值与影响因子的相关系数随权重的增大逐渐降低最终也会收敛，但却不足0.87，无法充分发挥影响因子在评价中的作用，进一步说明了修正的加权调和平均法并不合理。
四 应用建议
综上所述，从相对评价的角度，线性加权汇总法、TOPSIS和加权调和平均法并不存在权重单调性问题，也可以充分发挥权重在评价中的作用，这3种方法均可用于以相对评价为目的的科技评价；修正的加权调和平均法不具备权重单调性，不建议用于以相对评价为目的的科技评价；分子加权TOPSIS虽然具有权重单调性，但是其计算公式中分母与分子采用的距离公式不可比，导致权重无法充分发挥作用，而且评价值无法限制在[0,1]范围内，相比之下，TOPSIS的评价值更具有直观可比性，建议在相对评价中优先选用TOPSIS。
以相对评价为目的时，科技评价是为了比较各个评价对象的相对优劣水平，评价值的相对差异以及评价对象的排序结果才是评价者关注的重点。从相对评价的角度，权重与评价值之间的关系与评价值的相对意义有关，不能直接作为检验权重单调性的标准；传统检验方法忽略了权重与评价值相对差异之间的关系，导致检验结果可能不符合实际；相关系数法根据权重与评价值相对差异的关系检验评价方法的权重单调性，检验结果更为合理。以相对评价为目的时，建议采用相关系数法检验科技评价方法的权重单调性。
三. 结论
以相对评价为目的时，科技评价是为了比较各个评价对象的相对优劣水平，评价值的相对差异以及由其所决定的评价对象的排序结果才是评价者关注的重点。权重与评价值之间的关系与评价值的相对意义有关，传统检验方法只关注了权重与评价值之间的关系，忽略了权重与评价值相对差异之间的关系，不能用于相对评价。
从相对评价的角度，本文提出了一种新的权重单调性检验方法−相关系数法。该方法认为当某个指标权重增大时，若该指标与评价值的相关系数增大，则说明该指标对评价值相对差异的影响增大，即该指标在评价中的相对重要性增加，具有权重单调性。以相对评价为目的时，建议采用相关系数法作为科技评价方法的权重单调性检验方法。
以相对评价为目的时，线性加权汇总法、TOPSIS和加权调和平均法均不存在权重单调性问题，也可以充分发挥权重在评价中的作用，这3种方法均可用于以相对评价为目的的科技评价；修正的加权调和平均法不具备权重单调性，不建议用于以相对评价为目的的科技评价；分子加权TOPSIS虽具有权重单调性，但其计算公式中分母与分子采用的距离公式不可比，导致权重无法充分发挥作用，而且评价值无法限制在[0,1]范围内，建议在相对评价中优先选用TOPSIS。
-
表 1 不同评价方法评价值的相关系数
指标权重 各指标权重改变时的CC-I 各指标权重改变时的CC-II 影响因子 即年指标 论文影响分值 影响因子 即年指标 论文影响分值 1 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 2 0.9911 0.9708 0.9871 1.0000 1.0000 0.9999 3 0.9786 0.9331 0.9699 0.9999 0.9999 0.9999 4 0.9676 0.9030 0.9551 0.9999 0.9998 0.9998 5 0.9583 0.8780 0.9431 0.9999 0.9997 0.9998 6 0.9505 0.8588 0.9332 0.9999 0.9996 0.9997 7 0.9439 0.8434 0.9250 0.9999 0.9995 0.9997 8 0.9383 0.8320 0.9181 0.9999 0.9994 0.9996 9 0.9334 0.8188 0.9123 0.9999 0.9994 0.9996 
下载: 导出CSV
表 2 评价指标的标准化值
JCR缩写标题 影响因子 即年指标 论文影响分值 PROG HUM GEOG 1.000(1) 0.480(2) 1.000(1) ECON GEOGR 0.935(2) 0.304(10) 0.585(3) GLOBAL ENVIRON CHANG 0.925(3) 1.000(1) 0.949(2) LANDSCAPE URBAN PLAN 0.725(4) 0.406(6) 0.426(10) CAMB J REG ECON SOC 0.576(5) 0.330(8) 0.404(11)
下载: 导出CSV
表 3 即年指标权重改变时的5种评价方法的评价结果
评价方法 JCR缩写标题 即年指标权重 1 2 3 4 5 6 7 8 9 线性加权汇总法 PROG HUM GEOG 2.480(2) 2.959 3.439 3.918 4.398 4.877 5.357 5.836 6.316(2) ECON GEOGR 1.823(3) 2.127 2.431 2.735 3.038 3.342 3.646 3.949 4.253(7) GLOBAL ENVIRON CHANG 2.874(1) 3.874 4.874 5.874 6.874 7.874 8.874 9.874 10.874(1) LANDSCAPE URBAN PLAN 1.557(4) 1.964 2.370 2.776 3.183 3.589 3.995 4.402 4.808(4) CAMB J REG ECON SOC 1.311(6) 1.641 1.971 2.300 2.630 2.960 3.290 3.620 3.950 (8) TOPSIS PROG HUM GEOG 0.738(2) 0.677 0.642 0.619 0.601 0.588 0.577 0.569 0.562(2) ECON GEOGR 0.579(3) 0.520 0.484 0.459 0.441 0.427 0.415 0.406 0.398(7) GLOBAL ENVIRON CHANG 0.948(1) 0.955 0.960 0.963 0.966 0.968 0.970 0.972 0.973(1) LANDSCAPE URBAN PLAN 0.511(4) 0.486 0.471 0.460 0.453 0.447 0.443 0.439 0.437(4) CAMB J REG ECON SOC 0.432(6) 0.407 0.392 0.382 0.375 0.370 0.365 0.362 0.359(8) 分子加权TOPSIS PROG HUM GEOG 0.738(2) 0.777 0.813 0.848 0.882 0.914 0.945 0.976 1.005(2) ECON GEOGR 0.579(3) 0.600 0.620 0.640 0.659 0.677 0.695 0.713 0.730(7) GLOBAL ENVIRON CHANG 0.948(1) 1.110 1.251 1.378 1.494 1.602 1.703 1.799 1.889(1) LANDSCAPE URBAN PLAN 0.511(4) 0.560 0.604 0.646 0.685 0.722 0.757 0.791 0.823(4) CAMB J REG ECON SOC 0.432(6) 0.471 0.508 0.542 0.574 0.604 0.633 0.661 0.687(8) 加权调和平均法 PROG HUM GEOG 0.245(2) 0.162 0.121 0.097 0.080 0.069 0.060 0.054 0.048(2) ECON GEOGR 0.165(3) 0.107 0.079 0.063 0.052 0.044 0.039 0.034 0.031(8) GLOBAL ENVIRON CHANG 0.319(1) 0.242 0.195 0.163 0.140 0.123 0.109 0.099 0.090(1) LANDSCAPE URBAN PLAN 0.162(4) 0.116 0.090 0.074 0.062 0.054 0.048 0.043 0.039(4) CAMB J REG ECON SOC 0.138(5) 0.097 0.075 0.061 0.052 0.045 0.039 0.035 0.032(7) 修正的加权调和平均法 PROG HUM GEOG 0.245(2) 0.329 0.371 0.397 0.414 0.426 0.435 0.442 0.448(1) ECON GEOGR 0.165(3) 0.226 0.258 0.278 0.291 0.300 0.308 0.313 0.318(3) GLOBAL ENVIRON CHANG 0.319(1) 0.380 0.405 0.419 0.428 0.434 0.439 0.442 0.445(2) LANDSCAPE URBAN PLAN 0.162(4) 0.202 0.220 0.230 0.237 0.242 0.245 0.248 0.250(4) CAMB J REG ECON SOC 0.138(5) 0.175 0.192 0.201 0.208 0.212 0.215 0.218 0.220(7)
下载: 导出CSV
表 4 线性加权汇总法评价值的线性转换值
JCR缩写标题 即年指标权重 1 2 3 4 5 6 7 8 9 PROG HUM GEOG 0.863(2) 0.764 0.706 0.667 0.640 0.619 0.604 0.591 0.581(2) ECON GEOGR 0.634(3) 0.549 0.499 0.466 0.442 0.424 0.411 0.400 0.391(7) GLOBAL ENVIRON CHANG 1.000(1) 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000(1) LANDSCAPE URBAN PLAN 0.542(4) 0.507 0.486 0.473 0.463 0.456 0.450 0.446 0.442(4) CAMB J REG ECON SOC 0.456(6) 0.424 0.404 0.392 0.383 0.376 0.371 0.367 0.363(8)
下载: 导出CSV
表 5 影响因子与评价值的相关系数
评价方法 权重 10 100 1000 10000 线性加权汇总法 0.9980 1.0000 1.0000 1.0000 TOPSIS 0.9950 0.9997 1.0000 1.0000 分子加权TOPISIS 0.9945 0.9973 0.9973 0.9973 加权调和平均法 0.9918 0.9999 1.0000 1.0000 修正的加权调和平均法 0.8779 0.8704 0.8696 0.8695
下载: 导出CSV
-
[1] 申丹娜, 李研. 气象科研院所科技创新能力评价与方法研究[J]. 科技促进发展,2018,14(5):350 − 355. [2] 陈江涛, 吕建秋, 田兴国, 等. 基于熵值法的广东省科技创新能力评价研究[J]. 科技管理研究,2018,38(12):119 − 126. doi: 10.3969/j.issn.1000-7695.2018.12.017 [3] SUN L Y, MIAO C L, YANG L. Ecological-economic efficiency evaluation of green technology innovation in strategic emerging industries based on entropy weighted TOPSIS method[J]. Ecological indicators, 2017(73): 554 − 558. doi: 10.1016/j.ecolind.2016.10.018
[4] 肖瑶. “中国制造2025”背景下上市公司技术创新效率评价[J]. 财会通讯,2019(2):53 − 57. [5] 俞立平, 宋夏云. 期刊评价中非线性评价方法选取的检验研究[J]. 中国科技期刊研究,2014,25(8):1063 − 1067. doi: 10.3969/j.issn.1001-7143.2014.08.018 [6] 俞立平, 伍蓓, 袁永仪, 等. 科技评价中非线性评价方法筛选的检验研究−因子回归检验法[J]. 情报杂志,2018,37(9):64 − 70. doi: 10.3969/j.issn.1002-1965.2018.09.011 [7] 俞立平. 基于聚类分析的期刊多属性评价方法选择研究−聚类结果一致度筛选法[J]. 图书情报工作,2018,62(21):80 − 86. [8] 陈国宏, 李美娟. 基于方法集的综合评价方法集化研究[J]. 中国管理科学,2004,12(1):101 − 105. doi: 10.3321/j.issn:1003-207X.2004.01.020 [9] 张发明, 刘志平. 组合评价方法研究综述[J]. 系统工程学报,2017,32(4):557 − 569. [10] 俞立平, 潘云涛, 武夷山. 学术期刊非线性评价方法的检验与修正研究[J]. 现代图书情报技术,2011(Z1):110 − 115. [11] 俞立平, 刘爱军. 期刊评价中TOPSIS的漏洞研究−权重单调性[J]. 情报杂志,2014,33(11):131 − 135+192. doi: 10.3969/j.issn.1002-1965.2014.11.024 [12] 张爱琴, 俞立平, 赵公民. 科技评价中加权TOPSIS的权重可靠吗? −基于分子加权TOPSIS法的改进[J]. 现代情报,2018,38(11):48 − 54. doi: 10.3969/j.issn.1008-0821.2018.11.009 [13] 王灵芝, 俞立平. 期刊评价中效用函数合成方法的选择与综合运用研究[J]. 情报杂志,2012,31(11):77 − 82+70. doi: 10.3969/j.issn.1002-1965.2012.11.018 [14] 魏厦. 河北省科技竞争力评价研究−基于主成分分析[J]. 调研世界,2019(6):45 − 48. [15] 邓丹青, 杜群阳, 冯李丹, 等. 全球科技创新中心评价指标体系探索−基于熵权TOPSIS的实证分析[J]. 科技管理研究,2019,39(14):48 − 56. doi: 10.3969/j.issn.1000-7695.2019.14.007 [16] 宫诚举, 易平涛, 李伟伟. 双重驱动的省域科技发展水平评价方法研究[J]. 科学学研究,2019,37(9):1589 − 1597. doi: 10.3969/j.issn.1003-2053.2019.09.007 [17] HWANG C L, YOON K P. Multiple attribute decision making: Methods and applications [M]. New York: Springer-Verlag, 1981.
[18] DENG H, YEH C H, WILLIS R J. Inter-company comparison using modified TOPSIS with objective weights[J]. Computers & operations research, 2000, 27(10): 963 − 973.
[19] 俞立平, 潘云涛, 武夷山. 学术期刊综合评价数据标准化方法研究[J]. 图书情报工作,2009,53(12):136 − 139. -
期刊类型引用(2)
1. 李晴，陈鹏宇. 兼顾指标均衡性的科技评价研究——以地理学期刊评价为例. 内蒙古科技与经济. 2023(15): 46-48+52 . 
百度学术
2. 陈鹏宇，李晴. 多指标综合评价中评价指标的模拟权重探讨——以地理学期刊评价为例. 四川文理学院学报. 2022(02): 13-22 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 2784
- HTML全文浏览量: 1112
- PDF下载量: 9
- 被引次数: 3
下载: