第二节 学术竞争力评估的学术研究现状
本节以中国知网、Web of Science数据库为数据来源，检索收集国内外开展学术竞争力评估的研究成果。为了更加全面地得到学术竞争力评估相关研究文献，将“学术竞争力评估”扩展为“学术竞争力”“学术评估”“科研竞争力”“科研评估”“学术评价”“科研评价”等进行组配检索，对应英文检索词为“Academic Compet*”“Academic Evaluat*”“Research Compet*”“Research Evaluat*”等。同时，利用滚雪球法、引证文献法等进一步补充相关研究文献。
在对相关主题进行检索后发现，学术竞争力评估与科研评估密切相关。科研评估是通过对科研活动及其产出和影响的价值进行判断，以衡量科技创新活动及其主体的水平和价值的活动。学术竞争力评估主要包含两个方面的内容：一方面是对学术层面的评估，如对科研成果的评估等；另一方面是对非学术层面的评估，如对社会影响的评估等。学术竞争力评估是科研评估中对学术层面评估的重要组成部分，学术竞争力的强弱直接影响科研评估的结果，而科研评估的结果可以促进学术竞争力的提升，因而通常将学术竞争力评估放在科研评估体系中进行研究与讨论。
科研评估具有很强的诊断、导向与激励功能，全面有效的科研评估既能激发科研机构的创新能力，又能为科研管理部门提供及时的科研发展信息。因此，科研评估工作已经引起了越来越多国家的关注。美国是最早开展科研评估工作的国家，日本、法国、瑞典等国家也在其后逐步开展科研评估工作。我国的科研评估起步于20世纪80年代。近年来，随着大科学时代的开启，快速扩大的数据规模和先进的技术手段促使科研评估指标愈加丰富，科研评估体系日趋完善，科研评估方法日益增多，我国对科研评估的投入也越来越大。从整个科研评估流程来看，科研评估指标与科研评估体系是科研评估中至关重要的两个环节，国内外学者针对这两个环节已积极开展了各项研究。
一 科研评估指标研究现状
科研评估指标是科研评估活动中的关键环节。通常来说，科研评估指标包括定量分析指标和定性分析指标两类，这两类指标经常被综合应用于评估实践中。定量分析指标在整个科研评估活动中具有不可或缺的客观价值。学者围绕文献数据对定量评价指标开展研究，包括传统文献计量指标、基于传统文献计量指标衍生的评估指标，以及伴随网络信息化所产生的诸多新兴指标，如网络计量学、替代计量学等。
（一）传统文献计量指标及衍生指标
基于文献的传统计量指标在科研评估中应用最为广泛，也为新指标的开发奠定了基础，如基于引文测度指标、期刊影响相关指标等。引文分析是文献计量学的核心方法之一，引文影响力在一定程度上揭示了学术影响力，因此，引文指标在科研评估研究中受到了广泛的关注。常见的引文指标可以分为三类：①适用于总体规模的定量分析指标，如总被引频次、高被引论文数、高被引论文占比等；②篇均类指标，如篇均被引、学科规范化的引文影响力(category normalized citation impact, CNCI)等；③特定指标，如h指数、g指数、皇冠指数等。
h指数是科研评估中最具影响力的指标之一，也是广受学术界关注的评估指标之一。2005年，Hirsch J E(2005)综合考虑论文数量和论文被引次数，提出h指数(h-index)用于评估科学家个人的研究绩效，随后其他研究者相继提出了一系列基于h指数的衍生指标。Egghe L(2006)提出g指数，改进了h指数不能充分反映高被引论文的不足；Alonso S(2016)基于h指数和g指数提出了Hg指数；Prathap G(2010)则在研究中提出p指数，进一步提高了科研评估的客观性与准确性。我国也有不少研究者就h指数的局限性提出优化指数。许鑫、徐一方(2014)指出传统的h指数未考虑时间维度对学者进行的评价且无法有效区分拥有相同h指数的学者，并在研究中提出基于时间维度的Ht指数，用于评估学者学术水平和活跃程度；金碧辉(2007)等提出了拓展h指数功能的补充指标R指数和AR指数；宋歌(2016)认为科研成果创新力评估中的替代指标具有局限性，提出了科研成果创新力S指标及累加S指数的计算公式，进而通过实证分析，论证S指数可以作为评估科研成果创新力的一项有效指标等。除个人评估外，也有研究者将h指数应用于评估其他主体，如InCites数据库将h指数应用于机构评估，Braun T(2006)等人将h指数的应用扩展到期刊评估。
除上述指标外，还有一些非常重要的指标，如荷兰莱顿大学科学技术研究中心提出的皇冠指数，以及期刊影响因子(impact factor, IF)、期刊声望指数(SCImago journal ranking, SJR)、特征因子等期刊评估指标。
（二）面向网络环境的新兴指标
在网络信息数量爆炸式增长、信息技术快速发展的背景下，网络计量学和替代计量学应运而生。学者开始注重网络环境下文献资源的特殊性，并对传统评估指标进行修正，提出新的评估指标。相关研究主要包括以下两个方面。
1 基于网络计量学的新兴指标
网络计量学通过运用各种量化研究技术、工具和方法，对网络信息资源进行计量和研究。该学科自提出以来被广泛应用于与网络相关的各种领域的分析之中，为科研评估提供了有力的定量依据和决策支撑。1998年，Ingwersen P(1998)基于期刊影响因子提出了“网络影响因子”。2002年，Darmoni S J等(2002)提出阅读因子，从图书馆用户视角对期刊进行评估。随后，越来越多的学者将网络影响因子应用于对大学、图书馆、企业等的信息资源评估中。邱均平是国内最早探索网络计量指标与传统引文指标关系的学者。自邱均平之后，对将网络计量指标用于学术评估可能性的研究逐渐增多，部分学者将引文分析法与网络链接技术相结合，提出了新的科研评估指标。如马凤(2014)提出基于PageRank算法的期刊影响力权值，并与期刊影响因子、期刊自引率、总被引频次等指标进行对比分析。又如周春雷(2018)认为学术关系网络蕴含的社会资本能够真实反映科研机构的学术声望及影响力，因而其研究从学术网络社会资本视角提出了测度科研机构学术影响力的学科评价指标——SCAN指数，并且通过ESI(essential science indicators)数据印证了SCAN指数的合理性和可靠性。此外，运用ScholarRank算法挖掘被引次数不多的高质量论文，通过MPA算法揭示文献链中居于重要衔接位置的文献等方面的研究也广受关注。
综合上述调研发现，当前对网络计量学的应用研究主要集中在理论、方法，以及共链分析、算法和评估指标上，但随着数据科学的快速发展和大数据、人工智能技术的渗透，网络计量学与网络挖掘、人工智能和数学等领域相结合成为新的发展趋势，将为科研评估中量化规律的发现和分析带来更大的便利。
2 基于替代计量学(altmetric)的新兴指标
替代计量学(altmetric)的概念最早是由美国北卡罗来纳大学博士生Priem J于2010年提出的。与传统的文献计量评价指标相比，替代计量学指标为科研评估提供了超越学科范畴的广阔视阈。替代计量学的测量对象丰富多样，能够展现即时更新的测量结果，弥补引文指标在应用中周期过长的缺陷，得到了学术界的广泛支持。Levitt J M和Thelwall M(2011)在替代计量学领域开展了一系列研究。2011年，Thelwall M(2011)通过将“引文次数”与“影响因子”加权计算得到一个新指标，用来评价文章的影响力。2014年，Mohammadi E和Thelwall M(2014)基于Mendeley学术社交平台探索不同领域Mendeley读者量与引用量的相关强度差异，研究发现社会科学领域Mendeley读者量与引用量的相关强度高于人文科学领域。2015年，Thewall M认为与被引次数相比，Mendeley计算研究成果影响力会更具及时性，因此提出一种基于Mendeley国际影响力指标的计算方法，研究发现该方法能够一定程度上更早反映文献影响力变化的趋势。此外，还有学者研究发现，领域专家重点推荐的论文中往往替代计量学分值较高。刘春丽(2012)最早将替代计量学引入国内；邱均平等(2015)提出将若干限定学术数据作为数据源，替代计量学的若干指标（如社会影响力、评级等）能够一定程度反映学术影响力。杨柳(2015)以plum analytics为数据源，探讨替代计量学指标与传统科研机构影响力评估指标之间的相关性。郝若扬(2018)以2014—2016年替代计量学前100名论文为样本，发现替代计量学分数能够通过定量方式揭示学术论文的社会影响力。
将替代计量学应用于科研评估能够带来更高的评估效率，也能更加实时地揭示学术前沿。目前，英格兰高等教育基金委员会(Higher Education Funding Council for England, HEFCE)正在论证将替代计量学应用于科研评估的可行性，若证实替代计量学指标适用于科研评估，则未来可能将其纳入考核制度中。但也有研究表明，替代计量学指标与引文指标所反映的论文影响方向不同，两者可以相互补充，但是不能取代彼此。
网络计量学和替代计量学都是基于网络的科学计量学的衍生体，它们拓展了传统引文网络的研究范围，提出了覆盖面广、迅速、开放的科学影响力计量方法。在网络和信息技术快速发展的时代背景下，基于网络计量学和替代计量学的新兴指标可以弥补传统文献计量指标的不足，但若要将这些指标更加成熟和准确地应用于科研评估，仍需大量的实证研究加以证实，这也是未来值得深入研究的方向。
二 学术评估体系研究现状
科研评估体系构建是学术界的热点之一。构建评估指标体系一般包括指标选取和指标权重设置两部分，指标选取要结合评估对象的性质、特点，遵循指标选取原则；指标权重设置应关注目前的评估重点与目的，但指标权重设置并不是每一个评估体系必需的。笔者通过调研发现，国内外学者将德尔菲法、统计学、运筹学、组织行为学等多种学科方法引入到科研评估中，以构建更加完善、全面的评估体系，来提高评估结果的客观性和准确性。
（一）实践层面的科研评估体系研究
大学科研评估指对校内科研人员科技创新活动进行的评估与衡量。随着大学功能的不断拓展和科研工作的不断深入，大学科研评估拥有了更广泛的内涵和外延。国外大学科研评估最初采用的是同行评议，随后定量分析也开始被应用到大学评估中，逐步形成定性与定量相结合的评估体系。国外对科研评估体系的研究主要集中于由政府建立或引入第三方评估机构进行的大学科研评估。例如，英国的“科研卓越框架”(Research Excellence Framework, REF)开展了很多探索性的研究和实践，其最大的创新就是采用了同行评议与文献计量指标相结合的评估体系，在严格限制文献计量指标所占比重的同时弱化了同行评议对评估结果的影响。在英国的《英国社会科学研究绩效的国际基准对比和文献计量学监测》报告中，研究者选取10个学科进行文献计量学分析，根据不同学科的特点确定引文数据统计范围，对每个学科的国际影响力进行比较分析。美国国家科学研究委员会(United States National Research Council, NRC)每隔10年进行一次研究型博士项目的排名，涉及大学特征、博士项目特征、参与项目人员3个维度共48个变量指标。德国科学委员会开展部分科研机构评估工作，建立了较为完善的多层次科研评估体系，涵盖20多项指标。此外，澳大利亚、法国等国家也针对不同的评估目标，构建了各具特色的科研评估体系。本书将在第一章第三节“学术竞争力评估的实践应用现状”中，对国外科研评估体系进行详细介绍。
国内大学的科研评估起步较晚，但发展较快，经历了行政评估、同行评议、文献计量评价、科研计量4个阶段，出现了一批有影响力且应用性强的大学科研评估指标体系。
1 基于综合方法的评估体系研究
白璐(2019)综合运用SWOT分析法、问卷调查法、德尔菲法等来构建指标评估体系。该研究首先通过调研国内外现有指标体系，利用SWOT分析法分析所选中指标的优势、劣势和现实因素，构建大学科研评估指标体系的雏形，设计指标体系问卷，然后邀请图情、科研评价等领域的20位专家，采用德尔菲法，通过两轮问卷调查，结合专家意见对指标和分值比重进行慎重的调整，最终得出指标优化后的大学科研评估指标体系。该指标体系具有一定的开放性，包括核心指标和拓展指标两部分，核心指标旨在对所有大学基础科研实力进行评价，拓展指标旨在对高水平大学的科研实力进行评价，并以某医科大学为例，对构建的科研评估指标体系进行了实践验证。
2 基于层次分析法的评估体系研究
唐慧君(2006)运用层次分析法，考虑到自然科学与人文社会科学规律和特点不同，经过两轮专家意见咨询，分别构建了大学自然科学科研评价指标体系和大学人文社会科学科研评价指标体系两套科研评价体系，以保证评价体系的科学性与合理性，并选取湖南大学具有代表性的院系进行实证研究。此外，江艳(2007)也采用层次分析法构建评价体系，不同的是，该研究以科学构建为基础实施分类评价，依据理工文三类大学科，分别构建了湖南大学理科科研评价指标体系、工科科研评价指标体系和文科科研评价指标体系。
3 基于因子综合分析法的评估体系研究
因子综合分析法是利用因子综合得分评价模型进行分析的方法。因子综合得分评价模型是统计学中相对成熟的方法与模型，该模型能够从众多指标中提取少数综合性指标，集中反映所有指标的主要信息，避免了大量评价指标重复叠加使用。柳劲松和刘贵华(2014)将因子综合得分评价模型应用于区域大学科研质量综合评价研究中，构建了包括条件质量和成果质量2个维度、13个核心指标的评价体系，经过因子综合分析法旋转后，从原来13个核心指标中提取出3个公因子。舒予(2015)同样利用因子综合分析法，从指标相关性的角度对科研评价指标进行分类，从科研总量、科研质量和前沿研究3个角度构建了科研评价指标体系，提出一种基于方差最大化的权重计算方法，对我国“985”大学科研状况进行评估和分析。
4 基于数据包络分析法的评估体系研究
运筹学中的数据包络分析法(data envelopment analysis, DEA)也常常被应用于构建科研评估体系。例如，刘峰和于智恒(2019)运用数据包络分析法进行科研绩效测度，选取典型相关分析方法(canonical correlation analysis, CCA)模型对科研投入产出指标进行相关性验证，得到适用于我国大学的科研绩效评估指标体系；陈浩(2012)运用数据包络分析法中的应用视窗分析(window analysis, WA)模型，构建科研评价体系；姜彤彤(2011)综合运用数据网络分析法中的固定规模报酬数据网络分析法模型（CCR模型）和变动规模报酬数据包络分析法模型（BCC模型），构建了包括科研投入、科研产出2个维度共10个指标的评估体系。
除问卷调查法、德尔菲法、统计学方法以及运筹学方法外，平衡计分卡、健康指数模型等也被应用于构建科研评估指标体系。张龙等(2019)采用平衡计分卡构建了包含科研经费、科研成果、科研项目和科研交流与培养等指标的大学科研评估指标体系；周保环(2019)基于健康指数模型开展了大学学科评估与对策研究。
（二）理论层面的科研评估体系研究
大学科研评估体系对大学创新活动发展起着重要的引导作用，而定期开展的科研评估活动也是大学自我查验的良好机会。部分学者指出，现有的大学科研评估体系存在诸多问题，需要进一步完善，才能更加客观地呈现科研评估成效，有效提升我国大学的科研能力和创新能力。有研究者就“双一流”背景下科研评估体系发展问题进行了探讨，如宋荔钦和郝少盼(2020)探讨了“双一流”要求指导下的大学科研评价体系构建策略，指出评价标准量化、评价内容实物化、评价指标国际化是目前我国大学科研评价体系的重要特征，但同时我国大学科研评价体系也存在评价机构行政气息浓重、评价内容量化现象严重等问题，进而依据不同专业特色采用不同评价方法，提出大学科研评价体系构建策略。又如，郑承军和潘建军(2018)就“双一流”背景下大学科研评价的改革，指出长期以来加强绩效评价成为我国高等教育管理领域的现实，在该过程中，以量化考核为表征的绩效评价备受推崇，功利主义也在影响着学术评价，评价的工具主义不断影响着学术职业的本质属性。该研究提出，一方面要改变“唯期刊论”的学术评价体系，落实多元评价和同行评价的理念；另一方面要改变科研评价目的，扭转科研评价的功利性等。只有完成这两个方面的改变，才能构建适应“双一流”建设背景下的大学科研评价体系。
大学学科组织化指将大学基层组织制度从有利于知识传递向有利于知识创造转变。对处于既定发展阶段的大学学科组织化水平做出科学、准确的评估，具有重要的理论价值和现实意义，然而，目前这一目标尚未完全达成。贺天成(2017)通过整合大学学科组织理论，提出组织化视角下评估体系的构建原则，并综合问卷调查法、德尔菲法、调系数、变异系数、乘积法等多种研究方法，从理论上构建了“体用结合”的大学学科评价指标体系。该指标体系综合考量了大学学科组织功用水平和组织化水平，最大限度使大学学科水平评价更加合理、全面。刘磊(2018)则关注排行榜的学术评价体系，他以上海软科世界大学学术排行榜（Shanghai Ranking’s Academic Ranking of World Universities，简称ARWU排行榜）、泰晤士高等教育世界大学排行榜（THE World University Rankings，简称THE排行榜）、QS世界大学排行榜（QS World University Rankings，简称QS排行榜）这3个排行榜的学术评价指标体系为研究对象进行相关性分析，结果发现不同排行榜的相关系数下效度较差，同一大学在不同评价体系中的学术等级相差较大，并且同时入围3个榜单的大学数量偏少，这主要是各排行榜计算方法和排名指标不同导致的排名差异。该研究进而从调整评价指标权重、被引问题等方面提出修正意见，重构学术评价指标体系。此外，也有国外学者就完善科研评价指标体系的问题进行了探讨。Bincent N(2013)以专业能力、研究活动、行为特性等为关键绩效指标设置大学绩效评价体系，指出教育机构在进行评估时，可以根据目的选择性地组合使用上述指标。Gunn A等(2017)则关注非学术影响对学术研究评价的作用，指出在评价设计中应当考虑评价对象、时间框架、非学术影响信息的提供者、争议的影响、科研资助等因素，将非学术影响选择性地应用到学术研究评价中。
科研评估体系的构建是科研评估工作的关键环节，所构建的科研评估体系是否全面、合理，不仅会影响科研管理的公正性和有效性，而且会影响大学管理部门的决策和大学发展方向，而如何在现有研究的基础上构建更加全面、合理的科研评估体系，仍是未来值得深入探讨的话题。
三 本节总结
科研评估对大学科研活动的管理和决策意义重大，它通过科学、有效的方法，对科研活动及其产出和影响进行价值判断，为下一步的科研决策提供支持，其在指导科研经费分配、科研人员晋升、科研管理等方面发挥着越来越重要的作用。
综合国内外的研究情况可知，国内外学者针对科研评估流程开展了一系列的研究工作，尤其在科研评估指标与科研评估体系构建方面。在科研评估指标方面，除传统文献计量指标及其衍生指标外，伴随着网络和信息化的发展，还出现了诸多基于网络计量学和替代计量学的新兴指标，这些新兴指标为科研评估带来了极大便利，但如何将其更加准确地应用于科研评估，仍需未来继续探讨。在科研评估体系构建方面，部分学者探索了如何将层次分析法、因子综合分析法、数据包络分析法等多种客观赋权方法应用于评估体系构建，但评价本身是多维度、多属性且主观的，因此“客观评价”概念本身并不完备。
此外，从科研评估主体来看，科研评估主要由国家或大学主导，在国外还有一些商业组织积极参与其中，为政府和公众了解各个院校和科研机构的科研实力、科研资源、科研效益等情况提供支持。科研评估对象涉及学者评价、期刊评价、学科评价、机构评价，以及国家或地区评价等多方面，本书主要针对机构评价开展调研工作。从科研评估方法来看，主要分为定性评估、定量评估和综合评估，3种评估方法各有所长，适用于不同的评估对象和目标。目前，很多国家和地区的科研评估以定性分析为主，以定量分析为辅，采用两者相结合的方式进行。本书以全面、客观揭示各所大学的实际竞争力为目标，不采用任何主观赋权方法进行人为干预，通过客观学术数据，展现各个大学间的学术竞争力原貌，为我国“双一流”大学建设提出可供参考的建议。