導(dǎo)語：科技期刊評價體系設(shè)計及應(yīng)用一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

為了深化新聞出版領(lǐng)域供給側(cè)結(jié)構(gòu)性改革，運用好、發(fā)揮好出版行政審批政策“把入口、用杠桿”的作用，持續(xù)優(yōu)化產(chǎn)業(yè)和產(chǎn)品結(jié)構(gòu)，推動新聞出版業(yè)高質(zhì)量發(fā)展，傳媒監(jiān)管局設(shè)立了“新聞出版資源配置情況分類問效評估（科技期刊類）”課題項目，對新創(chuàng)辦科技期刊的辦刊效果和評價體系開展專項研究。本文涉及的科技新刊評價體系設(shè)計及應(yīng)用是這項課題研究的重點內(nèi)容之一。課題組在分析以往研究成果以及當(dāng)前我國科技期刊發(fā)展的現(xiàn)狀和問題的基礎(chǔ)上，結(jié)合專家意見，對科技新刊的評價體系進(jìn)行了設(shè)計，并嘗試用其對2013—2018年我國新創(chuàng)辦科技期刊[1]進(jìn)行具體的評價實踐。

1科技期刊綜合評價簡要回顧

期刊評價是期刊界的一個熱門話題，近十年來，國內(nèi)學(xué)者年均發(fā)表該類研究論文超過200篇，涉及評價目的、評價方法、評價指標(biāo)體系設(shè)計、各類評價指標(biāo)的作用和關(guān)系分析等。關(guān)于科技期刊綜合評價指標(biāo)體系的結(jié)構(gòu)及其具體應(yīng)用，國家期刊出版行政管理部門先后頒發(fā)過兩個文件。20世紀(jì)90年代，國家科學(xué)技術(shù)委員會頒發(fā)的《關(guān)于頒布五大類科技期刊質(zhì)量要求及評估標(biāo)準(zhǔn)的通知》（國科發(fā)信字[1994]148號），將學(xué)術(shù)期刊質(zhì)量標(biāo)準(zhǔn)分為政治質(zhì)量、學(xué)術(shù)質(zhì)量、編輯質(zhì)量和出版質(zhì)量4項；2020年6月，國家新聞出版署印發(fā)的《報紙期刊質(zhì)量管理規(guī)定》，把報紙、期刊質(zhì)量劃分為內(nèi)容質(zhì)量、編校質(zhì)量、出版形式質(zhì)量、印制質(zhì)量4項。此外，2000年，為了配合中國科學(xué)院知識創(chuàng)新工程試點工作,擇優(yōu)支持重點學(xué)術(shù)期刊，中國科學(xué)院自然科學(xué)期刊編輯研究會牽頭研制一套“自然科學(xué)學(xué)術(shù)期刊評價指標(biāo)體系”，通過17項靜態(tài)指標(biāo)與2項動態(tài)指標(biāo)相結(jié)合,考察學(xué)術(shù)質(zhì)量與編輯出版質(zhì)量[2]。學(xué)術(shù)界對科技期刊綜合評價指標(biāo)體系的設(shè)計，也有不少討論。龐景安等建立的“科技期刊綜合評價指標(biāo)體系”包括經(jīng)營管理水平、編輯水平和學(xué)術(shù)水平3個方面共19項評價指標(biāo)[3]；鄧清燕認(rèn)為，科技期刊綜合評價指標(biāo)體系應(yīng)該包括整體標(biāo)準(zhǔn)、編輯標(biāo)準(zhǔn)、學(xué)術(shù)標(biāo)準(zhǔn)和出版標(biāo)準(zhǔn)4個方面[4]；邱均平等建立的科技期刊評價體系則包括技術(shù)性、效益性和標(biāo)準(zhǔn)化3個方面9項指標(biāo)[5]；張積玉認(rèn)為，評估標(biāo)準(zhǔn)的設(shè)計應(yīng)多維度、綜合化，既要重視政治質(zhì)量、學(xué)術(shù)質(zhì)量,還必須考慮編輯質(zhì)量、出版質(zhì)量，考察辦刊條件和出版保障體系[6]；趙惠祥等從信息的傳播擴(kuò)散、信息承載、載體狀況、運作經(jīng)營狀況4個方面將評價體系分解為影響力指標(biāo)、文獻(xiàn)指標(biāo)、載體指標(biāo)、管理指標(biāo)4類[7]；葉繼元認(rèn)為，學(xué)術(shù)期刊的質(zhì)量評價涉及編輯質(zhì)量、學(xué)術(shù)質(zhì)量、出版質(zhì)量、發(fā)行質(zhì)量等方面[8]。新創(chuàng)辦學(xué)術(shù)期刊評價是期刊評價研究的一個薄弱環(huán)節(jié)，理論成果比較少，具體實踐幾乎是空白。趙新力等在問卷調(diào)查的基礎(chǔ)上，設(shè)計了創(chuàng)刊的必要性、辦刊基礎(chǔ)和條件、主編背景評估、主創(chuàng)人員評估、辦刊方針、市場定位及經(jīng)營方式六個維度18個評價指標(biāo)，通過專家打分，結(jié)合評估質(zhì)量控制模型，進(jìn)行新刊評估的嘗試[9]。這項工作是課題組已發(fā)現(xiàn)的我國最早探討新刊評價的研究工作，其目的是規(guī)范創(chuàng)刊的可行性論證，強(qiáng)化審批管理。葉繼元等探討了將其團(tuán)隊提出的“全評價”體系用于新刊評價的可行性[10]。他們的“全評價”體系概括起來是“六位一體”和“三個維度”，6個要素是評價主體、評價客體、評價目的、評價方法、評價標(biāo)準(zhǔn)及指標(biāo)和評價制度，各要素之間相互作用、相互影響?！叭齻€維度”即形式、內(nèi)容和效用，分別對應(yīng)形式評價、內(nèi)容評價和效用評價。此項工作的主旨是呼吁期刊評價機(jī)構(gòu)關(guān)注新刊的遴選，目的是促進(jìn)新創(chuàng)期刊的健康發(fā)展，評價方法以定性評價法為主、定量評價法為輔。但該文作者僅作理論探討，尚未付諸實踐。耿海英針對新刊評價設(shè)計了吸引力、管理力和影響力3個一級指標(biāo)，再細(xì)分成6個二級指標(biāo)和11個三級指標(biāo)，目的也是進(jìn)行核心期刊的遴選[11]。對于學(xué)術(shù)質(zhì)量評價，耿海英也主張以定性評價為主、定量評價為輔。定性評價主要依靠同行評議，同行評議除了通過網(wǎng)絡(luò)問卷形式讓不同層次的專家進(jìn)行打分之外，最重要的是將各學(xué)科領(lǐng)域的專家召集起來集中對期刊進(jìn)行評審。耿海英用此指標(biāo)體系對2013—2017年內(nèi)或新辦或者更名的164種人文社科類學(xué)術(shù)期刊、按照三個學(xué)科大類分別進(jìn)行了評價嘗試；最后評出18種核心期刊，其他146種為入庫期刊。指標(biāo)權(quán)重、計分標(biāo)準(zhǔn)、同行評議的過程未具體說明。目前的研究中，對國外新刊評價的研究，所獲寥寥。

2新創(chuàng)辦科技期刊評價指標(biāo)體系設(shè)計

2.1評價目的。評價目的是期刊評價工作的基礎(chǔ)和出發(fā)點，是期刊評價工作的龍頭，決定著其他要素的選擇[12]，任何期刊評價都必須基于一定的評價目的，才能設(shè)計出相應(yīng)的期刊評價標(biāo)準(zhǔn)、指標(biāo)和方法[11]134，評價目的不同，評價標(biāo)準(zhǔn)和評價工具的使用自然也會有差異[13]。業(yè)內(nèi)學(xué)者一般認(rèn)為，我國期刊評價工作的目的大體上有三種：其一，各級管理部門組織的優(yōu)秀期刊評選，對期刊出版導(dǎo)向、內(nèi)容質(zhì)量、出版質(zhì)量、管理質(zhì)量的綜合評價；其二，核心期刊遴選，確定某學(xué)科較集中刊載原創(chuàng)論文的學(xué)術(shù)期刊，主要以文獻(xiàn)計量學(xué)指標(biāo)為根據(jù)；其三，學(xué)術(shù)質(zhì)量評價，以期刊論文的學(xué)術(shù)水平、期刊所建立的學(xué)術(shù)品牌和學(xué)科領(lǐng)域口碑為依據(jù)。學(xué)術(shù)質(zhì)量評價與核心期刊評價，以及影響因子排序有較強(qiáng)的關(guān)聯(lián)，但并不等同，更注重品牌的作用和專家口碑，需要定量評價與定性評價的有機(jī)結(jié)合。期刊評價根據(jù)評價結(jié)果的使用目的不同，也可以這樣劃分三類：第一類，出版管理者視角的評價，評價結(jié)果作為出版管理的輔助手段，這種評價具有顯著的中國特色；第二類，文獻(xiàn)情報服務(wù)者視角的評價，結(jié)果作為核心期刊遴選的依據(jù)，揭示學(xué)科領(lǐng)域論文分布規(guī)律；第三類，學(xué)術(shù)共同體視角的評價，用以輔助學(xué)術(shù)評價、學(xué)科建設(shè)和學(xué)術(shù)行為（如投稿依據(jù)、業(yè)績考核和審稿標(biāo)準(zhǔn)的把握）。本課題進(jìn)行期刊評價研究的主要目的是綜合考察最近6年新創(chuàng)辦科技期刊的出版經(jīng)營績效，檢驗期刊出版資源配置的階段性效果，以期為今后科技期刊資源配置提供參考數(shù)據(jù)，顯然屬于第一類評價的范疇。2.2評價方法。第一類評價，需要定性評價與定量評價的結(jié)合，往往還要進(jìn)行辦刊過程與結(jié)果的雙重考察；第二類評價，主要基于文獻(xiàn)計量學(xué)指標(biāo)的定量評價，一般無須考察辦刊過程；第三類評價主要是定性評價，注重歷史積淀、學(xué)術(shù)體驗和專業(yè)口碑，一般不會考察辦刊過程。本課題的工作屬于第一類期刊評價，宜采取定性評價與定量評價結(jié)合的方法。對新刊的定性評價與定量評價，都有相當(dāng)?shù)睦щy——創(chuàng)刊時間短，定量評價難以獲取足夠的文獻(xiàn)計量學(xué)數(shù)據(jù)支持；而以同行評議為基礎(chǔ)的定性評價以往就有失敗的案例[2]。新刊因創(chuàng)刊時間短，在業(yè)內(nèi)尚未建立廣泛共識，且受到學(xué)科差異、專家個體差異，以及組織工作難度等方面的制約，專家調(diào)查方法更難以獲得可靠的定性評價結(jié)果。課題組處理一些難以量化的指標(biāo)的策略是，在專家咨詢的基礎(chǔ)上，根據(jù)新刊的特征和評價目的，確定價值體系，由課題組掌握統(tǒng)一的尺度，對各項定性指標(biāo)進(jìn)行評價和打分。2.3評估指標(biāo)體系的研制思路和過程。課題組此項工作與以往的新刊評價工作有很大不同。從評價目的上說，以往新刊評價工作有兩類，其一，為創(chuàng)刊審批論證設(shè)立評價指標(biāo)，以完善科技期刊審批制度，增加審批的科學(xué)性；其二，對新刊的質(zhì)量進(jìn)行評價，指導(dǎo)期刊數(shù)據(jù)庫關(guān)注新刊、遴選新刊。在當(dāng)前我國科技期刊發(fā)展越來越體現(xiàn)國家戰(zhàn)略的時代背景下，本項研究必須關(guān)注我國科技期刊發(fā)展的現(xiàn)狀、問題、任務(wù)和目標(biāo)，考察新刊在整體上與國家戰(zhàn)略的符合度和可持續(xù)發(fā)展能力，新刊評價指標(biāo)體系在可操作性的前提下，要體現(xiàn)時代性、科學(xué)性、導(dǎo)向性與合理性，要能夠為出版行政管理部門今后更加有效地配置期刊出版資源、強(qiáng)化目標(biāo)管理提供依據(jù)。基于上述目的，課題組認(rèn)為采用多指標(biāo)屬性的簡單的線性加權(quán)匯總評價方法比較合適。這種方法也被一些業(yè)內(nèi)專家認(rèn)為是在期刊總體評價中最好的方法[14]。2.4評估指標(biāo)體系的構(gòu)建。本課題指標(biāo)體系的構(gòu)建采取專家咨詢與課題組研究總結(jié)相結(jié)合的辦法。課題組基于自己的研究、辦刊和創(chuàng)刊實踐、前人研究成果及國家戰(zhàn)略要求，結(jié)合專家意見，形成了指標(biāo)體系初稿。以初稿為基礎(chǔ)，組織專家會議討論最終完成科技新刊問效評估指標(biāo)體系（見表1），共設(shè)置4個一級指標(biāo)、12個二級指標(biāo)、34個三級指標(biāo)。4個一級指標(biāo)分別為：辦刊隊伍、期刊影響力、學(xué)術(shù)支撐體系和出版服務(wù)能力，權(quán)重依次為40%、30%、20%、10%；二三級指標(biāo)的權(quán)重見表1，為使三級指標(biāo)有足夠的區(qū)分度，總分設(shè)定為400分。34項指標(biāo)得分之和為期刊評估得分。2.5指標(biāo)賦值。2.5.1客觀指標(biāo)賦值。本文的客觀指標(biāo)指可以通過設(shè)定一定規(guī)則計算分值的指標(biāo)，在34個三級指標(biāo)中，共有12個指標(biāo)得分通過數(shù)據(jù)計算得到。這些指標(biāo)是：編輯部職數(shù)、刊期、年發(fā)文量、發(fā)文密度、國外數(shù)據(jù)庫收錄、國內(nèi)數(shù)據(jù)庫收錄、SCI影響因子、CSCD總被引、中國知網(wǎng)CI值、辦刊投入、本領(lǐng)域Top10%作者比例和本領(lǐng)域Top5%機(jī)構(gòu)供稿比例。表2給出指標(biāo)數(shù)值計算的幾個示例（其他指標(biāo)可據(jù)此類推）。記分規(guī)則實際上也是課題組關(guān)于期刊發(fā)展價值觀的體現(xiàn)，這里明顯體現(xiàn)了對期刊做優(yōu)、做大、做強(qiáng)的鼓勵。2.5.2主觀指標(biāo)賦值。主觀指標(biāo)的賦值難度較大，受問卷質(zhì)量、訪談質(zhì)量、評分人主觀因素等方面的影響。嚴(yán)格地說，部分主觀指標(biāo)，如主辦單位學(xué)術(shù)實力、主編和編委活躍度、學(xué)科重要性等都需要借助學(xué)科領(lǐng)域?qū)＜业脑u判；一些指標(biāo)需要進(jìn)行大量的研究和深度考察才能得出可靠的結(jié)果，如編委會結(jié)構(gòu)合理性、分工合理性、發(fā)展規(guī)劃與刊群建設(shè)，以及出版服務(wù)能力等。本課題研究受經(jīng)費與時間限制，依據(jù)問卷、實地訪談，以及公開數(shù)據(jù)，由課題組成員討論形成基本共識后，由兩位成員各自獨立完成打分，再取平均值。

32013—2018年新創(chuàng)辦科技期刊評價結(jié)果

3.1數(shù)據(jù)采集。2013—2018年創(chuàng)刊的科技期刊共計151種，課題組通過問卷、實地調(diào)研，輔以年檢資料、樣刊閱讀、公開數(shù)據(jù)查閱、相關(guān)數(shù)據(jù)庫檢索等，共采集95種目標(biāo)期刊的指標(biāo)數(shù)據(jù)，占總數(shù)的62.9%。3.2評價結(jié)果。3.2.1目標(biāo)期刊基本情況。總體評價結(jié)果。滿分為400分，95種參評新刊平均分為280.9分，相當(dāng)于百分制的70分；得分中位數(shù)為277.0分，與平均分相近。從圖1可見，高分值和低分值的兩端曲線陡峭，說明處于最高分段和最低分段的期刊數(shù)都比較少，曲線中段大體是一條連續(xù)變化的直線，沒有出現(xiàn)明顯的分值集聚，這既說明新刊經(jīng)營要素存在顯著差異性，也顯示出該評價體系的良好區(qū)分度。3.2.3各類新刊得分情況比較。各類新刊得分情況見表4。1）2013—2018年創(chuàng)刊的151種科技期刊中，共有55種期刊獲得了中國科技期刊國際影響力提升計劃D類項目資助，而項目組采集得到完備數(shù)據(jù)、可以進(jìn)行評估的D類項目期刊共計43種，占比78.2%，應(yīng)該說有足夠的代表性。評估結(jié)果顯示，得分排名前10位的都是D類項目支持的期刊，說明中國科技期刊國際影響力提升計劃中設(shè)置支持創(chuàng)刊D類項目是卓有成效的。2）以這個評價體系衡量，95種科技新刊總平均分達(dá)到了百分制的70分，各類期刊的平均分都超過了及格線，說明最近6年科技期刊刊號資源的配置總體上是有成效的。3）英文期刊的總體得分要高于中文期刊，而D類項目資助的期刊整體表現(xiàn)更突出一些。中英文雙語刊由于樣本數(shù)較少，可能代表性不夠。4）得分排名靠后的期刊主要有兩種情況，一種是因為辦刊宗旨的不同或期刊定位的限制，難以套用學(xué)術(shù)指標(biāo)；另一種情況是編輯部力量較弱，與主辦單位的聯(lián)系又比較松散，缺乏運作經(jīng)驗和業(yè)務(wù)指導(dǎo)。比如一些期刊以高校為主辦單位，而編輯部實際上設(shè)在附屬醫(yī)院，編輯部人員還要從事臨床工作，不能全身心投入辦刊。

4討論

4.1關(guān)于指標(biāo)評價維度、指標(biāo)權(quán)重與賦值。課題組根據(jù)評價目的在評價指標(biāo)體系中選取辦刊隊伍、期刊影響力、學(xué)術(shù)支撐體系和出版服務(wù)能力四個維度，從過程、結(jié)果、可持續(xù)發(fā)展能力等方面對目標(biāo)新刊進(jìn)行綜合評價。之所以設(shè)置出版服務(wù)能力和可持續(xù)發(fā)展能力多項考察指標(biāo)，意欲體現(xiàn)中國科技期刊發(fā)展和管理的時代要求，也希望引起從業(yè)人員對我國科技期刊發(fā)展薄弱環(huán)節(jié)的重視。這些指標(biāo)在以往的評價體系中并不突出。對目標(biāo)期刊的具體評價工作由課題組根據(jù)問卷、實地調(diào)研等方法采集到的數(shù)據(jù)來完成。一些難以定量化的指標(biāo)的賦值可能會受到種種因素的影響，如課題組成員的學(xué)科背景、對主辦單位固有印象、實地調(diào)研中各刊講解人表述的差異等。4.2部分重點評估指標(biāo)設(shè)置的依據(jù)和意義。4.2.1辦刊隊伍。課題組和專家一致認(rèn)為，人是最關(guān)鍵的要素，這種觀點不僅得到許多研究工作的支持[15-19]，也得到課題組問卷和個案分析的印證。我們在“辦刊隊伍”中設(shè)置了3個二級指標(biāo)，分別是主編、編委會和編輯部，而主編的權(quán)重等于編委與編輯部之和。特別指出，我們對主編的“辦刊專注度”賦予了9個三級指標(biāo)中的最高權(quán)重。主編有名望和學(xué)術(shù)活躍度高還不夠，還必須對辦刊傾注熱情，投入精力，不能只當(dāng)掛名主編。我們在實地調(diào)研中獲得了不少主編專注于辦刊的實例，最終評估結(jié)果表明，這些期刊也取得了不錯的效果。比如《納微快報》《中國科學(xué)：材料科學(xué)（英文版）》《光子學(xué)研究》等?？萍计诳瘺]有科學(xué)家的熱情投入是很難開展工作的。課題組認(rèn)為，有沒有很好的辦刊隊伍，是期刊資源配置需要重點考察的要素之一。4.2.2期刊可持續(xù)發(fā)展能力。實踐證明，在我國期刊出版管理體制下，主辦單位對期刊發(fā)展的重視程度和其學(xué)術(shù)支撐體系對科技期刊的可持續(xù)發(fā)展有重要影響。具體體現(xiàn)為學(xué)術(shù)資源注入、人力物力投入、編輯人員待遇和晉升渠道、期刊發(fā)展規(guī)劃等?？沙掷m(xù)發(fā)展能力是課題組實地調(diào)研中重點關(guān)注的一項內(nèi)容。調(diào)研發(fā)現(xiàn)，期刊可持續(xù)發(fā)展的基礎(chǔ)建設(shè)正受到一些有實力的期刊主辦單位的重視，比如將期刊發(fā)展納入主辦單位整體規(guī)劃、設(shè)立期刊發(fā)展專項基金、完善期刊出版機(jī)構(gòu)設(shè)置、強(qiáng)化刊群建設(shè)等。部分高校配合“雙一流”建設(shè)設(shè)立了期刊發(fā)展專項資金，并以經(jīng)濟(jì)手段強(qiáng)化校內(nèi)刊群凝聚力可視為這方面的一個典型案例。4.2.3出版服務(wù)能力。出版服務(wù)能力除傳統(tǒng)的審稿質(zhì)量、編輯規(guī)范、出版周期評價等指標(biāo)之外，還設(shè)置了采編系統(tǒng)、結(jié)構(gòu)化排版、新媒體營銷、文章可見性等具有時代特征的指標(biāo)，以體現(xiàn)網(wǎng)絡(luò)化時代對科技期刊出版服務(wù)質(zhì)量和水平的新要求。實踐證明，縮短發(fā)文周期有利于吸引作者向新創(chuàng)辦期刊投稿[20]。有研究指出，互聯(lián)網(wǎng)環(huán)境下，我國科技期刊要實現(xiàn)跨越式發(fā)展，需要數(shù)字化工程基礎(chǔ)上實現(xiàn)跨平臺業(yè)務(wù)流程優(yōu)化[21]；數(shù)字內(nèi)容資源結(jié)構(gòu)化關(guān)聯(lián)、跨平臺鏈接、多媒體呈現(xiàn)及實時分享也已經(jīng)幫助我國一些優(yōu)秀期刊建立起了很大優(yōu)勢[22]。4.2.4文獻(xiàn)計量指標(biāo)。文獻(xiàn)計量指標(biāo)盡管存在很多爭議，但畢竟是評估辦刊效果的重要依據(jù)之一。為公平起見，原則上應(yīng)該區(qū)分中英文期刊和不同創(chuàng)刊年限的期刊，且應(yīng)對創(chuàng)刊時間較短而沒有進(jìn)入各種數(shù)據(jù)庫收錄、沒有引證指標(biāo)得分的期刊進(jìn)行系統(tǒng)性的修正。但鑒于其復(fù)雜性，課題組暫未進(jìn)行這種修正。期刊影響力方面除引證指標(biāo)之外，還設(shè)置了發(fā)文密度指標(biāo)考察年發(fā)文量，以及年均發(fā)文量與同學(xué)科領(lǐng)域期刊平均發(fā)文量的比較，體現(xiàn)既鼓勵做強(qiáng)，也鼓勵做大的評價導(dǎo)向。指標(biāo)體系設(shè)計實際上也體現(xiàn)了設(shè)計團(tuán)隊的價值觀。

新刊評價是一個難題，也沒有受到業(yè)內(nèi)足夠重視，相關(guān)研究成果比較少，實操層面的工作幾乎是空白。課題組完成的科技類新創(chuàng)辦期刊的評價實踐還有待于進(jìn)一步研究和完善。盡管此項評價體系是對新創(chuàng)辦科技期刊的階段性運營效果的評價，沒有專門涉及創(chuàng)刊必要性的考察，但我們認(rèn)為，此項研究對期刊出版行政管理部門進(jìn)行科技期刊創(chuàng)刊的前置審批，具有一定的參考價值。雖然本課題研究的基本任務(wù)是評價科技新刊個體的經(jīng)營業(yè)績，但課題組從課題設(shè)置的目的和我國科技期刊發(fā)展的需要出發(fā)，把視野延伸到了與其相關(guān)的期刊集群、發(fā)展環(huán)境和運轉(zhuǎn)支撐體系的效果評價，深度考察科技期刊的可持續(xù)發(fā)展能力。在注重結(jié)果考察的同時，進(jìn)一步研判發(fā)展趨勢，以期對期刊出版行政管理部門有效地配置資源提供更有針對性的決策參考。

作者:胡升華 朱蔚 周洲 王志欣 彭斌 單位:科學(xué)出版社