科技期刊論文質量評價方法

導語：科技期刊論文質量評價方法一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

科研論文質量一方面是作者學術思想與成果的綜合體現，另一方面也彰顯著載體期刊的學術特征與價值；而對于科研論文評價素來是科研管理的一項重要任務。多年來，對于論文質量評價方法的研究在科研管理以及情報學領域均有著一定的成果，但多基于現有機制的方法學優化，或對某一專業學科論文開展評價指標的針對性研究，亦或是對于某學段研究生論文評價體系的構建[1-2]。方法本身大多通過對論文內容建立評價模型或按照論文間的引證關系判斷論文質量。評價本身包括了對評價對象各方面進行的量化與非量化測量，其價值內涵主要體現在標準確立、情景決定、手段設計以及結果利用的4個基本步驟中。設立科學、標準的評價體系，并圍繞評價結果進一步深化質量管理，對于科研質量的提升以及期刊學術水平的帶動有著積極作用。針對科研論文質量評價在某種程度上關系著期刊的學術影響力與發展的續航力。基于此，本文旨在從科技論文編輯的角度切入，綜合分析并整合各評價方法特點及優勢，并著重介紹刊前定量評價方法的研究內容及意義，以期為優化論文質量評價機制、提升論文評價的信效度水平提供參考。

1當前主要的評價方法及缺陷

針對論文質量的評價方法多種多樣，多依賴于文獻計量學指標或專家的定性評價?？傮w上，分析方式方面可大致分為定性與定量2種；同時也可按照前后的不同時間節點進行質量評估。對于科技論文質量的刊前評價方法，長期以來形成了以定性為主的同行評議模式。同行評議法制度始創于1752年的英國皇家學會資助的刊物PhilosophicalTransaction，并主要以單盲、雙盲和公開評審3種形式存在。隨著時間的推移，該法已廣泛應用于對專利申請的審查，并具有易于操作、結論直觀明確等優勢[3]。但由于評價結果以文字表達為主，從而容易帶來主觀性強、缺少量化指標等缺點，同時也存在著過程歷時長、工作量大等問題。近年來，有關評審意見公正性的爭議愈演愈烈，評審過程中人為干擾因素的效應更容易通過同行定性為主的評議方法所放大。同時，評價結論模糊、不能做到對論文水平的準確定位，不利于將不同水平論文拉開檔次[4]。對于后定量評價方法的研究一直是科研管理工作的熱點。其中，基于單一被引指標及多項文獻計量學指標綜合的引文分析法均得到了較廣泛的認同及使用[5]。尤其是后者通過對各印證指標采用線性加權求和的方法，建立綜合評價的數學模型，可以更為客觀和全面地反映出論文的學術價值與應用程度。有研究人員建議將引用頻次、網頁點擊量、下載量以及引用率等文獻利用數據共同引入對論文的評判中，從而形成論文本身利用價值更為客觀的評估[6]。引文分析法的理論基礎是文獻被引用，即被引用是以其質量為基礎。該方法雖然對科技期刊、論文、著者等各種分析對象的引用或被引用現象均可進行分析，但對于不同時間段發表的文獻難以統一衡量，且未將引用質量的因素納入考慮，因此也難免存在偏倚。雖然已有研究通過對論文-引文矩陣的推導，計算“歷時影響因子”以消除對不同發表時間的論文引用報告中影響因子的偏倚[7]。但同時存在的包括學科間差異、引用質量等不同因素仍然影響著該方法對論文的評價質量。此外，h指數與Pagerank指數近年來也被認為是論文質量評價較為可靠的定量指標[8]。但該指標更適用于對個體研究人員績效的評估。且進一步在對比兩者適應范圍時，Senanayake等[9]發現對于在大型組織從事研究而發表了影響力較低論文的人員使用h指數評價較好；而對于研究成果較少、針對交叉學科研究或就職于規模較小的研究團隊人員評價使用Pagerank指數方法更為有效。利用Altmetric評價系統了解論文關注度的方法也逐漸受到關注，并已應用于pubmed數據庫的相關文獻檢索功能中。該法側重于單篇論文或相關研究者的社會影響分析，通過對論文在不同社會化媒體中引用次數的統計評價其影響力水平，具有高靈活性、高關注度以及高社會認同度等優點。但該法當前只對英文文獻具有指示作用，且結論的得出易在關注度和爭議性之間混淆。此外，不同專業研究以及原文獻在網絡中的轉移也會對分析結果產生顯著的影響?？蟮亩ㄐ栽u價主要是按照論文載體的學術層次或間接通過文獻計量學方法判斷論文在引證關系圖中的位置、被引次數的分布規律等方式定性判斷論文質量。該法在操作上簡單易行，已成為當前科研評價與管理的重要手段[10]。這其中一個重要的方法即是通過掌握論文載體期刊的影響因子（核心分區）或數據庫收錄情況，從而間接評價論文自身價值質量。但顯然，通過納入期刊影響因子等級區域以及相應的收錄權重賦值，暴露了“以刊代文”評價方法所存在的固有問題[11]。而當前出版行業所熱議的“優秀論文不問出處”即從一個方面反映出“以刊代文”評價方法的局限性與不合理性[12]。因此，客觀上核心期刊對論文質量評價具有一定作用，但其間不存在絕對意義上的一一對應關系，通過核心期刊衡量論文質量具有局限性。

2刊前定量評價方法的構建思路

上述3種方法均以在科研評價管理中得到不同程度的認同與應用，而將定量評價方法引入審稿階段的論文評價方法則鮮有報道。在宏觀評價的方法學運用方面，有研究基于知識庫對論文質量進行評價，使用測試語料，分別從格式、一致性、邏輯性以及參考文獻的近期率等方面進行智能審核，旨在提高編輯部對于稿件初篩的工作效率[13]。作為編輯工作主要的環節之一，審稿的基本任務是按照出版方針和原則對稿件進行評價和選擇，以促進優秀作品的出版以及防止低劣作品流入社會。審稿工作的開展主要從內容質量以及形式質量2部分進行。其中對于科技論文的審稿工作，內容審定主要從科學性、創新性、知識性等方面進行，而對于形式質量的辨別則要通過結構架構、行文格式以及表述形式等方面開展。論文刊前質量定量評價方法建立的關鍵在于對于評價指標的選取以及權重系數的配比，從而搭建起多維度、多層級的系統評價體系。在指標選擇上需保證科學性與客觀性、系統性與全面性以及可測性與可操作性的兼顧，同時通過權重系數反映各指標間的內涵關聯[14]。為保證指標納入的準確性與全面性，對于評價指標的遴選往往基于文獻調研或結合專家咨詢法進行。有研究較為全面地將論文評估指標分為了內在指標、外部指標以及統計指標3個方面。內在指標指論文本身的質量，包括創新性、科學性、實用性、語言的準確性、要素的完整性以及規范性等；外部指標是指論文的外部特征，包括論文類型、基金資助情況、發表期刊、收錄的檢索機構等；統計指標指后的影響和反應，包括被引情況以及下載瀏覽數量[14]。作為專家意見信息的主要獲取手段，德爾菲又名專家意見法或專家函詢調查法，是采用背對背的通信方式征詢專家小組成員的預測意見，經過幾輪征詢，使專家小組的預測意見趨于集中，最后得出具有較高準確率的集體預測結論[15]。在論文質量評價體現的建立過程中，各因子的權重賦值主要通過征求專家意見的方法獲得，這就要求研究人員對德爾菲法中多層迭代法進行數據信息的收斂和歸納。在多指標綜合評價中，為了對被評價事物做出一項全面合理的整體性評價，需要把該事物的各方面指標綜合在一起，形成一個綜合性指標。由于事物本身發展的不平衡性以及評價目標值的側重點有所不同，不同指標在綜合評價值形成的過程中需要進行加權處理。目前關于評價指標權系數的確定方法眾多，根據計算權系數時原始數據來源以及計算過程的不同可大致分為主觀賦權法、客觀賦權法以及主客觀綜合集成賦權法。AHP法是將與決策總是有關的元素分解成目標、準則、方案等層次，在此基礎之上進行定性和定量分析的決策方法。該法主要步驟包括建立層次結構模型、構造判斷（成對比較）矩陣、層次單排序及一致性檢驗和計算組合權重和組合一致性檢驗[16]。首先建立層次結構圖如下。最高層為目標層（O）：問題決策的目標或理想結果，只有一個元素；中間層為準則層（C）：包括為實現目標所涉及的中間環節各因素，每一因素為一準則，當準則多于9個時可分為若干個子層；最低層為方案層（P）：方案層是為實現目標而供選擇的各種措施，即為決策方案。比較n個因素C1,C2,…,Cn對上一層（如目標層）O的影響程度，即要確定它在O中所占的比重。對任意兩個因素Ci和Cj，用aij表示Ci和Cj對O的影響程度之比，按1～9的比例標度來度量aij(i,j=1,2,…,n)。于是，可得到兩兩成對比較矩陣A=(aij)n×n，又稱為判斷矩陣，顯然,因此，又稱判斷矩陣為正互反矩陣。比例標度的確定：aij取1~9的9個等級，aji取aij的倒數,1~9標度確定如下：aij=1，元素i與元素j對上一層次因素的重要性相同；aij=3，元素i比元素j略重要；aij=5，元素i比元素j重要；aij=7，元素i比元素j重要得多；aij=9，元素i比元素i的極其重要；aij=2n，n=1,2,3,4…元素i與j的重要性介于aij=2n-1與aij=2n+1之間；，n=1,2,…9當且僅當aij=n。由正互反矩陣的性質可知，只要確定A的上（或下）三角的個元素即可。在特殊情況下，如果判斷矩陣A的元素具有傳遞性，即滿足aikakj=aij(i,j,k=1,2,…,n)。該法是直接利用各項指標所包含的信息，通過計算得到指標的權重，是一種客觀賦權的方法。在評價指標體系中，取值差異越大的指標更能反映被評價單位的差距。由于評價指標體系中各項指標的量綱不同，不宜直接比較其差別程度。為消除各項評價指標量綱不同的影響，需要用各項指標的變異系數來衡量各項指標取值的差異程度。各項指標的變異系數公式如下：式中：Vi是第i項指標的變異系數、也稱為標準差系數；是第i項指標的標準差；是第i項指標的平均數。各項指標的權重為：采用系統性的指標分析體系，對論文質量進行多維度評價，從而有效克服單指標評價的片面性，使評價結果更加符合客觀實際；但同時，這也帶來了如何匯總和處理不同性質評價指標統計數據的難題。在形成模型的過程中可主要采用以下2種方法。多元回歸分析旨在研究多個變量之間關系。該法雖然是一種較為通用的方法，但大多只用于少因素、線性的定量資料，對于多因素以及非線性的資料則難以處理。因此，考慮到論文質量評價因素間復雜的內在關系以及不確定性，利用簡單的多元回歸的方法確定評價模型難以建立準確的評估體系?？紤]到回歸方法的弊端與不足，作為一個發展變化的評價系統，關聯度分析實質上是動態過程發展態勢的量化分析。模糊綜合評價法是一種基于模糊數學的綜合評標方法。該法根據模糊數學的隸屬度理論把定性評價轉化為定量評價，即用模糊數學對受到多種因素制約的事物或對象做出一個總體的評價。論文質量定量評價方法的準確性難以把握，因此可根據模糊數學理論建立一套綜合評價數學模式，并借助計算機完成復雜的數學運算，從而將其轉化為一項包含多層次和多目標的綜合評價問題。呂志軍等[17]在將學術論文以論文選題、文獻綜述、工作基礎、科研水平、創新成果以及重要意義等6個部分設立為準則層，以論文的水平評價作為總目標層，進而構建評價指標集、評語集和指標權重集，得出隸屬度評判矩陣，最終獲得模糊綜合評判的結論。

3刊前定量評價方法的問題及研究展望

對于論文質量的刊前定量評價是科研管理人員工作的重點，也同樣是期刊編審工作的基礎。就期刊而言，同行評議的方法一直以來成為投稿論文質量判定的主要標準；而其定性結論所存在的固有不足也為稿件最終的取舍造成一定困難。相比而言，定量評價方法的運用可在一定程度上彌補單一同行評議方法的局限性，而稿件質量的綜合判斷提供更為充實的依據。然而，對于定量評價方法的設立，具體到各因素權重系數的確定方面，各種方法均存在一定的適用范圍以及局限性。在明確并利用現有方法前應充分結合理論實際以及編審工作的特殊性，考慮到當前評價方法的不足以及主要改進方向，借以盡可能消除評價方法使用所產生的偏倚，提高評價的準確性以及結果的真實性。一項評價管理方法的確定，其適用范圍應是重點考量的方面。論文質量很大程度上產生于其自身學術價值與應用價值的大小，但也受到該段時間內社會對其價值的認知水平與認同程度。因此，客觀的論文質量定量評價系統須對于不同學科、研究內容與目的的論文有著穩定而統一的衡量標準，即具有較好的應用延展性。由于學科性質、理論衍生周期、發散傳播渠道各有不同，在質量評價體系中應有相應的反映。以醫學科研論文為例，根據各自不同的研究領域與研究目的大致可分為基礎研究與臨床研究。不同的研究內容的學術水平難以進行標準化度量。比如罕見病的病例報道類型較之多中心的流行病調查，在樣本納入及數量方面要求有著明顯的不同。這就需要權重具有較強的功能擴展張力，針對不同研究的特征及水平有著較好的可靠性、客觀性以及獨立性[18]。由于最終以得分的方式顯示論文質量評價結果，因此在對于具體分值的含義解釋上需要進行更為科學的設計。例如對于得分相近的2篇論文，其發表價值的界定與衡量需要獲得更加系統的比較。對該問題的解決，筆者認為可通過參照統計學推斷中對于差異性判別的分析方法，在對整體數據分布情況判斷的基礎上推測分值間的差異是否由于抽樣誤差所造成；或從評價結果的角度計算類似“可信區間”的差異允許范圍，從而對于分值的含義獲得更為客觀的理解。對于權重系數的確定方法，文獻均采用了專家咨詢的方法進行。但該法對于專家的選擇范圍、方法、數量、質控有著較高的要求，也就是說一般意義上的權重確定方法難以保證其客觀性與準確性。比如對于不同專家對同一問題以及相同專家對相同問題回答的一致性判斷，需要選擇合適的一致性檢驗方法進行，如組間相關系數、組內相關系數以及Bland-Altman法[19]。而對于確定的權重系數也需形成動態的修正與調整，使各參數具有較好的獨立性。通過不斷綜合專家評價、學科發展甚至是期刊收稿以及發刊計劃等情況，調整和優化權重配置，使其穩定在客觀、合理并有利于期刊自身發展的區間范圍[20]。由于不同學科間存在著較大學術評判標準的差異，不同學科專家的知識結構、學科背景也會隨著學科領域的不同而存在固有的差別。因此在專家選取中需按照所在專業進行分層管理，將不同學科專家的意見反饋分別統計處理，但這也對專家群規模提出了更高要求。如何在滿足分層吸納的同時，保證每個領域專家數量有著一定積累，這便是保證調研基礎質量的關鍵。

對于有著較強系統性、差異性、復雜性以及不確定性的論文質量評價，單純依靠定性或定量的方法均難以解決。以特定的內在水平度量論文質量，將論文的質量體系分解為學術價值、創造性、科學性、實用性、延續性、可讀性等若干方面，針對每一方面又設計具有層次的等級區分范圍，最終通過專家評審的方式給出等級資料的具體分布形式，再結合各項目自身權重賦值，最終以得分的形式反映論文質量。該法較好地中和了單一定量或定性方法所具有的不足，在有效規避專家主觀意見的同時有具有較好的針對性、靈活性以及可操作性。同時，該體系出用于論文質量評價外，還可作為科研設計及論文撰寫過程中的“督導標準”做一參考。對稿件進行流程化的審閱評價，促使更多高質量的論文出版，最終保證期刊質量。同時，對于方法學的不斷優化可以實現系統評價方法對于更大出版物群體中的應用。