國家重點(diǎn)實(shí)驗(yàn)室評(píng)估專家的若干問題研究

　　摘 要：在分析國內(nèi)外基礎(chǔ)研究同行評(píng)議專家遴選狀況及其研究進(jìn)展的基礎(chǔ)上，提出了國家重點(diǎn)實(shí)驗(yàn)室評(píng)估專家遴選原則；建立了實(shí)驗(yàn)室評(píng)估專家評(píng)分產(chǎn)生偏差的若干效應(yīng)概念。 

　國家重點(diǎn)實(shí)驗(yàn)室是我國基礎(chǔ)科學(xué)研究自主創(chuàng)新的主要力量，實(shí)驗(yàn)室評(píng)估則是國家重點(diǎn)實(shí)驗(yàn)室宏觀管理的主要手段。2004年以來，科技部調(diào)整了實(shí)驗(yàn)室評(píng)估的政策，由過去定性與定量相結(jié)合并以定性評(píng)估為主，改變?yōu)橥耆揽繉＜疫M(jìn)行定性評(píng)估。由此可見，實(shí)驗(yàn)室評(píng)估辦法一旦確定，評(píng)估專家就是實(shí)驗(yàn)室評(píng)估工作的決定因素。深入地研究實(shí)驗(yàn)室評(píng)估專家的有關(guān)問題，避免非工作因素對(duì)評(píng)估工作的影響，從而正確發(fā)揮實(shí)驗(yàn)室評(píng)估的導(dǎo)向作用，對(duì)于不斷提高國家重點(diǎn)實(shí)驗(yàn)室整體水平具有重要的意義。 

　　 
　　1 實(shí)驗(yàn)室評(píng)估專家遴選 
　　 
　　1．1 實(shí)驗(yàn)室評(píng)估專家遴選的原則 
　　1．1．1 學(xué)術(shù)權(quán)威性 國家重點(diǎn)實(shí)驗(yàn)室是在我國自然科學(xué)領(lǐng)域和部分關(guān)系國民經(jīng)濟(jì)發(fā)展的重要領(lǐng)域選擇的學(xué)術(shù)水平最高的隊(duì)伍。評(píng)估專家選擇的首要原則是學(xué)術(shù)權(quán)威性，即評(píng)估專家在某個(gè)研究領(lǐng)域曾經(jīng)做出過或正在做比較有價(jià)值的研究工作，具有較高的學(xué)術(shù)水平和學(xué)術(shù)名望。 
　　學(xué)術(shù)權(quán)威性有三個(gè)內(nèi)涵，一是評(píng)估專家具有較廣博的專業(yè)知識(shí)，二是評(píng)估專家具有旺盛的創(chuàng)造力和較高的學(xué)術(shù)水平，三是評(píng)估專家對(duì)本領(lǐng)域的國際前沿和國內(nèi)的研究工作狀況具有足夠的了解．三個(gè)內(nèi)涵相輔相成，缺一不可，共同構(gòu)成了學(xué)術(shù)權(quán)威性的范疇。較廣博的專業(yè)知識(shí)是評(píng)估專家具有學(xué)術(shù)權(quán)威性的基礎(chǔ)，旺盛的創(chuàng)造力和較高學(xué)術(shù)水平是評(píng)估專家具有學(xué)術(shù)權(quán)威性的關(guān)鍵，對(duì)國際前沿和國內(nèi)相關(guān)研究工作狀態(tài)的了解是評(píng)估專家發(fā)揮學(xué)術(shù)權(quán)威性的前提。 
　　1．1．2 來源廣泛性 評(píng)估專家都有自己的工作單位和所屬部門，因此一般或多或少地都帶有一些部門色彩，個(gè)別評(píng)估專家的部門傾向還相當(dāng)嚴(yán)重。為了消除這些因素可能給評(píng)估造成的影響，評(píng)估專家應(yīng)該具有比較廣泛的來源，注意部門之間專家數(shù)量的平衡。不至于由于評(píng)估專家來源的偏頗使得實(shí)驗(yàn)室評(píng)估結(jié)果出現(xiàn)偏差。 
　　根據(jù)實(shí)驗(yàn)室工作的性質(zhì)和特色，還應(yīng)該邀請(qǐng)一些非參評(píng)實(shí)驗(yàn)室所屬部門尤其是一些大型企業(yè)研究院所的專家參與實(shí)驗(yàn)室評(píng)估工作。一是充分體現(xiàn)代表的廣泛性，二是能夠讓科研與生產(chǎn)相結(jié)合的企業(yè)的專家來評(píng)價(jià)實(shí)驗(yàn)室的應(yīng)用研究成果。 
　　實(shí)驗(yàn)室評(píng)估應(yīng)該有一定數(shù)量的管理專家參加。管理專家應(yīng)該懂得管理科學(xué)理論與方法，具有較豐富的管理實(shí)踐經(jīng)驗(yàn)，特別是科學(xué)研究管理和組織行為學(xué)方面的專家。管理專家不能夠充分發(fā)揮作用，會(huì)使得在實(shí)驗(yàn)室評(píng)估中擔(dān)當(dāng)比較重要角色的管理專家變得無足輕重，使得管理專家的角色出現(xiàn)不到位甚至于缺位。 
　　 
　　1．1．3 結(jié)構(gòu)合理性 評(píng)估專家應(yīng)該具有合理的年齡結(jié)構(gòu)、知識(shí)結(jié)構(gòu)和學(xué)緣結(jié)構(gòu)。 
　　年齡結(jié)構(gòu)合理，即老、中、青專家相結(jié)合，評(píng)估專家中既有德高望重的學(xué)術(shù)權(quán)威，又有年富力強(qiáng)的中年學(xué)術(shù)帶頭人，也有頗具銳氣學(xué)有所成的青年學(xué)術(shù)骨干。學(xué)術(shù)權(quán)威具有較高的學(xué)術(shù)威望、廣博的知識(shí)面和對(duì)國內(nèi)外同行研究狀態(tài)的了解，是評(píng)估專家中的核心力量，在實(shí)驗(yàn)室評(píng)估中不可或缺；年富力強(qiáng)的中年評(píng)估專家學(xué)術(shù)水平較高，與實(shí)驗(yàn)室同行有更多的合作與交流，因而更加熟悉實(shí)驗(yàn)室的真實(shí)情況和研究工作的水平，是評(píng)估專家中的骨干力量；青年學(xué)術(shù)骨干則具有初生牛犢不怕虎的闖勁，敢于發(fā)表比較尖銳的意見。老中青相結(jié)合，互相補(bǔ)充，互相激勵(lì)，可以發(fā)揮不同年齡層次的優(yōu)點(diǎn)，構(gòu)成評(píng)估專家合理的年齡結(jié)構(gòu)，是評(píng)估專家正確的年齡取向。 
　　合理的知識(shí)結(jié)構(gòu)是專家結(jié)構(gòu)合理性的重要組成部分。實(shí)驗(yàn)室一般具有3－4個(gè)或更多的研究方向，有的實(shí)驗(yàn)室研究方向?qū)儆诮徊鎸W(xué)科，有的研究方向較窄甚至基于三級(jí)學(xué)科?，F(xiàn)場(chǎng)評(píng)估一個(gè)小組有6－9個(gè)實(shí)驗(yàn)室，評(píng)估專家只有10位，所以現(xiàn)場(chǎng)評(píng)估對(duì)評(píng)估專家知識(shí)結(jié)構(gòu)的要求相當(dāng)高，不僅要有本專業(yè)深厚的理論基礎(chǔ)和較高的學(xué)術(shù)造詣，而且要了解相鄰學(xué)科的知識(shí)內(nèi)容。 
　　合理的學(xué)緣結(jié)構(gòu)，如一個(gè)小組的評(píng)估專家盡可能畢業(yè)于不同的學(xué)校，可避免由于評(píng)估專家對(duì)母校的某種情節(jié)而可能使評(píng)估結(jié)果出現(xiàn)不應(yīng)出現(xiàn)的偏差。 
　　1．1．4評(píng)估公正性 要求評(píng)估專家站在國家利益的高度，嚴(yán)格遵守科學(xué)研究同行評(píng)議行為規(guī)范，按照客觀公正的原則，公平、公正地對(duì)待任何―個(gè)實(shí)驗(yàn)室，不因?yàn)槿魏卧蚱蝗魏唯D個(gè)實(shí)驗(yàn)室。 
　　遴選實(shí)驗(yàn)室評(píng)估專家的上述原則可以在源頭上控制或減少不公正因素的出現(xiàn)或形成。評(píng)估專家來源的廣泛性，意味著專家具有廣泛的代表性，可以維持部門或單位利益上的均衡；年齡結(jié)構(gòu)的合理性，可以在一定程度上減少單一年齡結(jié)構(gòu)固有的不足；合理的知識(shí)結(jié)構(gòu)則可以避免在評(píng)估中出現(xiàn)對(duì)實(shí)驗(yàn)室研究工作認(rèn)識(shí)上的偏差。 
　　 
　　1．2 實(shí)驗(yàn)室評(píng)估專家數(shù)量的確定 
　　一般地，評(píng)估專家的數(shù)量越多，專家個(gè)體對(duì)評(píng)估結(jié)果的影響越小，評(píng)估結(jié)果的可靠性越高。但是，評(píng)估專家越多，所付出的成本也越大。因此，在保證實(shí)驗(yàn)室評(píng)估結(jié)果可靠性的基礎(chǔ)上，盡可能地減少評(píng)估專家的數(shù)量，是確定實(shí)驗(yàn)室評(píng)估專家數(shù)量的主要任務(wù)。可以應(yīng)用數(shù)理統(tǒng)計(jì)理論確定容量的方法確定專家的數(shù)量。 
　　即專家數(shù)量n與置信區(qū)間長度的平方成反比，要有較短的置信區(qū)間長度，就必須增大n的數(shù)量．通?？梢圆捎迷嚥罘ù_定n的大小，即評(píng)估專家的數(shù)量。 
　　 
　　2 影響實(shí)驗(yàn)室評(píng)估專家評(píng)分的若干效應(yīng)分析 
　　 
　　根據(jù)對(duì)國家重點(diǎn)實(shí)驗(yàn)室評(píng)估數(shù)據(jù)的分析，由于評(píng)估專家的學(xué)術(shù)背景、科研經(jīng)歷、心理特征、思維模式、標(biāo)準(zhǔn)把握等等都有可能存在差異，因此不同的評(píng)估專家對(duì)于同一客觀事實(shí)的認(rèn)識(shí)和判斷就有可能不同，評(píng)估結(jié)果就不能夠準(zhǔn)確地反映實(shí)驗(yàn)室客觀情況。為了分析評(píng)估專家在評(píng)估過程中可能形成偏差的原因，建立以下有可能產(chǎn)生偏差的若干效應(yīng)概念。 
　　 
　　2．1 慣性思維效應(yīng) 
　　由于同行專家往往與實(shí)驗(yàn)室有了較長時(shí)間的交往，這些專家對(duì)實(shí)驗(yàn)室價(jià)值的判斷已經(jīng)形成了固有的認(rèn)識(shí)，因此在對(duì)實(shí)驗(yàn)室進(jìn)行評(píng)估時(shí)，有的專家并不是根據(jù)實(shí)驗(yàn)室在一個(gè)評(píng)估周期內(nèi)提供的新的判斷依據(jù)敏銳地進(jìn)行分析和判斷，而是“先人為主”，好的實(shí)驗(yàn)室總是好的，差的實(shí)驗(yàn)室總是差的，這種現(xiàn)象稱作慣性思維效應(yīng)。慣性思維效應(yīng)產(chǎn)生的原因可能是由于某些人受事物第一印象的左右，不肯接受新信息而造成的，由此在實(shí)驗(yàn)室評(píng)估時(shí)產(chǎn)生明顯的偏差。 
　　 
　　2．2 個(gè)人偏好效應(yīng) 
　　個(gè)別評(píng)估專家在對(duì)實(shí)驗(yàn)室進(jìn)行評(píng)估時(shí)，往往不以評(píng)估指標(biāo)體系等標(biāo)準(zhǔn)而是根據(jù)個(gè)人偏好的“標(biāo)準(zhǔn)”進(jìn)行判斷，這種現(xiàn)象稱作個(gè)人偏好效應(yīng)。如有的專家偏好論文及相關(guān)學(xué)術(shù)刊物的影響因子，只要在較高影響因子的刊物上發(fā)表論文就認(rèn)定該實(shí)驗(yàn)室是一個(gè)好的實(shí)驗(yàn)室；個(gè)別專家甚至要求實(shí)驗(yàn)室計(jì)算發(fā)表論文雜志的影響因子總和、人均影響因子等指標(biāo)。偏離甚至廢棄實(shí)驗(yàn)室評(píng)估指標(biāo)體系，以專家個(gè)人偏好“標(biāo)準(zhǔn)”進(jìn)行評(píng)估，容易以偏概全，產(chǎn)生認(rèn)識(shí)和判斷上的失誤。 
　　 
　　2．3 同行偏好效應(yīng) 
　　評(píng)估專家對(duì)相同學(xué)科領(lǐng)域的實(shí)驗(yàn)室表現(xiàn)出一定程度的偏愛，由同行偏好所產(chǎn)生的效應(yīng)稱為 同行偏好效應(yīng)。產(chǎn)生的原因可能是對(duì)相同研究領(lǐng)域的實(shí)驗(yàn)室比較熟悉或由于熟悉而產(chǎn)生對(duì)小同行的好感；另外的原因可能是學(xué)科保護(hù)主義，即個(gè)別專家可能認(rèn)為自己擔(dān)負(fù)著為同行說好話從而使這些實(shí)驗(yàn)室不至于吃虧的責(zé)任，在評(píng)估時(shí)對(duì)同行的實(shí)驗(yàn)室表現(xiàn)出一種偏袒的色彩，打分明顯高于其他專家的評(píng)分值。同行偏好屬于普遍性偏好，即一般意義上，評(píng)估專家都存在一定程度的同行偏好。 
　　 
　　2．4 學(xué)術(shù)權(quán)威效應(yīng) 
　　在長期的科學(xué)研究工作中，一些曾經(jīng)做出過重要貢獻(xiàn)的科學(xué)家在我國科學(xué)研究專家隊(duì)伍中脫穎而出，逐漸成為各個(gè)學(xué)科的學(xué)術(shù)權(quán)威。他們不僅在科學(xué)研究工作方面作出過杰出的貢獻(xiàn)，有的還具有較強(qiáng)的組織管理能力，對(duì)我國某個(gè)領(lǐng)域的科學(xué)研究工作的發(fā)展作出過重大貢獻(xiàn)。但個(gè)別學(xué)術(shù)權(quán)威逐漸成為某個(gè)研究領(lǐng)域的“學(xué)霸”，在對(duì)實(shí)驗(yàn)室進(jìn)行評(píng)估時(shí)往往是“一言堂”。由于種種原因，別的專家在發(fā)言時(shí)也大多附和，不敢或不愿提出不同的意見。由此，專家集體對(duì)實(shí)驗(yàn)室的評(píng)估有可能變?yōu)閷W(xué)術(shù)權(quán)威個(gè)體對(duì)實(shí)驗(yàn)室的評(píng)估，專家組的集體作用未能得到正常和有效的發(fā)揮。當(dāng)學(xué)術(shù)權(quán)威的評(píng)價(jià)意見與客觀事實(shí)相左時(shí)，實(shí)驗(yàn)室評(píng)估結(jié)果就有可能出現(xiàn)較大的偏差。 
　　分析學(xué)術(shù)權(quán)威效應(yīng)所以能夠產(chǎn)生不恰當(dāng)?shù)淖饔茫皇怯械膶＜颐つ棵孕艡?quán)威，雖然同為評(píng)估專家，但是專家在學(xué)術(shù)界處于不同的層次，處于下層的青年學(xué)者有可能迷信處于上層的專家，所以不能夠發(fā)表不同的意見；二是有的專家雖然有不同意見，但由于種種顧慮而不敢發(fā)表。上述情形與學(xué)術(shù)權(quán)威霸道的行為相輔相成，形成一種惡性循環(huán)，在實(shí)驗(yàn)室評(píng)估中是極為有害的。 
　　 
　　2．5 同情心理效應(yīng) 
　　由于個(gè)別學(xué)科領(lǐng)域參評(píng)實(shí)驗(yàn)室較多，專家的評(píng)分值就有可能擠在一個(gè)較小的區(qū)域內(nèi)，如有時(shí)專家評(píng)分的平均值在1分之間能夠排列5至6個(gè)實(shí)驗(yàn)室之多，而這很難確定實(shí)驗(yàn)室之間的差異，從而容易產(chǎn)生較大的偏差。產(chǎn)生這種偏差的原因是由于有關(guān)部門實(shí)行排序在后的若干實(shí)驗(yàn)室要被淘汰這一政策后，有的專家“心慈手軟”不忍心給較差的實(shí)驗(yàn)室打低分。同情心理效應(yīng)有可能造成實(shí)驗(yàn)室排序特別是末尾部分實(shí)驗(yàn)室排序混亂的情況，有可能使得確實(shí)較差的實(shí)驗(yàn)室死里逃生，而不至于被淘汰的實(shí)驗(yàn)室卻遭遇厄運(yùn)，嚴(yán)重影響實(shí)驗(yàn)室評(píng)估的客觀性和公正性。 
　　 
　　2．6 非共識(shí)效應(yīng) 
　　專家在評(píng)估實(shí)驗(yàn)室時(shí)，對(duì)某實(shí)驗(yàn)室的判斷和其他專家的整體判斷出現(xiàn)不一致的現(xiàn)象。非共識(shí)效應(yīng)的產(chǎn)生可能是以下幾個(gè)方面的原因造成的。 
　　2．6．1 專家對(duì)個(gè)別實(shí)驗(yàn)室不熟悉 雖然實(shí)驗(yàn)室評(píng)估專家的研究工作屬于大的學(xué)科范圍，但是由于一些實(shí)驗(yàn)室研究方向過于狹窄或過于寬泛等原因，評(píng)估專家可能對(duì)某實(shí)驗(yàn)室的某些研究工作并不熟悉，對(duì)實(shí)驗(yàn)室進(jìn)行評(píng)估時(shí)，判斷發(fā)生失誤，形成了非共識(shí)偏差。 
　　2．6．2 和實(shí)驗(yàn)室關(guān)系的好惡 由于國內(nèi)同行專家尤其是小同行專家的數(shù)量較少而難免在研究工作的各個(gè)方面的接觸中產(chǎn)生友誼或發(fā)生矛盾，這些可能使得專家們形成了各種錯(cuò)綜復(fù)雜的關(guān)系。在實(shí)驗(yàn)室評(píng)估時(shí)，個(gè)別專家有可能不恰當(dāng)?shù)負(fù)诫s了一些個(gè)人感情色彩方面的因素，評(píng)分時(shí)表現(xiàn)出了異乎尋常的偏好或偏見，由此產(chǎn)生了對(duì)實(shí)驗(yàn)室判斷的嚴(yán)重偏差。 
　　2．6．3 “真理在少數(shù)人手中”由于基礎(chǔ)研究工作的不確定性和風(fēng)險(xiǎn)性，可能大多數(shù)專家的判斷有誤，而個(gè)別專家卻清醒地看到實(shí)驗(yàn)室所具備的未來發(fā)展?jié)摿驑O有可能出現(xiàn)的重大創(chuàng)新性成果使實(shí)驗(yàn)室能夠達(dá)到某種良好的態(tài)勢(shì)，由此產(chǎn)生了與大多數(shù)專家相偏離的判斷。一般地，此類狀況需要通過長期跟蹤來檢驗(yàn)。 
　　非共識(shí)偏好屬于非普遍性偏好，只在少數(shù)專家評(píng)分時(shí)出現(xiàn)。分析近幾年實(shí)驗(yàn)室評(píng)估的數(shù)據(jù)，對(duì)優(yōu)秀實(shí)驗(yàn)室的評(píng)估，由于事關(guān)重大，評(píng)估專家尚能謹(jǐn)慎從事，評(píng)分值起伏不大，非共識(shí)偏好對(duì)評(píng)估結(jié)果的影響較小。除此之外，非共識(shí)偏好對(duì)實(shí)驗(yàn)室評(píng)估結(jié)果存在影響，有的影響還相當(dāng)大。