新研究評審工作評核方法是什麼？

引起香港高等教育界廣泛重視的2014年研究評審工作結果於2015年1月27日正式公布，這是大學教育資助委員會（UGC）對屬下本港八所公立大學進行的第五次研究評審工作（Research Assessment Exercise，簡稱 RAE）報告，過去的四次研究評審工作分別在1993、1996、1999及2006年進行。

 

每次研究評審結果，直接影響教資會對各院校三年一度的整體撥款（教資會的用語為整體補助金，即 Block Grant）用作研究用途的數額。大致而言，整體撥款分為兩部分（portions），一部分根據各院校的學生人數及科系性質（如醫科、工科、理科、文商或法律科等的單位成本不相同），此部分約佔整體撥款的75%，研究部分則佔25%。據教資會發布的新聞，2015-16學年對八大高校的整體撥款約為港幣170億元，由於研究部分撥款比例高達四分之一，研究評審結果必受到各高校的重視。

 

 

另一個受到重視的原因是2014年的研究評審工作採用了新的評審方法與標準，而具評審的專家以非本地的專家學者為主，以確保公平公正及符合國際學術標準。因此，2014年的新評審結果格外受到重視。可以這麼說，評審的結果是本港八大高校相對研究力量的一個新展示。

 

與過去相同，教資會在公布2014年的 RAE 結果時強調，在解讀各院校的研究表現時「要充份考慮各院校的不同角色、使命、學科重點及發展背景」，並表示「2014年研究評審工作並非要為院校訂定排名榜；不宜直接比較不同學科小組及各院校的評審結果」（見教資會2015年1月27日新聞稿）。儘管如此，如果細心研究教資會公布的詳細2014 RAE 指導細則（Guideline Notes），以此對照2014年的 RAE 結果，可以看出對各院校整體研究力量的對比內有乾坤，但在作相關院校的排序時要小心解讀，不能莽下結論說，統計結果（如星級排名的百分比數字）「不能反映實際情況」等等。

 

 

 

 

2014年的研究評審工作將所有八大院校的學科分為13個專門領域（Panels）來進行評審，13個專門評審小組分別為（1）生物學，（2）醫學及衛生科學，（3）自然科學，（4）電機及子工程，（5）電腦科學/資訊科技，（6）工程學，（7）建造環境，（8）法律，（9）商科及經濟，（10）社會科學，（11）人文學，（12）創意藝術、表演藝術及設計，以及（13）教育。評審方法是先將各專門領域細分為若干個不同的學科（亦稱為成本中心（Cost Centres）），例如生物學評審小組涵蓋以下三個學科，分別為生物科學、農學及生物科技，先個別評審三個學科有關合資格教員提交的研究項目，然後將各學科的評審成績匯總成為一個小組的 REC 得分。根據教資會的資料，2014年 RAE 的13個評審小組共涵蓋了68個學科。

 

教資會的研究評審工作由受委任的相關學科的國際知名專家或學者組成，過去幾屆的成員人數組成、所屬院校及來源地（國籍）不同，而且均以個人身份受教資會委任，不代表各委員所隸屬的院校或機構。筆者有機會受教資會的委任參與1993、1996及1999年三屆的經濟與商學評審小組的評審工作，與其他小組專家成員共同負責管理與商學學科的評審（按：1993年，筆者任中文大學管理學講座教授，並擔任商學院研究委員會主席一職，1995年後轉任嶺南大學副校長，主管全校的學術與研究行政工作），故對教資會的研究評審工作的細節有較深的認識。

 

教資會先後五次的研究評審工作，小組成員的人數逐次增加，而且海外專家成員的比例亦不斷提高。例如2006年的研究評審，13個評審小組共有208名小組專家學者，當中65名來自海外（佔31%），而2014年的評審，13個小組評審專家已增至307名，而海外專家則佔214名（70%），而且各評審小組的召集人與副召集人均由海外相關學科的資深學者擔任（見教資會發布的2006與2014年 RAE 新聞資料），其目的在彰顯評審工作的公平與公正，盡量避免過多本地專家委員的參與造成可能產生的利益衡突（事實上，學術水平有一定的國際標準，利益衝突的情況不易發生）。

 

筆者根據教資會網上公布的13個2014年研究評審工作的評審小組名單（List of Panel Members）整理出小組成員的國籍分布表（見表一）。13個小組的召集人中，11個由著名的英國大學（如牛津大學、劍橋大學、倫敦大學帝國學院、愛丁堡大學等）資深學者擔任，由澳洲大學擔任的則有二人，副召集人亦以英國學者為主（10名），另有兩名美國學者及一名澳洲學者。筆者相信，由於2014年的研究評審工作所採用的新評審方法以英國與澳洲為藍本，因此教資會聘用的外國評審委員中，亦以英國學者最多（80名），美國學者其次（59名），澳洲第三（17名）。除上述三國學者外，亦有評審委員來自加拿大、新加坡、意大利、以色列、日本、紐西蘭、奧地利、西班牙等國。來自大陸及台灣的學者分別有3人及1人（擔任中醫及人文學科的評審），而本港八大院校參與評審的資深學者則有93人（佔31%）。

 

2014年的研究評審工作的評審年期（assessment year）由2007年10月1日至2013年9月30日，前後跨度六年之長。這次的跨年期較長，主要原因估計有二：第一，由2007年起，香港高校正在準備由大學三年制轉變為四年制，有大量的改革工作需要進行；第二，教資會決定更改評審方法，由首四屆的計算各院校的研究指數（research index）改為五級評分制（第四小節詳析），須經過較冗長的討論及諮詢工作。誰是合資格受評審教員（eligible staff），過去有些爭議。在2014年的研究評審工作中，教資會對合資格教員的定義進一步收緊。較早期的 RAE，有個別院校將短期訪問學者或新聘的資深教授在就職前的研究成果提交給教資會供評審，因而造成不公平的現象。為杜絶此弊病，教資會在往後的研究評審工作中對合資格教員的定義以較嚴格的方式處理。

 

 

在2014年的研究評審工作中清楚說明，合資格教員是指在某八大院校持續工作至少36個月的全職受薪人員（包括研究員），這比過去為長，而任職時不能遲於2012年10月1日。至於受評審的教員級別則由教授至助理講師，院校的附屬單位（如持續教育或專業培訓單位）的全職教員則不受評審之列。由於各院校每年均須向教資會呈報全職教員人數的相關資料，因此教資會對相關數據充份掌握，不可能有水份存在。由於院校的合資格教員受評人數直接影響到受評學科、小組領域及全院校的得分及百分比數值，因此誰接受評審可說非常重要。

 

以往四屆的研究評審工作只評審合資格教員的研究成果（research outputs），2014年的評審則涵蓋以下三項研究成份（components），即：

（1）研究成果（佔80%）

（2）外部競逐性的研究經費（研究資助項目）

（3）聲譽項目（esteem measures）

*（2）與（3）合佔20%

 

每個院校的合資格教員在評審年期內，每人最多只能提交四項研究成果供評審。研究成果可以是期刊論文或其他學術著作，如專書等，如屬於音樂或其他創意藝術學科，研究成果可以是音樂創作或其他藝術作品，如何評核則由相關學科的評審專家裁決。2014年的研究評審工作首次允許一名教員呈上不超過兩項的雙權重研究成果（double-weighted outputs）。所謂雙權重研究成果指一項研究成果作兩項成果計算，合資格的教員須用不超過100字的文字陳述說明其提交的某項研究成果的研究範疇及份量。一般學術期刊論文不符合雙權重研究成果的定義，而單一署名的重要專書則可予以考慮。

 

至於（2）研究資助項目與（3）聲譽項目則以學科（cost centres）作為一個評審單元，由各學科提供一個整體的資料供評審專家作評定。研究資助項目一般指研資局（RGC）、UGC 或其他外部來源的競逐性研究經費。而聲譽項目則指相關學科的合資格教員擔任學術期刊的編輯工作，獲得研究為基礎的獎項等。至於（2）與（3）兩項的百分比分配（split），每個評審可自行決定，兩項的比例可為10/10，或15/5，或5/15三種不同的權重分配。

 

不同評審小組對提交的研究成果，或研究資助項目，或聲譽項目給予下列五項不同素質的評級之一：

（A）4★：表示在研究的原創性、重要性及嚴謹性方面達到世界領先水平；

（B）3★：表示達到國際卓越水平；

（C）2★：表示達到國際水平；

（D）1★：表示達到區域水平；

（E）不予評級：未達標準。

 

每名合資格教員如提交少於四項供評審的研究項目，則未呈上項目作不予評級處理。

 

由教資會在2014年研究評審工作採用的五種不同素質的研究評級以及在研究成果外增加研究資助項目及聲譽項目兩個重要元素的評分，清楚看出新的研究評審方法向三所研究型大學（港大、中大與科大）傾斜，因為三所大學的整體研究力量較其他六所院校強，發表高水平的研究著作比較多，在零基（zero-based）基礎上作研究經費部分的撥款，明顯對研究型大學較為有利，這與教資會2002年公布的《宋達能香港高等教育報告書》（Sutherland Report）建議給予研究型大學相對較大的研究撥款相脗合。