從考評專業看歷史試題──不公平試題,無奈必須取消

有人仍不斷要求保留試題,請問用一道有問題的題目,採用一個不公平的評分標準,也不知道對誰有利有弊下,強要為所有考生評分,這算是專業嗎?

取消試題外,考評局還有其他可行的選擇嗎?

先改卷,做分析,再看看應否取消試卷不是更好嗎?

過往考試局一些試題,例如多項選擇題(multiple choice)內的某項選擇,誤導高能力的學生錯選,我們有了學生的答案,改卷後再做分析,找出問題,再取消該題,這是素質保證的一環。世界各大型考試機構,比香港所進行的各類檢查更多,取消了也不一定告訴學生。

又例如,在數學題考一些有關足球的問題,很易對女生不公平,因為較多女生不熟悉該種運動。當我們擔心這問題引起不公平時,我們在改卷後,用特殊統計方法,看看該題目是否引起性別不公平,這也是大型考試機構常做的工作。同樣方法難道不能在今次應用嗎?

在上述多項選擇題及數學題,我們已經有一個大家認同的評分標準。顯而易見,這次歷史科的「利弊試題」上,根本沒有大家可以公認的評分標準,不然也不會引起爭論了,那麼又怎樣去先改卷,再作分析呢?

一些人士也認為,就算題目有上述問題,「出得不好」,也不用取消題目。這是不熟悉國際考評工作的想法。首先,明顯的錯誤應該在審題時,早已被移除;要是上述問題真的不幸出現了,這就等於某試題漏印一些資料,學生用極多時間仍無法解答;或者我們可以判斷,某題的得分,受學生背景的影響。為了考試公平、文憑試的國際地位,無奈取消題目是唯一的選擇。

我們大家先看看評分標準,討論後再看看是否應該取消,不是更好嗎?

對很多考生來說,評分標準尚未公布時,他們只可以猜想評分是對自己有利還是有害,再去力爭。一旦公報評分標準,這些學生可能只看評分是否對自己有利,而去爭取是否取消這題。令討論更多一層複雜性。

當試題變成報章上的爭論時,考生看到各人對正確答案的爭論,無所適從甚為擔心,說明難以得到一個大家認同的公平評分標準,專業上取消這題的決定,也應該早點讓學生知道,以釋考生焦慮。

一些人也聲稱他在這8分題答得特別好,有考試局前員工描述為「答對了也不計分」,取消題目對他不公平。其實評分標準未定下來之前,誰都說不準保留題目對他利多於弊。對一道錯誤無需要地涉及宗教的考題,一些信教人士認為他們答得完美,一些無宗教人士也相信他們答得更全面能取滿分。大家都狹隘地認為自己的答案才正確,故以為取消題目對他們不利。考生聲稱答得特別好是憶度而非事實的陳述。評分標準公布下來後,說不定他又伸冤說是受害者呢。今次這道歷史題,其實任何一個初步「評分標準」公布後,在爭論不休下,最終不可能有一個大家都同意且公平的標準。

就算資料有偏頗,題目不是已經寫明:「就你所知,解釋答案」嗎?

題目上已經寫明:「並就你所知,解釋你的答案」,學生可以隨便增加他們的正反理據,那麼有什麼問題?

這不是一個只給了標題的作文題目,試題既然提供了資料,學生心裏只會想着,考評局不會無緣無故給出一些不相關的資料,表面看來這些資料不像弊端(這是試題曝光後,最初數天公眾討論的主流意見),所以很多考生,自然不理會個人是否認為「無利可言」,也被誤導依循出卷員的思路,去回答問題。考評局分析顯示有四成學生覺得「利多於弊」,考評局委員會覺得考生在過程中可能被引導了,是一合理的結論。

對於這些論述題,通常考評局及老師的指引是:「問題的設計是基於真實議題探究的需要。」「課程、學習、乃至考試,都是建基於真實議題的探究,是現實生活的體驗。」「部分學生只應用資料的一部分,又或單獨地應用某項資料,因此未能整全地支持題目所示的看法。」「若題目包括兩則資料,而且均指向提問的議題,學生宜綜合地運用, 若只採用一則資料,不單未能完全符合題目要求。」「例如題目要求學生用資料去支持或反對某一看法,便表示資料內有些內容是可明確支持或反對有關說法的證明。」「學生只解釋其中一方面,或對其中一方面詳加解釋,另一方面卻只有寥寥數字,未能均衡作答。」「以回答『你是否同意』或『你在什麼程度上同意』這些問題為例,學生須從正、反論述。」(《明報》,2013.1.31; 2013.2.28; 2018.02.08等)

從上述的指引,學生深信沒有爭論的試題不會在公開試中出現,學生自然按指引認為正反雙方各有理由。所以題目也強迫並誤導學生必須也從利的角度去看問題,以為這是一個真實的、很多人都會爭辯公有公理、婆有婆理的利弊問題。根據上述回答論述題的指引,一個心裏認為這是一個無利可言偽命題的考生,在時間有限的情況下,他敢挑戰考評局擬題員的思路嗎?在專業角度來看,對一個被試題誤導的答案,強加評分,只會引致評分不公平性。

有爭議的試題不是我們每天都希望用的試題類別嗎?

試題設置富爭議性的話題是一個層面,試題本身引起公眾爭議是另外一種層面。一個題目的發問方法及內容(如,槍支管制、墮胎、性取向、避孕)引起公眾爭議,已經說明題目的回答,已超乎考核某一學科的能力,評分的公平性可能受考生背景因素所影響。既然題目已出現評分公平性問題,取消計分也是無奈的選擇。

取消8分試題,考生不是跌了一個等級嗎?

一些學生擔心取消了這8分題目,會令自己成績跌了一級。其實,在現行的等級劃分上,取消這題目後,所有學生均給予(i) 8分滿分、(ii) 0分,或(iii) 按學生在其餘52分題目的表現,給予0至8分的補償分數。不論用三種方法那一種或不取消題目,全港歷史科各種等級的分布,完全相同。此外,這三種方法對個別學生所獲取的等級,亦絲毫沒有差別,這是文憑試選考科目使用組別能力指數(GAI)定級方法所保證的,學生無需擔憂。

有人仍不斷要求保留試題,請問用一道有問題的題目,採用一個不公平的評分標準,也不知道對誰有利有弊下,強要為所有考生評分,這算是專業嗎?

從考評專業看歷史試題二之二

本系列文章:

從考評專業看歷史試題──國際考試機構設「禁區」以保證公平性

侯傑泰