這種和電腦程式對話的新文化現象也有黑暗的一面，畢竟說到底，它只不過是一個強大的預測引擎。其中一個問題是，它會編造句子，導致重大的錯誤和謊言。儘管具有編造錯誤事實的傾向，但背後卻沒有任何的意圖，純粹因為大型語言模型就是以這樣的方式運作。
施瓦茨（Steven Schwartz）在2023年夏天發現這一點，驚愕不已。施瓦茨在紐約市擔任人身傷害和勞工賠償律師長達30年，6月時意外得知自己因為欺騙法庭，將面臨制裁。
起因是他的客戶搭乘航班時受了傷，想向航空公司索賠。施瓦茨為客戶研究案例摘要時，一直尋找過去的案例，用來支持他的論點。由於在公司慣用的搜尋資料庫Fastcase裏一直找不到需要的案例，因此他對準備中的備忘錄有了一個想法。
不應使用ChatGPT檢索事實性事件
施瓦茨的聽證會在6月8日舉行，有位在場的部落客分享了聽證會的摘錄，讓我們知道施瓦茨如何理解這種已經有數百萬人使用的新型態AI：
卡斯特法官（Judge Castel）：3月1日的備忘錄是你準備的嗎？
施瓦茨：是的。我使用了Fastcase。但它沒有我想找的聯邦案例。我也試過谷歌搜尋。我聽過ChatGPT……
卡斯特法官：好──它為你提供了什麼？
施瓦茨：我問了它一些問題。
ChatGPT遵照設計時的初衷，提供施瓦茨需要的答案，6個案例都確切支持了他認為本案應該繼續進行的論點。
卡斯特法官：你有沒有詢問ChatGPT法律是什麼，還是只要求它提供支持你的案例？它為你寫了案例。你引用案例前沒有先讀過嗎？
施瓦茨：沒有。
卡斯特法官：為什麼你一反常態？
施瓦茨：我以為ChatGPT是搜尋引擎。
ChatGPT提供的案例有：馬丁尼斯訴達美航空（Martinez v. Delta Air Lines）、齊徹曼訴大韓航空（Zicherman v. Korean Air Lines）和瓦格塞訴中國南方航空公司（Varghese v. China Southern Airlines）。這些案例用谷歌搜尋都找不到，但施瓦茨卻覺得自己找到大秘寶，開心的把它們放進案例摘要。
當法官詢問施瓦茨在引用ChatGPT吐出的案例前為什麼沒有先查一下，他說：我不知道ChatGPT會編造案例。我在錯誤的認知下進行操作……我以為這些是谷歌上找不到的案例。」
這時，施瓦茨的律師發言，他說這些案例雖然不是真的，但看起來很真實。ChatGPT對於輸出內容的真實性並沒有清楚的免責聲明。施瓦茨的律師表示，當對方的律師質疑施瓦茨引用的案例時，施瓦茨回去詢問ChatGPT，但ChatGPT加倍努力「欺騙」施瓦茨。
施瓦茨以顫抖的聲音告訴法官，他「感到尷尬、屈辱，而且非常悔恨」。
ChatGPT和其他的對話式AI聊天機器人都有免責聲明，警告用戶注意幻覺問題，強調大型語言模型有時候會捏造事實。例如ChatGPT在網頁上就有警語：「ChatGPT可能會產生有關人物、地點或事實的不準確資訊。」
卡斯特法官：你們還有什麼要補充的嗎？
施瓦茨的律師：有。大眾需要更強烈的警語。
原文摘錄自《AI底層真相：如何避免數位滲透的陰影》，本社獲天下文化授權轉載。
新書簡介：
書名：《AI底層真相：如何避免數位滲透的陰影》
作者：穆吉亞（Madhumita Murgia）
譯者：江坤山
出版日期：2024年10月
作者介紹：
穆吉亞，《金融時報》AI領域編輯，負責AI和其他新興技術的報導。因走訪世界各地，為《連線》、《華盛頓郵報》、《新聞週刊》和《每日電訊報》等媒體撰寫有關尖端技術人物、新創公司和企業，以及科學和科技對社會影響的文章，屢獲殊榮。經常出現在廣播電台和電視節目，包括BBC的旗艦節目《今日》和Sky News新聞頻道。曾於TED講述個人數據遭盜用的經歷，吸引近4000萬人觀看。
