資訊科技的發展，微處理器、個人電腦、互聯網和萬維網的出現，改變了社會和人類的生活。建基於深度神經網絡的機器學習的應用，將與上述的早期創新發明，對人類生活有着同樣的重要性，甚至具有更深遠、更具顛覆性的社會影響。
不久前，在香港大學陸佑堂舉行的首屆香港大學校長論壇上，電腦系統結構領域的先驅、美國電腦協會（ACM）2017年度圖靈獎得主、史丹福大學前校長John Hennessy教授，就「深度學習革命」進行主題演講，對建基於深度神經網絡的機器學習，以及深度學習對社會的影響發表專家見解。
John Hennessy教授指出，對今天談論科技的電腦科學家來說，人工智能是一件大事。 「我們說人工智能，指的實際是機器學習，以及一種基於深度學習的機器學習形式。為了解釋這項技術，我將為大家上一節很簡短的課，它會讓大家了解這項技術帶來的一些真正挑戰、缺點和潛在的社會問題。」他說。
Hennessy教授表示，深度學習的主意，建基於人類大腦如何工作的粗略模型。「我們構建了所謂的人工神經元，其運作方式與我們大腦的神經元不同，遠沒有那樣複雜。它們主要擁有大部分的連接能力，但是這些人工神經元是分層結構的，所以叫深度學習，因為在輸入和輸出之間可以有很多層神經元。 輸入可能是你想要表述特徵的東西，例如，你想要表達的一組圖像是狗、貓、魚或是大象，以及一組輸出——狗、貓、魚、大象。這些神經元網絡使用一組權重組合數據，將數據相加，並得出結果。 那麼它們是如何工作的呢？ 大多數東西都使用了所謂的監督學習。在監督學習中，我們有一個數據訓練集，一組我們想要學習的東西。監督學習背後的想法，是採用我們輸入的內容，我們擁有的訓練集，訓練這些神經元網絡，以便令該訓練集得到正確的答案。所以你必須擁有 『真相』（ground truth），這非常重要，『真相』必須存在。 這個訓練過程一直持續下去，最終我們得出了一組加權的訓練數據，這對得到正確答案很重要。 我們放了一張貓的照片，上面寫着貓，不是狗，而是寫着貓」。
所以這個訓練過程使用了一種叫做反向傳播的技術。「 我們所做的是獲取所需的輸出，我們試圖找出來，然後將數據移回原處，如何設置權重是關鍵。這是一張小圖，只有10個或20個，這裡可能有100個加權數據，200個加權數據。但是這些大規模的神經元網絡有十億、幾十億的加權數據，而且有很多很多層次，20至30層。因此，就我們所說的規模而言，它們非常大。 因此，我們執行確定權重的過程。 然後一旦我們完成了，我們就使用這個神經元網絡來演算數據。因此，例如，也許我們想對電子郵件進行分類，是垃圾郵件，還是促銷郵件，還是釣魚郵件，所以最好小心，它是垃圾郵件還是真正重要的東西。假設這是來自朱棣文教授的電子郵件，我想讀一讀，這是馬斯克（Elon Musk） 發來的郵件，也許我也想讀一讀。所以我們花時間建立了這個模型，它可以為我們分類數據，然後譠我們演算，這樣演算快很多，因為已經設置了權重。所以我們要去做的就是做乘數。所以，這基本上是一個巨大的經典矩陣運算法問題罷了」。
人工智能成為專業人員的輔助工具是未來趨勢
他續說，「這就是機器學習技術的工作原理，雖煞有很多問題未解決。深度神經元網絡僅與訓練集一樣好。任何偏見、任何錯誤、訓練集中存在任何不好的東西，都會被融入神經元網絡，包括令人不快的評論、你不想重複的東西、存在的不正確的東西，都被融入網絡。這裏沒有真理的概念，這不是說真話的機器，它不知道真相，它知道從某種意義上來說，能從訓練它的數據學到一些什麼。這裏有一個挑戰，你想充分訓練它，但它能夠是通才；你希望它能夠對從未見過的事物作出推斷。 當然，你可以向它展示世界上每隻貓、狗、魚、大象的每一張圖片，你可以建立一個神經元網絡來記住所有這些圖片的特徵，但那不是你真正想做的。 你想在較小的範圍訓練它，然後用它來做與眾不同的事情」。
Hennessy說：「然後是它們不太擅長解釋事實。如果你問它為什麼是貓，它不會說貓有尖尖的耳朵、毛茸茸、捲曲着尾巴。它會說，因為在統計上它看起來像你告訴我叫貓的東西， 所以這是一個真正的問題。想想醫學診斷，假設你用這樣的機器學習系統做醫學診斷，它告訴你，你有一些可怕的疾病。你不只是想知道你是否患有可怕的疾病，因為你的特徵看起來像其他患有可怕疾病的人。 你希望對於正在發生的事情有更科學的解釋。這就是為什麼在許多情況下，尤其是在生命攸關和以人為本的情況下，這些人工智能工具不會完全取代專業人員，它們將被專業人員用作工具」。
「然而，令人驚訝的是這一領域有多個突破，我們能夠做一些事情。 作為一名電腦科學家，我擁有 45 年的資歷，我見證了微處理器、個人電腦、互聯網、萬維網、流動裝置的誕生，人工智能比之前任何一項都發展得更大、更快，事情已經發生了變化。 造成這個變化的原因僅僅是對該領域的令人難以置信的搜索。 但我們已經解決了我們從未想過可以解決的問題。 圖像識別，足以接近自動駕駛汽車。 我們會到達那裏，我們很快就會到達那裏。 AlphaFold，一種深度思維的程式，可以進行蛋白質折疊，並可能通過近二十年的研究加速蛋白質折疊。在進行詳細圖像分析時進行圖像識別。 因此，查看皮膚損傷並確定它是否是癌症，查看射線照片並確定該特定患者是否有問題。這些是電腦能真正做得好的事情，因為電腦會花大量時間查看細節，而人們不一定喜歡這樣做。同步翻譯的發展簡直令人震驚。 我認為將來電腦翻譯很難不取代所有進行翻譯工作的人。」
演算法的突破成就ChatGPT
為什麼人工智能會突然迅速地流行起來？Hennessy教授認為，人工智能長期以來一直未能實現其一些最有野心的目標，但在過去十年，它實現了其最具雄心的目標。事情的發生有幾個原因：首先是演算法的突破，包括反向傳播技術及其他一些技術、深度學習和強化學習等學習模式，導致最近出現了大型語言基礎模型，如ChatGPT 及其他相關的、我們稱之為基礎或大型語言模型的東西。然而，另外兩個因素絕對是至關重要的──人工智能需要訓練的海量數據，真正海量的數據。萬維網、維基百科，所有這些數據都可用於訓練，以及大量用於訓練的電腦資源。「因為ChatGPT這些大模型有幾千億個作為權重的參數，所以你想想這個網絡有多大」。 這意味著要創建專門用於訓練的電腦，而在世界上最快的電腦上訓練一個新模型需要幾個月時間。
Hennessy教授續說，一旦訓練了基礎模型，就可以應用微調的技術，它不需要重新訓練整個模型，這絕對是關鍵，因為科學家希望能夠做的事情之一，就是將世界上發生的新事物，更新到模型中。 「我該怎麼辦？ 就是應用微調來添加額外的數據，但毋須重新訓練基礎模型，這很重要」。
他說，嘗試過 ChatGPT或者 Bard的人，都會對這些系統的工作效率感到驚訝。它們將理解自然語言與知識庫結合在一起：它們接受了大量數據的訓練，ChatGPT 基於 GPT3，它接受了 45 TB的文本訓練，大約是 20000 套維基百科，所以這是一個巨大的信息量。 當然，即使是最優秀的人在十次生命中也無法消化，所以這是一個驚人的信息量。 它們使用一種稱為 transformers 的技術，transformers 背後的想法，是預測下一件事、下一個短語、下一個語句，這是這種方法的基礎。
他又說，生成式模型正在爆炸性增長，但沒有真相檢測，你必須以其他方法進行「毒性預防」；你必須消除偏見。 它通常是這樣完成的：一旦訓練了這個模型，你就得使用所謂的強化學習，你基本上是人手訓練它。 「你讓某人做一些不以那種方式回答的事情，然後你告訴模型不要給出那個答案，而改變了回答方式的模型，基本上是用這個微調的做法讓模型恢復原狀的」。
人工智能驚人的學習能力
Hennessy教授說，還有其他有趣的問題，例如版權問題。如果這個模型是由大量數據訓練的，其中一些數據是版權所有的，那麼這個模型，如果它是一個生成模型，將以某種方式使用這些信息，那麼版權還有什麼意義呢？它實際上是複制了內容，還是只是改寫了短語，如果您以直接的方式改寫，在世界某些國家/地區是侵犯版權的。另外，這些生成模型也可用於生成圖像和視頻，人們會看到很多生成圖像模型。「我希望將來 PowerPoint 演示不會由人們寫下要點並查找圖像來製作，這一切都將在未來以某種自動方式發生。生成視頻將是一個巨大的突破，因為無論是遊戲、電影還是其他任何東西，製作視頻的成本都非常高。利用生成模型，可以在效率方面取得巨大突破。
那麼，Hennessy教授是怎樣想的呢？ 他認為，人工智能取得了巨大的進步。這些大型語言模型使人們相信，人工智能將夠幫助人們完成各種文本。對於大多數非專家的人來說，這些模型已經足夠好，這是一個了不起的成就。 但在許多方面，它們的學習能力仍然不如人類。與這些機器的學習方式相比，人類擁有一些在某方面仍然非常有效而且特別節能的學習方式。大腦的耗能大約是 20 至30 瓦特，而數據中心耗用的能量約是大腦的一千倍。人工系統確實具有優勢，它們可以驚人的速度學習，因為只是使用運算能力來學習。因此，如果從下棋的深度思維看，Alpha Zero只學習下棋的規則，沒有任何策略。Alpha Zero與自己進行了 1900 萬場比賽，遠遠超過任何大師一生中參加過的比賽，然後它成為世界上最好的國際象棋棋手，而這只需要 24 小時。 因此，就如何使用這項技術而言，這裏存在權衡取捨。人類面臨的挑戰是思考如何利用這種深度學習人工智能技術，並以改善全球人類生活的方式使用它，「這就是我們所有人都將面臨的挑戰，因為這不僅是技術的挑戰，還是社會的挑戰。」
