VR、AR、MR的技術發展
虛擬實境（Virtual Reality）VR，對大多數青少年來說都不會感到陌生。但很多人首先想到的是什麼？是當下最潮流、最炫酷的科技？還是遊戲愛好者的終極福音？是人類感官體驗的質的飛躍？還是強大的社交網路平台？是戴着個笨重的頭盔沉浸在數字世界不能自拔的情境嗎？其實，大家回想以前戴一個紅、藍雙色眼鏡，在太空館觀看180度星空立體電影；或者在主題公園裸眼玩4D動感影院節目，已是類近的雛型技術概念。
Virtual Reality，VR這一名詞由「虛擬實境之父」拉尼爾（Jaron Lanier）在上世紀80年代初提出。其工作原理是將電腦技術與常感器技術相結合，產生一個三維的虛擬世界，並創造出一種新的交感手段，能使人們沉浸在虛擬的現實環境中，身臨其境地去體驗和感受物像及空間變化。典型的輸出設備就是Oculus Rift、HTC Vive等等。
Augmented Reality（AR）增強實境，可以說是虛擬實境（VR）技術的延伸。AR通過動作、條碼或者真實物品等「標識物」（Code）來作為一個觸發器和互動方式，將電腦生成的視頻和圖像覆蓋在即時環境上。我們看到一些學習課程通常圍繞着某本課本／教材進行，AR則能讓它的圖片「彈出來」，從而製作一個互動課堂。前兩年全球火爆的電子遊戲Pokémon Go，也有應用AR技術，主要是靠定位（Location）來帶出數位元影像，可以稱它為Location-Based AR遊戲。
還有一種Mixed Reality（MR）混合實境，又稱Mediated Reality（介導實境）。MR，簡單來說就是將現實生活和虛擬世界進行混合，有時被形容為介於VR和AR之間，或者被稱為增強虛擬（AV）。舉個例子，手機的賽車遊戲與射擊遊戲，通過重力感應來調整方向和方位，那麼就是通過重力感測器、陀螺儀等設備將真實世界中的「重力」、「磁力」等特性加到了虛擬世界中。環境中同時包含了物理實體與虛擬資訊，並且必須是「即時的」。MR的兩大代表設備就是Hololens與Magic Leap。和AR一樣，MR也能被用於培訓醫療人員、建築工人，甚至是市鎮規劃人員。
AR、VR、MR在教育培訓領域的應用場景
這些新興虛擬場景科技在教育訓練上的應用大致分成三大類：
- 教育（Education）：指傳授知識，包含學校教育及職場教育。
- 訓練（Training）：指職能或技能訓練，包含學校及職場。
- 效能支援（Performance Support）：指在需要的時刻提供相關重要資訊，以協助完成工作，通常可以與前項搭配運用。
目前已經有很多醫院/醫生使用VR/AR/MR來進行教學或外科手術訓練。VR/AR/MR更可為各級學校的學生提供身臨其境的多感官的體驗，比起傳統的講課、字卡圖卡、或教科書等方法更有效。VR應用於教育是教育技術發展的一個飛躍，它營造了「自主學習」的環境，由傳統的「以教促學」的學習方式代之為學習者通過自身與資訊環境的相互作用來得到知識、技能的新型學習方式。這些完全不一樣的認知體驗讓學生們更好地學習，以一種全新的方式參與到學習中去。例如：
- 地理課以VR/AR/MR顯示3D立體地球儀，學生可以由各個角度來觀看，點選某個國家可以來帶出該國家的詳細資訊。（E/PS）
- 化學課以VR先讓學生模擬實驗過程，讓學生熟悉步驟以及可能發生爆炸或起火的錯誤操作，這樣在真正實驗時就可以有效避免危險事故的發生。（E/T/PS）
- 教科書或課外書都可搭配行動裝置或AR眼鏡，在特定頁面顯示3D立體畫面及相關資訊，增加學生印象，讓學生更容易理解，並提升上課或學習興趣。（E/PS）
去年香港有初創公司不惜投資數百萬元，製作一套涵蓋多個朝代的AR中史教材，希望協助中史科教師授課，扭轉學生固有觀感。例如，掃描萬里長城的AR圖卡後，就會播放它的360度實景短片，還加插了相關的資料介紹和提問，以創造互動教學效果。除了利用動畫和視覺效果來提高學生的學習動機和興趣之外，教師還可以使用AR中史教育平台的實時課堂提問系統及課餘練習，來測試及評估學生的表現，題目類型包括是非、排序及多項選擇。
各類博物館也開始以虛擬場景科技協助，建構多元共融的觀展體驗。去年中國國家博物館利用新思維首辦全雲端VR展覽及5G直播媒體檔案等線上資源，讓市民在博物館外也可增加文博知識。裝修後的香港太空館也新增觀星流動程式「星夜行」，以VR及AR顯示電子星圖，讓用戶利用新科技突破限制，在體驗星空的美妙之時亦能學習科學及文化知識。程式的電子星圖具備三種運作模式：
- 「虛擬模式」（VR）：透過定位功能及監察流動裝置的指向，即時模擬指向的天區以辨認天體和星座的位置；
- 「擴增模式」：利用AR技術，在手機相機的星空畫面上，即時指示天體或星座的標記或圖案；
- 「手動模式」：自行選擇模擬天區。
虛擬技術轉移為優化現代美術教育賦能
虛擬技術除了在大眾領域如遊戲、通訊、新聞、教育、醫療、電影、戲劇等方面的運用，它究竟是如何跟藝術扯上關係的？它的發展又會對現代美術教育產生怎樣顛覆性的影響？這些問題都是美術教育人員需要關心的課題。
來自澳洲的Jeffrey Shaw（b.1944），持續在虛擬與增強現實、浸入式視覺、互動式敘事（interactive narrative）方向的創作，可以說是在這個領域探索的先驅式藝術家和研究者。他1989年開始的一系列騎自行車作品《清晰的城市》（The Legible City）被公認為VR作品誕生的雛形：參與者騎上一輛固定住的自行車，穿梭在由電腦生成、由三維立體文字組成的城市街道之中，系列作品分別以曼哈頓（1989）、阿姆斯特丹（1990）和卡爾斯魯厄（1991）的城市規劃為藍本，同比例再現了城市裏的街道與建築，參與者可以通過自行車把手和踏板上的介面控制行駛方向及速度。
目前從VR藝術學習的應用，比較普及有下列幾大範疇：
- VR藝術鑒賞：不出校、不出門、不出國，VR能讓我們在家輕鬆欣賞到世界頂尖藝術展館的的珍藏及自選的觀賞體驗。
- VR觀看演出：現在大大小小的電視節目和演唱會，都已經開始使用VR直播吸引無法到場的觀眾。甚至雞年春晚也用上了VR直播技術，讓電視觀眾試試站在舞台中央看劇的視覺體驗。
- VR音樂創作：現在，音樂愛好者可以省卻巨額投資，借助功能強大的虛擬音樂工作室「Sound Stage」創作歌曲，合成音效，對每個音軌進行編輯處理，隨心所欲地嘗試不同的音樂效果，輕鬆創作屬於自己的歌曲。
- VR繪畫設計：最近全球各地都流行着新型的VR藝術展，並且加入讓參展者戴上HTC Vive走進虛擬世界欣賞。
- VR攝影視頻：例如在《魔法時刻》的APP中，你的相機結合所有的現實相機的物理特點，可以在島上邂逅野生動物，玩轉光圈、試試快門的速度、通過改變焦距掌控照片的視角。嚓嚓一聲，你創作的攝影圖片就生成了！
藝術家用VR創作正在成為新潮流，例如傑夫．昆斯（Jeff Koons）和瑪麗娜．阿布拉莫維奇（Marina Abramović）試過將他們的藝術與VR技術相結合，呈現在一個名為Acute Art的虛擬實境平台上，帶給觀眾一種新的藝術形式。阿布拉莫維奇展出的作品《Rising》與氣候危機相關，藝術家與觀眾在VR空間裏面對面，她邀請人們到玻璃水缸中，慢慢地往水缸裏灌水。隨後她將帶觀眾到世界各地看冰川融化，如果參觀者承諾為氣候危機貢獻一份力量，水缸的水位就會下降，反之她就會被淹死。
2017年底，這個號稱「世界上第一座VR博物館」Acute Art獨家登陸了HTC Vive，向大眾展示一些知名VR藝術家的作品，包括Olafur Eliasson、Jeff Koons和Anish Kapoor。其中Eliasson新作《彩虹》也在Acute Art首次展出。據悉，這個VR博物館允許多人在同一房間進行交互的應用，其會根據隨時跟蹤玩家的位置，改變彩虹的形態。Eliasson表示：「VR有潛力成為一種新型的體驗方式。當我們置身在VR的虛擬世界時，我們也不能忘卻了身體的交互，因為交互能拉近人於與人之間的距離。」
幾年前香港K11辦過一次創新展覽：《電‧藝‧感》（Electronic Vibes）。展覽將藝術同VR結合，觀眾欣賞作品之餘，還有機會在3D虛擬世界畫畫。K11在中庭打造虛擬實境（VR）體驗區，首次同HTC以品牌全新虛擬裝置HTC Vive，舉行Art Jamming活動。只要帶上VR裝備，四周圍環境即刻變畫布，可以隨意發揮。除體驗活動，K11在不同層「藝窗」展出視覺音樂項目《五》，由國際知名抽象動畫藝術家兼城大創意媒體學院客席助理教授Max Hattler連同36位學生一齊創作，探索音樂聽眾受影響時作出的反應的多媒體互動藝術創作。
可見，VR是一種新的資訊傳遞方式的變革，人們從「置身事外」欣賞一個藝術，到「身臨其境」參與一個藝術展現，這與傳統美術的區別是在沉浸感上有了顛覆性的改變。北京中央美術學院的多媒體藝術課程，有一個案例是讓人體驗梵古名畫《夜間的咖啡館》中的場景。當你帶上VR眼鏡，就像坐在1888年梵古當時正在工作的那個咖啡館一樣，親身體驗梵古眼中的世界。
幾年前，香港大學工業及製造系統工程系，曾利用自行研發的虛擬3D沉浸式可視化交互環境系統「imseCAVE」，和聖公會何明華會督中學申請的「走進數碼虛擬畫廊」QEF項目合作，將學生用3D建模軟件《Sketch Up》設計的立體美術畫廊及在虛擬牆壁展示的畫作，以「imseCAVE」系統變成三維虛擬視覺場景，逼真地呈現在一個平台上。觀眾佩戴3D眼鏡進入畫廊，藉身體移動及手掣操作，便可遊走虛擬空間，以不同角度欣賞畫作。
牛頭角佐敦谷聖約瑟天主教小學，也曾以「潮學視藝」創新學習項目申請QEF，建立一個視像平台，讓學生能把在平板電腦上創作的藝術作品，結合VR，AR及體感科技，具體地呈現出來。學生的美術作品從個體變成群體，從平面變成立體，從靜態變成動畫，增加學生的藝術創造力和想像力。「潮學視藝」從無紙美術延伸，結合其他資訊科技，讓學生作品以不同的形式呈現，並與其作品產生互動，提升學生對視覺藝術的興趣，從而更主動地探索，培養自主學習的精神。學生透過即時的評價和回饋，以及自主和多元化的視覺藝術學習過程，既能提升高階思維能力，又能增強協作能力和評賞能力。
另外，近年AR的藝術應用也逐漸出現，例如香港郵政2017年推出「活化香港歷史建築II」一套六枚郵票，介紹六個活化歷史建築項目，包括藍屋、油街實現、綠匯學苑、石屋家園、元創方和茂蘿街活化項目。郵票首次加入AR（擴增實境）技術，只要開啟「香港郵政郵票」流動應用程式，將鏡頭對準郵票，螢幕上就會呈現出郵票中建築物的3D立體模型，同時查看建築物的簡介和360度相片，並可載入互動遊戲「郵遊活化建築」。建築物3D立體模型的背景更會按日間、黃昏和晚間實時改變。
也有一個夫妻檔用AR婚帖創商機月賺十萬個案，請柬設計秒變3D場景。AR囍帖的造型跟一般「紅色炸彈」無異，唯當嘉賓收到紙本請帖後，只要下載相關手機應用程式，再以鏡頭對準卡上圖案，螢幕即會彈出3D虛擬場景。一對新人更會粉墨登場，親自邀請賓客出席盛宴；把手機圍繞囍帖觀看，場景亦會同步轉動，AR內的景物富真實感。
樂善堂餘近卿中學在2017年一項學生營商實驗活動中，以「物卿情重」為題，設計出三款產品，當中「AR遊戲T恤」像手機遊戲Pokémon GO般運用了AR技術，吸引了評審眼球，加上他們以活潑方式向評審介紹產品，成功晉身八強。有關T恤印有指定圖案，玩家需要下載一個由該校開發的手機應用程式（App），再把鏡頭對準T恤，手機螢幕便會出現相應的立體圖案，圖案由參賽學生設計，手機應用程式則由老師幫助編寫。
至於MR的藝術創作應用，在去年有全球首個大型MR行為藝術作品出現，並讓觀眾參與定義場景。MR行為藝術作品名叫《生命》（The Life），片長19分鐘，採用立體錄影（volumetric capture）技術拍攝並以混合現實（mixed reality）方式呈現。2019年2月在倫敦蛇形畫廊（Serpentine Gallery）的公演，門票開售僅兩小時後即告售罄，在一星期內接待了約5000名觀眾，並將於2020年全球巡演。「Tin Drum混合現實創作室」創辦人及CEO–Todd Eckert是《生命》的導演，在自立門戶之前，曾任美國獨角獸公司Magic Leap的內容發展總監，他是少數對MR創作有多年經驗的製作人，認為專注於MR深刻獨特、更人性化、更具表現力的體驗，能夠昇華觀眾看世界的層次。他表示MR與傳統二維電影的分別在於：傳統電影需要構圖（frame），導演就像上帝掌控所有環節和觀眾體驗，觀眾無權參與，影片對導演是有意義的，觀眾則不一定會這麼想。MR的體驗就截然不同，「假設有一個場景，由你來定義，你的目光將集中在你覺得最動人的地方；我相信你想探索的東西和我想說的故事有相通之處，然後我給你工具自行探索感興趣的部分，而同時我亦可達成創作目標。」以《生命》為例，觀眾在觀看作品前要交出隨身的通訊設備（例如手提電話和手錶等）給工作人員，讓思緒靜下來，然後戴上Magic Leap One混合現實（MR）頭盔顯示器，再由展覽助理引領到指定位置，之後觀眾就會看到行為藝術教母Marina Abramović的影像，感受恍如身歷其境的表演。Todd覺得MR作品有恆久的價值，「就算100年後她離開人世，你要是戴上裝置仍可看到她在室內走動。」
虛擬場景技術應用與限制
概括而言，虛擬場景科技在教育和培訓領域有愈來愈大的學習應用空間。在美術創作表現上除了可以成為一種創新的科技應用視覺藝術媒介外，同時若適當利用創設虛擬場景的工具和技術，可以豐富傳統美術教育的課程模式和學習體驗，足以讓美術教師革新校內、校外課堂教學的設計，大大提升美術學習的興趣和創意表現。目前我們可以看到有不少應用虛擬場景科技的工具、軟件、平台，協助學校和教師進行現代美術教育優化，例如上面提及VR應用的Oculus Rift、HTC Vive；MR的Hololens與Magic Leap等專業制式和工具；以及3D建模軟件、AR解碼編程的學習，現時也可以找到一些比較容易應用的技術資源。
Kingspray是一款「塗鴉模擬器」（Kingspray Graffiti Simulator），借助HTC Vive虛擬實境平台，給虛擬實境和塗鴉藝術愛好者展現驚人逼真效果。此款虛擬實境塗鴉模擬器不光使用靈活，操作方便，並且有很強大的繪圖功能，可以調節多種筆刷效果與顏色，噴霧與牆壁的結合處理極其細緻。這款由Kingspray公司利用VR技術開發的「塗鴉模擬器」，允許用戶在VR世界裏盡情地在公寓牆上或火車車廂等公共場所進行塗鴉創作。
有內地科技公司設計一款「AR夢幻塗鴉」的美術創作套裝，兒童用各種顏色的彩筆，在附送的塗鴉明信片正面隨意圖畫。使用公司《嘀鈴夢世界》APP即可實時掃描出個性化塗鴉模型動畫，神奇的實時渲染讓平面塗鴉變成會飛、會動、會跳舞的夢幻童話。也有一種採用相近技術的「神筆馬良AR塗塗樂」，也是讓兒童體驗虛擬場景轉變樂趣的美術工具。
外地還有一家叫「大腿」的公司，設計了一個將3D打印和VR虛擬世界結合的創作平台。用家戴上VR眼鏡，拿着手柄進入了虛擬世界。使用手柄撥弄眼前的小圓球可以改變VR世界中的白天與晚上。參與者可以使用兩種模式製造想製造的物品，可以是規規矩矩的方塊搭出來的，也可以是使用噴槍噴出的不規則線條。使用工具十分簡單，手柄按動工具選擇使用噴槍還是方塊，再按動空白區域，就可以開始噴繪立體圖形或者拼搭3D建築，是一種有趣的科技和美術融合的創作經驗。
若要應用VR技術進行課程設計，學習內容除了現成科技公司供應的VR影像資源外，要做校本設計，可能要學習「VR全景攝影」，這聽起來會是個高科技。但是如果你的手裏有一台單反相機，照着很多視頻平台提供的攝製步驟，也可以輕鬆製作一個可以互動的「VR虛擬互動空間」。關於VR影視創作的問題，專業一點理解，可以大概分為兩大類：動畫和實拍。VR的拍攝過程，跟傳統影視還是比較相似的，唯一的不同是VR的鏡頭語言和剪輯手法，需要運用到VR相機。專業VR相機又分成180度3D和360度3D，還有360度2D等等不同的規格，可以根據影片敘事語言的需求進行相應的選擇。VR的鏡頭是多面的，可能是八個或者12個鏡頭拍的東西進行一個縫合，計算量也是非常大的。要一站式解決VR全景攝影，也可在視頻平台搜尋相關技術主題。
要將虛擬場景科技應用到現代美術教育的優化上，有時基於技術難度和成本「門檻高」的問題，不一定容易推廣、普及。例如眾所周知，VR的最大缺點就是成本高和難普及。一些大學和學校可能不想投入大筆預算在這樣的新興科技上，還有一些則無法負擔這筆費用。另一個缺點是內容，特別是那些有關VR硬體配套的應用。雖然YouTube上有大量的VR視頻，以及很多iOS和Android應用。但其中多數都品質不高，也不是專門為教育設計的，教師都要用心篩選、轉化。當然課堂中運用VR帶來的好處仍然十分巨大，但目前看來，這一技術可能更適合被用在預算更高、更容易獲得類似技術的大學機構中。
另外，上面提及AR基本上是通過動作、條碼或者真實物品等「標識物」來作為一個觸發器和互動方式，將電腦生成的視頻和圖像覆蓋在即時環境上。從可實踐性的角度來說，AR的門檻對很多學校來說相對更低。在課堂教學中應用這項科技也更容易。只要課本和應用等資源設置完畢，在全校推廣這項技術的預算其實非常便宜。
而MR會有多些缺點。因多數項目由企業主導，故此中小學能接觸到這一技術的機會相對更少，它需要大量的時間來貫徹和自己創造MR應用。值得注意的是，2016年Microsoft和教育巨頭Pearson形成了合作關係，共同為HoloLens打造教育型應用和MR學習工具。據悉這些工具將會被用在很多方面，包括護理、建築等工作，並會與美國的學院、大學和中學進行合作。
總而言之，從價格和設置來看，最容易採購的是移動VR設備，但它的「體驗」十分有限──不僅僅是市場上的應用有限，學生能達到的互動水準也很有限。而AR和MR可能會成為最早試水的學校的下一個嘗試目標。
亞太創藝談之13
本系列文章：
