文、圖/成大前瞻醫療器材中心
聽到「元宇宙」(Metaverse) 這個詞,你會想到什麼?是一個完全虛擬的線上娛樂環境,是運用數位孿生(digital twin) 進行遠端偵測與模擬的製造平台,還是運用非同質化代幣(NFT, Non-Fungible Token)和區塊鏈 (blockchain) 等技術建構出的加密貨幣系統?
2021 年 10 月,社群媒體公司 Facebook 將公司名改為 "Meta",用以宣示之後在元宇宙 (Metaverse)的投入。Meta 將「元宇宙」重新定位和包裝成一個新的概念。目前元宇宙這個剛萌芽的產業概念,雖然充滿想像和潛力,但也處於「各自表述」的階段:什麼是元宇宙?什麼可以用來建置元宇宙?元宇宙可以用在哪些領域?不同於已成熟與定型的產業,這些問題都需要被回答。
但是總體而言,目前有一樣事情是大家都有共識的:將沈浸式的多重感官訊息直接提供給使用者、並可讓使用者進行多種互動的 AR/VR/MR 技術(擴增實境 Augmented Reality / 虛擬實境 Virtual Reality / 混合實境 Mixed Reality),是元宇宙重要且有許多可能的基石。
台灣將在 2025 年邁入「超高齡社會」,加上新冠疫情影響,加速了精準醫療、遠距照護的推動。因此成功大學研究團隊在 Meta 提出「元宇宙」概念前就超前部署,研發混合實境在醫療健康科技,建構想像、建置、評估一個新的未來。
成大前瞻醫療器材中心團隊提出創新想法,利用無人機與使用者互動,取代傳統如電視節目、網路影片、真人教練的教學方式,引導使用者進行遠距精準醫療、健康監測與客製化復健健康療程,讓老人、病患在居家和長照機構遠距環境中能有一個自動化、智慧化的陪伴、安全監測,並且個人化給予健康復健處方;另外,本研究也計畫運用 MR 頭盔,結合無人機在空間中的運動和使用者的肢體動作,讓使用者在頭盔中能看到、進行混合實境的互動,如看到由頭盔中顯示的無人機是一隻森林中飛翔的小動物或昆蟲,而周遭的環境是一個結合居家實體和虛擬物件的世界。
使用者與無人機互動
此研究由蘇芳慶副校長暨醫工所特聘教授領軍,研究團隊包含前瞻醫療器材中心張昇崑、揭小鳳,林倩如助理研究教授等。在科技部經費支持下,整合跨領域 -- 醫學工程、復健醫學、人機互動、AR/VR、空間感知等,為未來創新精準健康科技注入了的創意和技術。目前已完成使用者與無人機的互動設計和系統建置,並在初步的研究成果中發現人機互動的過程的確影響了使用者的認知、神經控制、肌力强度及整體健康表現,此特別的人機互動經驗亦大獲好評。計畫的下一步將是運用 MR 頭盔 HoloLens 2 結合無人機,設計並建置一個混合實境系統,讓使用者除了能與無人機進行空間的、實體的互動,也能藉由頭盔的顯示和其對實體空間的智能偵測,而能身處在一個有趣的、自在的、且能依興趣或需求選擇的虛實結合環境。
HoloLens 2可追蹤手部及顯示關節骨架、偵測手勢(如捏取一虛擬方塊)、融合現實空間與物理(如虛擬方塊可掉落並停止在真實桌面)(註:因HoloLens 2為一空間顯示器,所以在平面截圖中,虛擬手的關節骨架與真實手的位置有視覺落差)
在HoloLens 2中,使用者可看到虛實使整合的環境,如跟隨著手掌拍翅飛行的小鳥和融入現實的虛擬森林
元宇宙在未來有許多可能,但也是充滿挑戰的課題。不管元宇宙這個概念將會怎麼發展,成功大學的跨域團隊早已開始運用無人機和混合實境技術,進行精準醫療、遠距健康復健和智慧運動等相關應用的研究。成功大學的研發創新,不只是運用了元宇宙相關技術,也開始定義了元宇宙在健康醫療科技可能的未來。