混合現實技術在醫學領域的應用

最新 06-27

華中科技大學附屬協和醫院（簡稱「武漢協和醫院」）的骨科主任葉哲偉教授，2017年6月完成了混合現實技術引導下的髖部骨折手術，並於今年1月成功實施了混合現實技術三地遠程聯合會診手術。今年5月，由葉教授擔任主編的《醫學混合現實》也正式出版。今天的大咖聊MR，我們邀請到葉教授為大家介紹混合現實技術在醫學研究，醫學教學，手術培訓，術前醫患溝通以及術前方案制定的應用。

同時，本次葉教授也會挑選優秀留言的小夥伴，贈送他最新出版的《醫學混合現實》。

混合現實技術(Mixed Reality，簡稱MR)是繼虛擬現實技術(Virtual Reality，簡稱VR)、增強現實技術(Augmented Reality，簡稱AR)之後，出現的全新數字全息影像技術。該技術最核心的特性是打破了數字的虛擬世界與物理的真實世界的界限，從而將數字技術多年的量變積累突破到質變。混合現實技術一出現就得到了醫學界強烈的關注，哈佛大學醫學院、梅奧醫院等醫學殿堂級機構也毫不吝嗇地預測，混合現實將給醫學帶來巨大的變革。

圖 1 數字骨科專家通過混合現實技術進行醫學交流

混合現實技術在醫學研究中的應用

醫學模型的原始數據多來自CT和磁共振的Dicom格式數據，通過三維精準超渲染可視化技術得到的３D重構模型，用特殊軟體與演算法進行定位、渲染、物理參數調整、模型功能設定,進行高維態顯示處理，再把模型載入到混合現實設備當中，實現基於混合現實技術的各項醫學研究。具體流程圖如下：

圖 2 混合現實技術顯示三維模型流程圖

由於被研究部位各組織結構分別被指定對比強烈的不同顏色渲染，整個三維重構模型不但可以從任意角度瀏覽、縮放、調節亮度與對比度、隱藏與透明化各種組織,而且可以對病灶大小進行測量計算,從而使影像判讀簡單易懂。

圖 3 通過混合現實技術了解顱內血管情況

圖 4 利用混合現實技術進行心肺觀測

混合現實技術在醫學教學中的應用

目前的醫學教學中，由於醫療環境和法規的限制、標本短缺、成本昂貴等問題的出現，導致教學成本居高不下，教學效果也收到影響。混合現實技術使學生對複雜人體標本的理解變得更加直觀、立體、簡單有效，從而更加有效地培訓醫學生的醫學知識。

圖 5 混合現實技術應用於醫學教學

圖 6 混合現實技術應用於醫學教學

圖 7 通過混合現實技術觀察盆腔血管走行

圖 8 運用混合現實技術觀察心臟及大血管

混合現實技術在手術培訓中的應用

混合現實技術可以提供理想的手術操作培訓平台，在逼真的三維視覺世界中, 讓受訓的醫生以更自然、逼真的方式進行反覆多次的交互和體驗，直到能夠熟練掌握操作技術。不僅生動、逼真，而且不會對患者造成傷害和危險。

圖 9 混合現實技術應用於醫學培訓和交流

圖 10 混合現實技術應用於手術培訓

圖 11 基於混合現實技術的教學培訓

圖 12 基於混合現實技術的心包穿刺穿刺導航模型

圖 13 運用混合現實技術於戰現場急救訓練，實現快速、準確可靠的止血帶結紮止血

混合現實技術在術前醫患溝通中的應用

醫患溝通不暢是造成目前醫患關係緊張的主要原因之一，主要表現在兩個方面：一是醫生與患者之間的醫學知識背景和醫學信息不對稱；二是醫生與患者之間缺乏有效溝通。而混合現實技術可以很好地解決這兩方面的問題，混合現實具有的立體、逼真、動態等特點，為手術過程的演示、向患者及其家屬詳細介紹病情和手術方式等創造了很好的條件，能夠使患者清晰了解病情和治療方案。提高患者依從性，減少糾紛。