虛擬和增強現實技術在肝臟外科中的應用

發布時間：2022-05-07所屬分類：計算機職稱論文瀏覽：1次

摘 要： 【摘要】 肝切除術復雜度高，危險性大，隨著數字醫學技術的迅速發展，基于薄層 CT 或 MR 數據的個性化肝臟、腫瘤及內管道三維重建，使肝臟外科醫生能直觀、清晰、多維度地顯示肝臟病灶位置及其與內脈管的空間毗鄰關系，并進行精確的術前規劃。然而，術前 3D 圖像和實際

　　【摘要】 肝切除術復雜度高，危險性大，隨著數字醫學技術的迅速發展，基于薄層 CT 或 MR 數據的個性化肝臟、腫瘤及內管道三維重建，使肝臟外科醫生能直觀、清晰、多維度地顯示肝臟病灶位置及其與內脈管的空間毗鄰關系，并進行精確的術前規劃。然而，術前 3D 圖像和實際手術過程仍存在著空間和時間上的分離，導致術者手眼不協調，無法達到術中三維圖像實時導航。近年來，虛擬和增強現實技術的發展為減少 3D 模型和實際操作空間之間的不確定性提供了新的方法，在肝臟外科術前規劃、術中引導、外科教育、醫患溝通等多個方面都逐漸展示了明顯優勢和廣闊前景。

　　【關鍵詞】 虛擬現實技術; 增強現實技術; 三維重建; 肝臟外科手術導航

　　原發性肝癌(hepatocellular carcinoma，HCC)是危及我國人民健康的重大疾病，目前以肝癌切除術為代表的外科治療仍是原發性肝癌的首選治療方法[1⁃2]。以往，術者需要通過想象將患者術前的二維 CT 或 MR 等斷層影像信息轉化為三維立體圖像，而醫學圖像處理技術的進步使得二維影像資料可以直接準確地重建成肝臟三維立體模型;同時術中顯示技術的應用，可以實現三維重建模型術中指導。但是，將術前 3D 醫學圖像無縫銜接到實際手術過程當中是十分困難的，現階段依然存在著空間和時間上的分離，這就導致了同步性不足，從而引起術者的手眼不協調[3]。近年來，虛擬和增強現實技術的應用為減少三維重建模型和實際操作空間之間的不確定性提供了新的方法，在肝臟外科術前規劃、術中引導、外科教育、醫患溝通等多個方面都有明顯優勢和廣闊前景。本文將探討虛擬和增強現實技術在肝臟外科應用的可行性、臨床影響及發展趨勢。

　　1 虛擬和增強現實技術概述

　　虛擬現實(virtual reality，VR)，是指利用計算機對現實場景進行三維模擬仿真的虛擬環境，集成了計算機圖形、三維建模仿真技術、傳感技術、人工智能、顯示技術等，可提供使用者關于各種感官的模擬，進行可視化操作與交互[4]。理想的 VR 技術將實現人、虛擬環境及現實環境三者之間的正常交互，使用戶產生身臨其境之感。其主要技術框架包括：(1)計算設備，實現虛擬現實場景的邏輯計算和圖像渲染;(2)展示設備，依托高清屏顯技術實現虛擬場景的清晰化輸出，由立體光學成像實現三維立體化;(3)輔助設備，包括各種光學傳感器智能化定位和手眼追蹤等。增強現實(augmented reality，AR)，發展于 VR 技術，是將虛擬的場景疊加到真實場景中，實現對現實的增強，是一種結合圖像識別、虛實融合、人機交互、三維顯示等關鍵技術實現對自然世界感知、交互、反映的混合技術。

　　VR、AR 技術都屬于數字感知技術，利用數字化手段捕獲、再生或合成各種來自外部世界的感官輸入，從而達到一種身臨其境的沉浸感。它們的不同在于：VR 技術是采用計算機圖像技術對物理世界的實體信息進行模擬、仿真，即把現實世界變成虛擬世界;AR 技術則是借助計算機圖形技術和可視化技術產生物理世界中不存在的虛擬對象，并將虛擬對象準確“放置”在物理世界中，即把虛擬世界變成現實世界的組成部分[5]。由于單個技術無法應付各種復雜的應用場景，AR 技術與 VR 技術作為數字感知技術的兩個分支常常合用(合稱 VR/AR)，在經過多年的技術儲備和市場醞釀后，虛擬現實、增強現實產業逐漸形成。

　　VR 技術最早出現于 1962 年[4]，然而在常規臨床實踐中的應用還處于起步階段。許多 VR 模擬器已經被開發，大都利用三維重建、創建身臨其境虛擬現實環境及 3D 打印技術等實現。(1)三維重建：首先需要獲取虛擬模型數據源——高質量的圖像，如薄層 CT 或磁共振(MR)掃描圖像;然后進行圖像分割、配準;最后使用圖像處理軟件進行映射[6]，得到個體化的 3D 可視化模型。(2)創建 VR 環境：將重建后的三維模型導入一個高質量的開發平臺，平臺支持頭盔顯示器的自由集成，以及安裝了捕捉手和手指運動的傳感器裝置。所有三維重建操作以一種可視化虛擬現實環境的三維模型顯示，用戶通過頭戴式顯示器和 VR 眼鏡融入一個 3D VR 環境[7]。(3)3D 打�。涸摷夹g實現了虛擬物體向現實的轉換，通過 3D 打印設備來真實還原 3D 場景細節。

　　2 VR/AR技術在肝臟外科中的應用

　　隨著 VR/AR 技術的逐漸發展，VR/AR 技術在醫學領域中的應用越來越廣泛。在教育方面，VR/AR 技術已應用于虛擬實驗室、臨床技能培訓、手術觀摩學習等領域;在臨床實踐方面，VR/AR 技術已應用于虛擬手術訓練、手術規劃及導航、康復治療等臨床工作;在基礎研究方面，數字化虛擬人項目與虛擬現實技術結合可實現人體解剖信息的數字化。近年來虛擬和增強現實技術已逐漸應用于肝臟外科，主要包括以下三個方面：肝臟手術規劃及術中引導、肝臟外科培訓及教育、醫患溝通。

　　2.1 肝臟手術規劃及術中引導 由于肝臟解剖結構復雜，肝內血管系統變異情況多，肝切除目前仍是一高風險手術，存在較高的并發癥發生率與手術病死率[8]�；�于患者薄層CT 或MR 數據的個性化肝臟、腫瘤及肝內管道三維重建模型，不但能夠免去肝臟外科醫生對CT 或MR 多幀二維圖像復雜的圖像綜合、空間想象過程，而且能直觀、清晰、多維度地顯示肝臟病灶位置及其與肝內脈管的空間毗鄰關系。在此基礎上指導術前規劃、手術模擬以及術中引導，可以縮短手術時間、提高手術的精確性和安全性。虛擬肝切除術已成為安全、精確肝切除不可缺少的工具[9]。

　　2.1.1 術前規劃 通過三維可視化軟件，可對高質量肝臟腫瘤 CT 或 MR 圖像數據進行三維重建。在三維可視化軟件中，可充分了解肝臟脈管走行和變異情況，以及其與肝臟腫瘤的空間關系。通過三維可視化技術獲取的 3D 圖像模型，可根據需要進行肝臟、腫瘤與脈管的自由組合和適當透明化，進行放大、縮小、旋轉，可多角度、全方位觀察并分析肝臟脈管分型，了解其與肝臟腫瘤的空間關系，進行測量肝腫瘤與相關脈管的距離。同時，還可以進行自動化肝臟分段，觀察肝臟腫瘤所屬肝段、肝葉部位，進行虛擬肝切除，并計算虛擬切除肝體積和殘肝體積[10]。張新俊等[11]對 85 例復雜性肝臟腫瘤患者進行三維可視化術前規劃，通過研究證實了三維可視化模擬切除肝臟體積與實際切除肝臟體積統計學上具有相關性(P < 0.01)。華中科技大學同濟醫學院附屬同濟醫院對 28 例大肝癌切除手術進行了回顧性分析，證實三維重建技術可以為復雜性肝臟腫瘤手術切除提供有力的支持[12]。在三維重建的基礎上，還可以運用 AR 技術進行圖像的呈現，如 NTOURAKIS 等[13]在 AR 技術的引導下進行結直腸肝轉移癌病灶的定位，以方便精確手術方案的制定。

　　2.1.2 術中引導 VR/AR 技術應用于肝臟切除手術導航主要包括三維可視化、增強現實環境構建和 3D 打印三個方面。(1)三維可視化：肝臟外科醫生可以將肝臟虛擬 3D 模型帶入手術室，放置于主刀對面，在術中進行肝臟切除手術的間接實時引導。三維可視化技術輔助的肝切除術治療原發性肝癌可減少手術損傷、降低術后并發癥發生率、提高手術的有效性和安全性，使患者獲得較好的預后[14]。(2)增強現實環境構建：相對于可透明化的虛擬肝臟 3D 模型，外科醫生無法在真實肝臟術中實時了解即將遇到的脈管，將會增加意外出血的風險，AR 技術的發展可以為肝臟外科醫生提供一雙穿透臟器的“透視眼”[15]。AR 技術能夠將術前肝臟 3D 模型和術中患者真實肝臟配準融合，無需醫生在圖像顯示器和實際手術操作區域之間進行視野切換，改善了醫生的手眼不協調的問題，真正實現肝臟切除手術實時三維導航，使醫生提前預判即將遇到的重要血管或解剖結構，最大限度地保證手術安全。但是對于肝臟手術而言，由于術者的操作、患者呼吸運動等都會引起肝臟形變，這就需要精確的圖像分割算法、合適的肝臟生物力學模型構建算法和導航注冊配準算法等共同來解決。目前國內許多學者都在從事這些方面的研究，如筆者研究團隊針對多模態圖像肝臟腫瘤分割、肝臟生物力學建模等方面進行了初步研究和應用[16]。(3)3D 打�。篛SHIRO 等[17]采用 3D 打印肝臟模型指導肝切除術，能夠對關鍵部位快速識別和定位，通過精確定位病灶并確定手術切除平面，實時引導重要脈管的分離和腫瘤病灶的切除，實現了準確切除病灶和避免重要解剖結構的副損傷。

　　相關知識推薦：期刊審稿意見發給哪個作者

　　近年來，加速康復外科的發展使得腹腔鏡肝切除術的應用越來越廣泛。然而，外科醫生對直接視覺和觸覺反饋的喪失是目前腹腔鏡手術的一大缺陷，將增強現實技術引入到腹腔鏡手術可能是解決這一科學問題的可行方案[18]。在機器人肝臟手術中，機器人手術系統在術者及患者間增加了計算機界面，為虛擬增強技術創造了很好的平臺[19]。我們可以通過在機器人身上安裝光學影像追蹤系統如內視鏡照相機等儀器，在手術操作時可實時的獲得虛擬模型和三維圖像，以更加精確地指導手術的實施。 PESSAUX 等[20]發現 VR 技術可以疊映至達芬奇機器人的主操縱系統，從而實現最優的工具配位方案。在 3 臺使用機器人的切除手術中，虛擬現實技術幫助實現了機器人對所有血管結構的精確快速識別，提高了使用機器人進行肝臟切除手術的成功率。將虛擬現實技術和機器人結合來實施手術將是未來醫療發展的一個趨勢。隨著顯示傳感技術、生物力學建模和目標識別算法的進步，虛擬和增強現實技術有望更加理想地應用于肝臟手術導航中。

　　2.2 肝臟外科培訓及教學

　　2.2.1 解剖與教學 解剖學的學習是外科教育的一個重要組成部分，了解肝臟分段、肝內門靜脈和肝靜脈之間的空間關系是安全實施肝臟手術的前提。傳統尸體解剖是醫學生解剖學習的金標準，但是其無法完全展示肝內血管的多發變異情況[21]。教學中應用虛擬現實技術能為學習者提供逼真的3D學習環境，使學習者更容易理解正常肝臟解剖及變異情況，打破了教學的時空限制，提升醫學教學的水平[22]。第三軍醫大學第二附屬醫院肝膽外科在培訓中使用三維重建軟件進行肝臟解剖教學，試驗組學員對培訓的興趣、知識的掌握以及解剖認知均優于對照組[23]。因此，采用虛擬現實技術進行肝臟外科學臨床帶教有助于提高學生學習效率，激發學習興趣，加深對肝臟外科學的理解，值得在肝臟外科學臨床實習帶教中推廣應用。

　　2.2.2 手術模擬 良好的肝癌切除手術結果除了和精準的術前規劃密不可分，還取決于肝臟外科醫生精湛的手術操作技巧。然而傳統的肝臟切除術的訓練方法，如在塑料模型、實驗動物上進行訓練的方式都無法提供較為豐富、精細和個性化的案例供肝臟外科醫生訓練使用。因此，基于VR/AR 技術的肝臟手術訓練平臺，一方面可以用來進行術前的診斷分析、方案設計、手術過程模擬和術后殘肝體積預測分析，改變僅憑主觀經驗診斷、分析和設計手術方案的傳統模式，提高手術的安全性;另一方面，可以在已確定的術前規劃基礎上，使醫生能夠在患者個性化的虛擬 3D 肝臟模型上進行安全、有效、反復的訓練，提高技巧，確保術中操作的精度，同時避免在模型、動物或真實患者身上訓練時手感的不真實和易引起醫療道德爭議等問題。

　　另外，將觸覺模擬技術引入到手術模擬過程中，一方面可以盡可能真實地模擬實際手術操作環境，讓醫生通過力反饋設備觸摸并感知虛擬患者模型，在交互過程中鍛煉手眼配合協調能力;另一方面還可以將有經驗的醫生操作手術工具時的視覺畫面、手的運動和用力過程記錄下來，作為訓練教程，將真實的手術情景再現給年輕醫生進行學習。在高仿真的虛擬肝臟手術訓練環境中，學員可以與導師、同學進行實時交互，整個外科團隊都可以參考相同的視覺信息進行學習和訓練，最大限度地達到真實手術訓練效果，縮短肝臟外科醫生的培訓周期[3]。

　　2.3 醫患溝通 醫患溝通中的最大問題是醫生和患者之間醫學知識的不對等，在肝臟手術進行前，即使有醫生的專業解答，患者及家屬也很難從 CT 或 MR 圖像中充分了解病情。使用忠實于患者的個體化肝臟 3D 模型和 3D 打印技術，可以讓肝臟和相應的病變部位以 1∶1 比例的“實物” 呈現在醫生和患者及家屬面前;同時醫生還可以通過三維可視化仿真手術演示，在術前談話中更直觀、具體地向患者及家屬說明臨床病情、手術方案及可能的風險，讓患者和家屬對手術過程和手術風險有了充分“知情權”，進一步有助于患者積極配合后續治療，和諧醫患關系[24⁃26]。

　　3 展望

　　虛擬和增強現實技術作為一種高科技模擬技術已經被逐步開展并應用于肝臟外科中，它能夠讓我們獲得更加精準全面的影像信息、更加直觀具體的 3D 模型、更加通俗易懂的教學方式，進而更加精確地指導肝臟手術實施和教學訓練。隨著肝臟外科學、計算機科學、醫學影像學等學科的進一步交叉發展，VR/AR 技術將更好地融合應用于肝臟外科手術導航及虛擬手術系統構建中，必將給醫療界帶來翻天覆地的革新與進步[3]。——論文作者：王壯雄 李林容 王芳元 楊濤 鄭嘉玲 楊劍

　　參考文獻

　　[1] CHEN W，ZHENG R，BAADE P D，et al. Cancer statistics in China，2015[J]. CA Cancer J Clin，2016，66(2)：115⁃132.

　　[2] 吳孟超，吳在德. 黃家駟外科學[M]. 7版. 北京：人民衛生出版社，2010：1704.

　　[3] SAUER I M，QUEISNER M，TANG P，et al. Mixed reality in visceral surgery：development of a suitable workflow and evalua⁃ tion of intraoperative use ⁃cases[J]. Ann Surg，2017，266(5)： 706⁃712.

　　[4] 程凱，陳敏. 虛擬現實技術在健康醫療領域的應用[J]. 中國醫院管理，2017，37(8)：45⁃47.

　　[5] 郝英好. 人機交互新模式，VR/AR/MR 產業開始形成[J]. 新型工業化，2016，6(8)：65⁃70.

　　[6] TANG J，XU L，HE L，et al. Virtual laparoscopic training sys⁃ tem based on VCH model[J]. J Med Syst，2017，41(4)：58.

　　[7] SAMPOGNA G，PUGLIESE R，ELLI M，et al. Routine clinical application of virtual reality in abdominal surgery[J]. Minim In⁃ vasive Ther Allied Technol，2017，26(3)：135⁃143.

　　[8] 文天夫. 規范原發性肝癌患者診治，改善患者長期預后[J]. 腫瘤預防與治療，2017，30(1)：5⁃8.

　　[9] MISE Y，HASEGAWA K，SATOU S，et al. How has virtual hep⁃ atectomy changed the practice of liver surgery? Experience of 1194 virtual hepatectomy before liver resection and living donor liver transplantation[J]. Ann Surg，2017.

　　[10] FANG C H，TAO H S，YANG J，et al. Impact of three ⁃dimen⁃ sional reconstruction technique in the operation planning of cen⁃ trally located hepatocellular carcinoma[J]. J Am Coll Surg， 2015，220(1)：28⁃37.

　　[11] 張新俊，莫一我，王彥坤，等. 三維手術模擬系統在復雜性肝臟腫瘤精準肝切除中的應用[J]. 中國現代醫學雜志，2016， 26(4)：48⁃53.

　　[12] 陳琳，羅鴻萍，董水林，等. 三維重建技術在評估大肝癌手術安全性中的作用[J]. 中華外科雜志，2016，54(9)：669⁃674.

　　[13] NTOURAKIS D，MEMEO R，SOLER L，et al. Augmented reali⁃ ty guidance for the resection of missing colorectal liver metasta⁃ ses：an initial experience[J]. World J Surg，2016，40(2)：419⁃ 426.

　　[14] 方馳華，陳青山，方程，等. 三維可視化技術輔助的肝切除術治療原發性肝癌的療效分析[J]. 中華外科雜志，2015，53 (8)：574⁃579.

　　[15] PHUTANE P，BUC E，POIROT K，et al. Preliminary trial of augmented reality performed on a laparoscopic left hepatectomy [J]. Surg Endosc，2018，32(1)：514⁃515.

　　[16] SI W，LIAO X，WANG Q，et al. Personalized heterogeneous de⁃ formable model for fast volumetric registration[J]. Biomed Eng Online，2017，16(1)：30.

　　[17] OSHIRO Y，MITANI J，OKADA T，et al. A novel three⁃dimen⁃ sional print of liver vessels and tumors in hepatectomy[J]. Surg Today，2017，47(4)：521⁃524.

　　[18] BERNHARDT S，NICOLAU S A，SOLER L，et al. The status of augmented reality in laparoscopic surgery as of 2016[J]. Med Image Anal，2017，37：66⁃90