近日，法國Pixee Medical公司的增強(qiáng)現(xiàn)實（AR）膝關(guān)節(jié)置換術(shù)導(dǎo)航系統(tǒng)Knee+獲得了CE認(rèn)證，這是首個獲批在全膝關(guān)節(jié)置換術(shù)中使用增強(qiáng)現(xiàn)實（AR）的骨科導(dǎo)航系統(tǒng)。與此類似的增強(qiáng)現(xiàn)實技術(shù)在手術(shù)導(dǎo)航中的應(yīng)用，正在全球各地蓬勃發(fā)展。增強(qiáng)現(xiàn)實輔助手術(shù)技術(shù)對于術(shù)前規(guī)劃、術(shù)中引導(dǎo)和術(shù)后康復(fù)都有重要的意義，本文將從基本概念、技術(shù)原理、市場情況、主要公司和代表性產(chǎn)品幾個方面進(jìn)行說明，并對其未來的發(fā)展進(jìn)行探討。

一、基本概念

1、增強(qiáng)現(xiàn)實（AR）

增強(qiáng)現(xiàn)實（AR）是將計算機(jī)處理后的虛擬模型圖像疊加到現(xiàn)實場景中，對現(xiàn)實場景進(jìn)行增強(qiáng)的一種技術(shù)。它增強(qiáng)了人對周圍真實世界的感知，并把模擬的場景、物體以及相關(guān)提示信息（例如聲音、視頻、圖形或GPS數(shù)據(jù)）融入現(xiàn)實場景，從而起到增強(qiáng)效果。增強(qiáng)現(xiàn)實（AR）技術(shù)的基礎(chǔ)學(xué)科是計算機(jī)視覺（computer vision）。它使用了顯示器、照相機(jī)和傳感器等工具，將數(shù)字信息疊加到現(xiàn)實世界中。

2、手術(shù)導(dǎo)航系統(tǒng)

手術(shù)導(dǎo)航是將病人手術(shù)前或手術(shù)中的影像資料與病人解剖結(jié)構(gòu)準(zhǔn)確對應(yīng)，在手術(shù)中跟蹤器械并將其位置在病人影像上以虛擬探針的形式實時更新顯示的一種技術(shù)。手術(shù)導(dǎo)航使醫(yī)生對器械的位置一目了然，讓手術(shù)更快速、更精確、更安全。經(jīng)過多年的發(fā)展，手術(shù)導(dǎo)航已成為神經(jīng)外科治療的標(biāo)準(zhǔn)，在其他領(lǐng)域也逐漸普及。目前在美國手術(shù)導(dǎo)航市場上，每年執(zhí)行的手術(shù)達(dá)到578，375例，到2025年預(yù)計將增長到718，224例。在美國，手術(shù)導(dǎo)航最常用在神經(jīng)外科手術(shù)，約占病例總數(shù)的43.3％；在歐洲，最常見的是全膝關(guān)節(jié)置換術(shù)（TKA）。

二、技術(shù)原理

增強(qiáng)現(xiàn)實手術(shù)導(dǎo)航系統(tǒng)包括三個核心：虛擬圖像或環(huán)境建模、虛擬環(huán)境和現(xiàn)實空間配準(zhǔn)和將虛擬環(huán)境和真實環(huán)境結(jié)合起來的顯示技術(shù)。

1、虛擬圖像或環(huán)境建模

AR系統(tǒng)利用CT或MRI斷層成像中解剖結(jié)構(gòu)之間的顏色或紋理區(qū)別以及血管造影，在計算機(jī)中完成表面下目標(biāo)的3D重建。非真實渲染或反轉(zhuǎn)現(xiàn)實技術(shù)可以改善可視化和深度感知。

2、虛擬環(huán)境和現(xiàn)實空間配準(zhǔn)

配準(zhǔn)可以通過多種手段完成，基于幀技術(shù)的三維笛卡爾坐標(biāo)系統(tǒng)（Cartesian system）可以確定成像設(shè)備的位置和姿態(tài)。

3、將虛擬環(huán)境和真實環(huán)境結(jié)合起來的顯示技術(shù)

顯示技術(shù)廣義上可以分為頭戴式顯示（HMD）、增強(qiáng)型外部顯視器、增強(qiáng)型光學(xué)系統(tǒng)、增強(qiáng)型窗口顯示和圖像投影。運用HMD既可以將虛擬環(huán)境覆蓋于用戶視野下的真實世界（光學(xué)透視），又可以覆蓋到真實環(huán)境的視頻源中（視頻透視）。增強(qiáng)顯示器是簡單的獨立屏幕將虛擬內(nèi)容顯示在源于真實世界的視頻上。光學(xué)增強(qiáng)顯示是指直接增強(qiáng)手術(shù)顯微鏡或雙筒觀察鏡的目鏡。窗口增強(qiáng)顯示是將一塊半透明的屏幕直接放置在手術(shù)部位上方，允許在現(xiàn)實物體上方屏幕直接顯示虛擬對象。虛擬環(huán)境可以用投影機(jī)直接投射到患者身上。

三、市場情況

醫(yī)療市場的增強(qiáng)現(xiàn)實（AR）應(yīng)用增長強(qiáng)勁，預(yù)計復(fù)合年增長率高達(dá)33.36％，市場價值從2018年的6.27億美元預(yù)計將增長到2024年的34.97億美元。由于AR技術(shù)的應(yīng)用范圍廣泛，從評估手術(shù)準(zhǔn)備到微創(chuàng)外科手術(shù)和康復(fù)，正獲得醫(yī)生的廣泛關(guān)注。此外，根據(jù) Research and Markets的數(shù)據(jù)，到2025年全球手術(shù)影像市場規(guī)模預(yù)計將達(dá)到17億美元，在預(yù)測期內(nèi)以復(fù)合年增長率5.4％的速度增長。增強(qiáng)現(xiàn)實（AR）在醫(yī)療保健領(lǐng)域的最新作用和整合正在增強(qiáng)外科手術(shù)經(jīng)驗。實時可視化平臺的快速發(fā)展也帶來了更好的手術(shù)治療。此外，政府資金的增加、運動損傷的患病率的增長以及老年人口的擴(kuò)大是促使全球外科影像市場增長的因素?；趹?yīng)用程序，市場細(xì)分為神經(jīng)外科、骨外科和創(chuàng)傷外科、心臟和血管外科、普外科和其他外科。

四、主要公司和代表性產(chǎn)品

1、Pixee Medical公司的Knee+系統(tǒng)

Pixee Medical公司于2017年10月在法國成立，公司目標(biāo)是利用現(xiàn)有的先進(jìn)計算機(jī)視覺和人工智能技術(shù)，創(chuàng)造高性能的計算機(jī)輔助手術(shù)解決方案，同時在具有挑戰(zhàn)性的衛(wèi)生系統(tǒng)環(huán)境中保持價格低廉。Knee+近期剛剛獲得增強(qiáng)現(xiàn)實膝關(guān)節(jié)置換術(shù)導(dǎo)航的CE認(rèn)證。這是第一個在全膝關(guān)節(jié)置換術(shù)中使用增強(qiáng)現(xiàn)實（AR）的骨科導(dǎo)航系統(tǒng)。目前正在尋求FDA對該系統(tǒng)的510（k）批準(zhǔn)。

Knee+專利技術(shù)結(jié)合了專有的計算機(jī)視覺和深度學(xué)習(xí)算法，可以與現(xiàn)成的AR眼鏡一起使用，在手術(shù)過程中跟蹤儀器和植入物。安裝在智能眼鏡中的導(dǎo)航軟件與配有可在高壓釜中滅菌標(biāo)記的縮小尺寸MIS儀器結(jié)合在一起。大小和韌帶平衡功能可以快速集成到產(chǎn)品中。作為笨重和昂貴的機(jī)器人系統(tǒng)的替代品，Knee+使用簡單，經(jīng)濟(jì)有效，不需要術(shù)前DICOM或一次性設(shè)備。未來的應(yīng)用可能被引入肩關(guān)節(jié)和髖關(guān)節(jié)手術(shù)。

2、Augmedics公司的XVision Spine系統(tǒng)

Augmedics是一家致力于開發(fā)外科治療技術(shù)的公司，成立于2014年。首款產(chǎn)品xvision-spine（XVS）系統(tǒng)是一種增強(qiáng)現(xiàn)實手術(shù)導(dǎo)航系統(tǒng)。借助XVS系統(tǒng)，外科醫(yī)生可以看到皮膚和組織下手術(shù)工具的實時位置和軌跡，并在患者體內(nèi)導(dǎo)航，從而使手術(shù)變得更加輕松，快捷和安全。 XVS使用獲得專利的透視光學(xué)器件，以手術(shù)精度和出色的深度感知實時將3D圖像以及軸向和矢狀平面投影到外科醫(yī)生的視網(wǎng)膜上。

XVS系統(tǒng)包括一個透明的近眼顯示頭戴式耳機(jī)，并具有傳統(tǒng)導(dǎo)航系統(tǒng)的所有元素。它實時準(zhǔn)確地確定手術(shù)工具的位置，并將其疊加在患者的計算機(jī)斷層掃描數(shù)據(jù)上。然后，使用透明的近眼顯示頭戴式耳機(jī)將導(dǎo)航數(shù)據(jù)投影到外科醫(yī)生的視網(wǎng)膜上，從而使外科醫(yī)生可以同時注視患者并查看導(dǎo)航數(shù)據(jù)，而無需將眼睛轉(zhuǎn)移到遠(yuǎn)程屏幕上。在芝加哥拉什大學(xué)醫(yī)學(xué)中心進(jìn)行的一項研究中，發(fā)現(xiàn)XVision可將外科醫(yī)生的準(zhǔn)確性提高到令人印象深刻的98.9％。整個系統(tǒng)的精度約為1.4毫米，達(dá)到美國FDA的2毫米以下的要求。

3、VOSTARS視頻光學(xué)透視增強(qiáng)現(xiàn)實手術(shù)系統(tǒng)

VOSTARS是一項創(chuàng)新行動項目，獲得了“地平線2020計劃”的資助。歐洲科學(xué)家開發(fā)的增強(qiáng)現(xiàn)實（AR）手術(shù)護(hù)目鏡能夠一次性看到X射線圖像和所有關(guān)鍵數(shù)據(jù)與解剖結(jié)構(gòu)完美地3D疊加在一起，并同時自由移動。 VOSTARS視頻光學(xué)透視增強(qiáng)現(xiàn)實手術(shù)系統(tǒng)將在外科醫(yī)師的視野內(nèi)方便地顯示患者的麻醉數(shù)據(jù)、心率、體溫、血壓和呼吸頻率等。手術(shù)準(zhǔn)確性將顯著提高，同時減少了手術(shù)時間（每三個小時的手術(shù)可以節(jié)省20分鐘），而且減少了麻醉下的時間以及任何手術(shù)所涉及的成本。該項目計劃2022年實現(xiàn)量產(chǎn)。

該系統(tǒng)結(jié)合了兩種現(xiàn)有的AR技術(shù)：視頻透視（VST）和光學(xué)透視（OST）。單獨使用VST和OST都不適合對活病人進(jìn)行手術(shù)。諸如Microsoft Hololens之類的OST系統(tǒng)使用半透明的鏡面，通過將計算機(jī)生成的圖像疊加在用戶的視野上，為用戶提供自然環(huán)境的直接視圖。諸如Occulus Rift之類的VST系統(tǒng)通過封閉的頭戴式顯示器（HMD）以及立體攝像機(jī)和屏幕，將用戶淹沒在虛擬世界中。

4、TrueVision?3D Surgical 系統(tǒng)

TrueVision?3D Surgical 是全球數(shù)字3D可視化的領(lǐng)導(dǎo)者，是顯微手術(shù)的風(fēng)向標(biāo)。TrueVision? 成立于2003年，總部位于美國加利福尼亞州圣巴巴拉，通過自主研發(fā)的數(shù)字3D可視化平臺，幫助醫(yī)生進(jìn)行顯微手術(shù)。公司開發(fā)的智能、實時、3D可視化手術(shù)和計算機(jī)輔助指導(dǎo)平臺已獲得專利。

該系統(tǒng)使外科醫(yī)生能以3D方式錄制手術(shù)過程并以流媒體方式進(jìn)行手術(shù)視頻直播，使之成為一個全新的教學(xué)工具。公司開發(fā)的顯微外科手術(shù)的3D指導(dǎo)應(yīng)用，可以提高手術(shù)效率和對患者的治療效果。該系統(tǒng)可用于顯微外科、眼科和神經(jīng)病學(xué)，可以與多種應(yīng)用平臺相整合，在某些平臺還可以與機(jī)器人手術(shù)相集成。全球上百家主流醫(yī)院和機(jī)構(gòu)均在使用該系統(tǒng)。

五、增強(qiáng)現(xiàn)實（AR）手術(shù)導(dǎo)航系統(tǒng)未來的發(fā)展探討

增強(qiáng)現(xiàn)實在臨床手術(shù)中的應(yīng)用橫跨計算機(jī)科學(xué)、計算機(jī)視覺、傳感器、通信、臨床醫(yī)學(xué)、人體工程學(xué)等諸多學(xué)科，技術(shù)涉及面極廣。從下面的增強(qiáng)現(xiàn)實（AR）輔助手術(shù)路線圖中可以看到： 未來追蹤技術(shù)和圖像處理將更偏向以深度學(xué)習(xí)為代表的智能技術(shù)，顯示器和傳感器將更偏向于與人體器官高度關(guān)聯(lián)的技術(shù)，如視網(wǎng)膜顯示器和人機(jī)共生技術(shù)。

同時增強(qiáng)現(xiàn)實輔助手術(shù)的發(fā)展也存在挑戰(zhàn)和阻礙，如針對某些顯示技術(shù)，將3D虛擬對象顯示成真實世界的圖像時存在挑戰(zhàn)；虛擬環(huán)境和真實環(huán)境的時間同步是所有AR系統(tǒng)的另一個挑戰(zhàn)，特別是快速透視變化；在手術(shù)的過程中，在有些情況下，圖像復(fù)合需要專業(yè)的計算機(jī)團(tuán)隊來執(zhí)行；增強(qiáng)現(xiàn)實手術(shù)導(dǎo)航系統(tǒng)與相關(guān)設(shè)備和解決方案之間的兼容性、互操作性有待優(yōu)化提高；數(shù)據(jù)隱私問題等。

結(jié)語

醫(yī)學(xué)手術(shù)導(dǎo)航是增強(qiáng)現(xiàn)實技術(shù)的重要應(yīng)用之一。在圖像引導(dǎo)手術(shù)時代，增強(qiáng)現(xiàn)實（AR）技術(shù)代表了將引導(dǎo)系統(tǒng)融合到手術(shù)工作流程中的下一個前沿。隨著顯示技術(shù)和交互技術(shù)的快速發(fā)展，在現(xiàn)代外科手術(shù)室中，增強(qiáng)現(xiàn)實（AR）的作用將會越來越大。