增强现实技术手术导航在颌面外科的应用进展
夏宋夏 卢建建 解芳 滕利
本文来源:《中华整形外科杂志》2023年7月 第39卷 第7期
DOI:10. 3760 / cma.j.cn114453-20211007-00399
作者单位:中国医学科学院北京协和医学院整形外科医院颅颌面整形二科, 北京100144
通信作者:滕利,Email: tenglidr@sina.com
【摘要】
随着增强现实技术的迅速发展,基于增强现实的手术动态导航系统逐渐完善,在急需实时精确导航定位的颌面外科中应用较多。该文综述了增强现实技术手术动态导航系统的构成、颌面外科临床的应用现状及其存在的不足,以期对进一步研究和大面积开展增强现实技术手术动态导航有所助益。
【关键词】增强现实;颌面外科;数字化;导航
基金项目: 2020年中国医学科学院整形外科医院院所基金项目(YS202026);2019年中国医学科学院整形外科医院校科研项目(3332019060);2019年国家重大疾病多学科诊疗合作项目(1112321005)
Progress on the application of augmented reality technology surgical navigation in the maxillofacial surgery
Xia Songxia, Lu Jianjian, Xie Fang, Teng Li
The Second Department of Craniomaxillofacial Surgery, Plastic Surgery Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College, Beijing 100114,China
Corresponding author: Teng Li, Email: tenglidr@sina.com
【Summary】
With the rapid development of augmented reality, the surgical navigation based on augmented reality technology improved gradually, especially in the field of maxillofacial surgery, where real-time and accurate positioning is required. This article reviewed the structures of augmented reality surgical navigation system, its clinical applications in the field of maxillofacial surgery and its deficiencies, in order to provide benefits to the further research of augmented reality surgical navigation.
【Key words】Augmented reality; Maxillofacial surgery; Digitization; Navigation
Fund program: Project of Plastic Surgery Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College (YS202026); Project of Plastic Surgery Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College(3332019060); National Major Multidisciplinary Diagnosis and Treatment Collaboration Project (1112321005)
Disclosure of Conflicts of Interest: The authors have no financial interest to declare in relation to the content of this article.
颌面外科解剖结构复杂,需要高精度的术前计划和术中操作。早期颌面部的截骨及塑形依靠术者的经验完成,后随着数字化技术的应用,如基于虚拟手术、三维打印快速成型的手术导板等,提高了手术效率和截骨塑形的精度、保证了手术的安全性[ 1 ]。但静态的手术导板只可根据原定的术前设计予以引导,无法在术中根据实际变化适当调整手术方案,并且无法显示邻近的组织、神经、血管的解剖位置关系。增强现实(augmented reality, AR)技术的手术动态导航的出现,使术中实时精确定位操作位置、可视化周围解剖结构成为可能[ 2 ]。本文综述了AR技术手术动态导航系统的构成、在颌面外科临床的应用现状及其存在的不足,以期对进一步研究和大面积开展AR技术手术动态导航有所助益。
一、AR技术概述
AR技术是通过将计算机生成的虚拟内容叠加到真实物体上来增强环境、增强对现实的感官感知[3]的一种技术。Augmented reality一词是由Caudell和Mizell[ 4 ]首创的,但其起源可以追溯到第二次世界大战时期英国的机载雷达导航系统[ 5 ]。1968年,Sutherland开发出了头戴式显示器,标志着AR的正式诞生。
AR常与虚拟现实(virtual reality, VR)相提并论,实际上AR可以看作是VR的子集。VR使用户可以实时地与虚拟环境交互,主要特征是沉浸感和交互性[ 6 ],但用户与单纯虚拟环境交互难以应用于现实中的手术操作[ 7 ];AR则在真实物体上覆盖虚拟环境,增强用户的感官感知,用户交互的仍是真实物体,使其在外科手术中更加实用。有学者认为混合现实(mixed reality, MR)结合VR和AR,代表了这类技术的最新发展[ 8 ],对于术前虚拟手术计划能有更良好的显示效果,也并无恶心、晕动症等VR应用后的躯体不适,但MR在手术中的应用尚未见科学研究[ 9 ]。
AR应用广泛,在医疗领域,国内外许多外科医生检验了AR辅助手术的可行性,AR还被应用于治疗心理障碍、认知障碍和运动康复。此外,对于医学教育、远程医疗,AR也有其优势[ 10 , 11 ]。
二、基于AR技术的手术动态导航系统
传统手术动态导航系统的基本原理是将患者术前数字化信息构成的虚拟坐标系,与术中解剖部位和手术器械的现实坐标系相匹配,进行图像配准,在显示屏上实时显示病变、特殊解剖标志或探头的精确位置及相对位置关系[ 12 ]。1986年,Roberts等[ 13 ]首次发明了超声定位的手术导航系统。1993年,首个红外线跟踪的光学手术导航系统应用于临床[ 14 ]。因手术动态导航可以提高手术精确度,许多外科医生已将其应用于临床。
但传统手术动态导航存在诸多不足。一方面是导航技术中的配准问题,配准所需的基准标志物可分为自身解剖标志物和外加标志物。人体自身解剖标志物包括体表各种有较高辨识度的组织,如鼻尖、外眦等[ 15 ]。外加标志物又分为侵入性标志物和非侵入性标志物,前者如固定在面部骨骼上的螺钉、立体框架等,后者如嵌在口内咬合板的钛钉、支撑于咬合板的方形标志物等。基准标志物是精确图像配准所必需的,但外加标志物对患者来说是一种侵入性的操作,或需要繁琐铸型[ 16 ]。且如果标志物术中有移动,配准可能会失效而需要重新配准,为避免这种情况,有时需在患者身上附加参考标记,过多的标记和流程会干扰正常手术,并可能导致安全问题。另一方面,传统动态导航是二维导航,与三维物体的视觉感知相比,二维投影缺少2个给观众深度感知的重要视觉线索即立体视差和运动视差[ 17 ],手术医生对于深度感知较差,不利于精细化操作。基于三维图像叠加和立体跟踪的无标记图像自动配准的AR技术手术动态导航系统,可以在一定程度克服上述缺点。
AR导航系统,使计算机渲染后的虚拟立体图像能与现实术野中患者的解剖结构相重合[ 18 , 19 ]。该系统必须的构成装置包括立体摄像机跟踪装置、三维显示装置、图像覆盖可视化装置、图形处理计算机。立体摄像机负责跟踪配准标志物和手术器械;三维显示装置负责将术前影像学资料成像;图像覆盖可视化装置负责将虚拟图像叠加到真实术野,外科医生可从此观察术区实现AR动态导航;图形处理计算机负责术中图像处理。一个良好的AR系统,应具备以下功能:真实和虚拟数据源、配准、跟踪、可视化处理、显示、感知位置和反馈机制[ 20 ]。
三、AR技术手术导航在颌面外科的应用及其优势
(一)AR导航对颌面外科手术精准度的提升
Wang等[ 21 ]使用AR动态导航对6个牙齿模型和1例患者进行手术,术后结果与预先设计的手术计划只有1 mm的误差,但该AR系统的虚拟图像覆盖深度只有60 mm,不能应用于口内深部手术,图像帧率每秒7~10帧,患者必须保持静止,否则将不能实时AR导航。该团队于2019年改进AR设备[ 18 ],使用2个立体摄像机负责配准、跟踪,用半镀银镜进行术野可视化,提高了深度感知。Murugesan等[ 22 ]提出旋转矩阵和平移向量算法来减小配准误差和AR可视化覆盖误差,以获得更好的手术效果,作者对不同年龄段的8个上、下颌模型进行AR导航手术,术后误差相比Wang等[ 21 ]的试验减小了0.30~0.40 mm,图像帧率提高到了每秒10~13帧。
与传统光学导航类似,AR动态导航是否可靠也依赖于配准的确切程度[ 23 ]。AR导航的配准取决于立体摄像机、术前影像学资料,由术前CT得到的数据中,刚性的齿、骨结构配准可靠,而对于口内手术,牙齿部分被牙龈覆盖,牙龈软组织较易变形,会导致牙龈和牙齿之间的边界形状在AR显示中出现缺损和畸变,从而产生对配准精度的不利影响。Dang等[ 24 ]在术前影像学采集中添加口内三维扫描项目,并以猪离体下颌模型和三维打印人颌骨模型为实验对象,评价了AR图像覆盖的可视化误差,平均误差小于0.50 mm,配准时间小于0.5 s,同时为1例牙根处上颌囊肿患者进行AR导航手术治疗,术前在CT图像上进行虚拟手术计划,术中按导航进行操作,术后再进行CT扫描比对,实验表明AR足够精确,可以对准牙尖,并将图像覆盖颌骨曲线。
(二)AR导航与传统导航和无导航手术的横向对比
Ahn等[ 25 ]设计了5例基于上颌模型的LeFort Ⅰ型截骨手术计划,来比较AR导航与红外线传统光学手术导航的手术精度与成本。传统导航为对照组,采用Stryker系统和Brainlab Kolibri系统,结果表明传统光学导航系统平均误差为0.058 4 mm,AR导航系统为0.059 6 mm;传统光学导航系统平均准确率为98.83%,AR导航系统为98.81%;AR导航系统的最高成本大约是对照组成本的十分之一。该实验证明了AR导航的可靠性、准确性和经济性。
Glas等[ 26 ]将AR动态手术导航与颌面手术的金标准传统导航系统(Brainlab)进行了易用性和导航精度的比较,在AR系统里,导航信息可检索,外科医生可进行偏好设置,并能通过语音和自定义手势与系统进行交互。该试验选取12位男医生作为参与者,按要求分别使用AR动态导航系统和Brainlab系统完成模型手术计划,例如沿着计划路径到达肿瘤、置入置入物、截骨。参与者在完成所有任务后填写问卷,在易用性、精确度、效率和使用难度等方面对该技术进行总分为5分的Likert评分, 虽然相对于传统导航,参与者不熟悉AR原理(评分2.25分)和手势互动(评分2分),但在AR图像覆盖术区的帮助下,计划的手术任务更易实现(Brainlab难度评分为3.25分,AR为2.4分),操作直观性得分也高于平均水平。同时,对试验情况做统计学分析发现,AR导航准确率更高、更不易偏离目标(P<0.001),但对基准标志物的识别并无优势(P=0.087);对于AR有经验的参与者,所耗费的时间更短(P=0.042);2组设置的任务路径距离无明显差异(P=0.200),但AR组完成任务的轨迹距离更短(P=0.035)。
Qu等[ 27 ]利用AR导航确定半侧颜面短小畸形手术的截骨线,该试验将20例半侧颜面短小畸形患者分为AR组和常规手术组,发现2组间下颌骨冠状突、髁突至截骨线的距离有显著差异(P<0.01),2组外板置入位置与术前设计的偏离也存在显著差异(P<0.01)。Tan等[ 28 ]利用AR导航技术放置牵引器,表明术中虚拟引导在提高牵引成骨的准确性和恢复面部对称性方面具有重要价值。
(三)AR导航对不同对象的差异
目前AR手术动态导航在模型上验证较多,受试者试验较少,Benmahdjoub等[ 29 ]研究比较AR辅助手术导航对模型和受试者是否存在精准性上的差异,发现AR导航在受试者上的手术精度比在模型中低,其中受试者手术误差0.43~4.34 mm,模型操作误差为0.02~2.97 mm。使用不同的图像覆盖可视化装置,产生的精准度也有所不同,其中头戴式显示器误差最大,为0.46~4.34 mm,半镀银镜误差最小,为0.02~1.25 mm。
(四)AR导航在教学和医患交流上的应用
在颌面外科教学与医患交流上,使用AR也有其优势。传统的解剖教学需要大量遗体资源,而应用AR动态导航可以可视化用户自己身体的内部结构[ 10 ],能够减少遗体使用而达到同样教学效果。Pulijala等[ 30 ]的随机对照研究对低年资住院医师分别采用AR和传统课堂教学学习LeFort Ⅰ型截骨术后的胜任力区别,研究发现AR组参与者明显表现出更高的水平(P=0.034)。Li等[ 31 ]的研究表明,AR系统对手术效率的影响取决于外科医生的手术经验,使用AR动态导航对于经验较少的低年资外科医师而言,手术效率显著提高,而对于经验丰富的医师,手术时间的减少则并不明显。在一组关于腓骨瓣制备的教学比较中,AR教学组理论知识成绩优于传统教学组(P<0.001),AR教学组的划线时间和模拟截骨总时间用时较短(P<0.05),且调查问卷结果显示,AR教学组在提升课堂氛围、课程满意度、三维立体感方面均优于传统教学组(P<0.01)[ 32 ]。根据另一项调查,81%的医学生更喜欢将AR系统集成到实习计划中,而93%的医学生赞成在手术室使用AR动态导航系统[ 33 ]。在临床工作中,患者较难通过CT图像和模型直观了解术后效果,从而产生潜在的医患纠纷,而在AR技术的加持下,可将模拟的术后效果覆盖在患者自身上,从而在手术计划中帮助医生和患者达成共识[ 34 ]。
四、目前AR手术动态导航系统的不足
(一)图像配准相关
图像配准仍是限制AR实际应用的瓶颈[ 35 ]。AR动态导航多数采用基于点的配准方案,配准追踪的速度快、时间短。但手术过程中,因为出血、解剖等原因,标志点会有所改变,有些患者因基准标志点所在区域的主诉前来就诊,这时如选取该点作为配准点进行手术,并发症风险会增加[ 36 ]。而采取外加标志物作为配准点,则会限制患者活动或增加有创性操作[ 37 ],有学者提出用固定在上、下颌的咬合板进行图像配准,以增加配准图像面积[ 38 ],但这会给手术过程中的操作、器械的移动带来新的问题。未来的图像配准研究除了精度要求,还应考虑不给手术增加过多流程,不给患者带来额外损伤,包括侵袭性损伤、辐射损伤等。
(二)图像处理相关
图像配准后,由于图像处理速度较低,导致在快速移动术野时,叠加的三维图像不同步,现在多数系统采取的策略是在跟踪过程中不覆盖显示三维图像,当术区稳定时才叠加AR影像。未来的这一研究方向可以考虑实施分时跟踪和显示,让立体摄像机视频流交替执行跟踪和显示任务,并加强计算机能力,提高帧率,使跟踪和显示看起来同步[ 39 ]。
(三)AR图像覆盖相关
AR图像覆盖后可能产生疏忽性失明问题[ 35 ],疏忽性失明指因注意力投入到某一事物,而忽略其他意料之外的事物,尽管该事物完全可见。另外,目前的图像覆盖可视化装置存在诸多不便,头戴式显示器设备笨重,加重医生手术负担,半镀银镜体积较大,不便于移动;无论何种图像覆盖装置,都存在一定的AR可视化误差[ 29 ]。
五、总结与展望
AR技术手术动态导航系统在技术和临床上仍处于研究和开发阶段,并正在向临床应用迈出第一步[ 40 , 41 ]。目前,AR手术动态导航在模型上验证较多,各类研究也表明其在外科手术中,相比传统导航方式存在优越性。但作为新技术,AR动态导航尚未开展大规模临床试验,其使用环境在研究中与手术中有所差异,在手术时不规范操作导航可能导致的潜在后果等,都还需要进一步深入研究。为早日将AR手术动态导航系统引入临床工作,需要外科医生与工程师、统计学家积极合作,并努力在临床上推动这些创新。相信随着科技水平的提高、研究的深入、大规模临床试验的开展,基于AR技术的手术动态导航系统会不断完善,必将推动颌面外科发生巨大飞跃。
参考文献
......
中华整形系列讲读|开播啦
14
第十四期内容
乳房再造手术时机、分期名词规范和双血管蒂腹壁
下动脉穿支皮瓣乳房再造
长按识别二维码关注视频号
观看更多精彩内容
微信视频号|中华整形外科
中华整形外科杂志
2023年 ▶▶▶
订阅
期刊官网:http://zhzxwkzz.yiigle.com
2023年每期35元,共12期,全年420元。
邮局订阅:可在全国各地邮政局订购,邮发代号80-855
网上订阅:中华医学会杂志社菁医汇商城
网址:http://jingyihui.org/shop/product/show/0/2253.html
电话:010-51322386
微信订阅:直接扫描下方二维码(手机端长按识别进入),订阅全年各期或选择性订阅某期《中华整形外科杂志》
过刊购买:中华医学会杂志社菁医汇商城,网址:http://jingyihui.org/shop/product/show/0/2253.html
目前可购买的过刊期有:目前可购买的过刊期有:2020-2022年1-12期. 电话:010-51322386
投稿方法:登录中华医学会网站http://cmaes.medline.org.cn,进行注册。注册成功后,申请成为《中华整形外科杂志》作者,即可投稿。如有问题,请致电:010-53968262。
推荐阅读
虚拟现实和增强现实技术在整形外科中应用的研究进展
增强现实视觉技术在整形外科领域的应用进展
数字化外科技术在颅颌面修复重建中的应用及进展
原创文章,作者:中华整形外科,如若转载,请注明出处:https://www.meiye.net/408170.html