虚拟现实及增强现实在整形外科中的应用

    虚拟现实(virtual reality，VR)技术最早于20世纪90年代被引入医学领域，用于临床训练、术前规划、提供术中三维视觉信息等[1,2]。如今随着科技的进步，VR及增强现实(augmented reality, AR)设备变得更容易获得，显示效果、追踪定位精确度也有了很大的提升，此类设备已被越来越多地用于医学领域中。相对于二维图谱、照片等影像学资料，三维实时图像可以提供更准确直观的信息。VR及AR技术的应用可以为医生提供更全面的术前规划，实现术中导航指引，缩短手术时间，增加手术精度和提高手术效果，并可以提升临床教学、康复训练效果[3,4,5,6,7]。本文总结了VR及AR技术在整形外科中的应用及其优缺点，以期为今后的临床研究和实践提供线索与借鉴。

     一、概念

    (一)虚拟现实

VR技术的发展可以追溯到20世纪60年代，1965年Sutherland[8]提出了一种全新的概念，使用者可以通过显示窗口如同在真实世界中一样观察和感知虚拟世界。此后根据应用场景不同，许多关于VR的定义被提出，但都包含3个基本特征——沉浸、交互和构想(immersion, interaction, imagination)[9,10]。人们可以进入计算机所创造出的虚拟环境中与之互动，而不是从外部真实世界观察和操作。获得沉浸感的程度取决于计算机所能模拟的感觉的数量、环境的真实度以及与环境的交互反馈[10,11]。

    (二)增强现实

    与VR通过佩戴头部显示器将电脑生成的数字环境完全替代真实世界不同，AR技术将计算机产生的图片、视频等虚拟内容实时叠加于真实世界环境之上，使两者相互融合[12]。工程师Azuma等[13]曾提出，AR应该具有以下3个特征：(1)将虚拟与现实物体在真实世界中结合；(2)具有实时交互功能；(3)虚拟信息与真实环境在三维空间位置相互配准注册。AR设备涵盖从简单地将虚拟影像叠加于视频图像之上的手持设备，到拥有透光镜片，可以将虚拟信息投射于周围真实环境之上的头戴显示器等多种形式[14,15]。VR和AR具有一定共性，他们均属于混合现实的范畴，只是"虚拟"与"现实"部分相混合所占的比例不同[16,17](图1)。如今，不同程度的混合现实设备正不断地被尝试和运用于整形外科领域。

    二、VR及AR在整形外科中的应用

    (一)术前手术设计与模拟

    在颅颌面外科手术模拟中，Olsson等[18]设计了一种由半透明显示器工作台、三维定位眼镜以及触觉反馈操纵杆等组成的术前AR模拟系统，用于模拟下颌骨切除术及相应部位的腓骨移植术，发现通过术前模拟可以明显缩短实际手术时间。在下颌骨骨折重建手术中，Zhang等[19]设计了类似的触觉反馈装置，用于术前模拟及手术教学。在另一项模拟颞骨手术的研究中，研究者设计了一套算法用于在VR下模拟颞骨磨骨手术[20]。Fushima和Kobayashi[21]设计了一套混合现实设备，通过同步电脑三维模型与现实中的铸造模型位置来进行正颌手术的术前模拟。电脑显示屏显示模拟截骨后骨骼的变化，而铸造模型可以直观展示出牙齿咬合位置的变化，其误差可以控制在0.32 mm内。Moore等[22]进行了一项队列研究，发现在术前使用三维建模虚拟手术可以增加上颌骨重建手术效率，减少外部切口的运用及相关的并发症。

    在颅颌面外科术前手术设计方面，Ikawa等[23]通过VR三维重建，在电脑中设计了用于下颌骨重建的钛网，帮助患者恢复外观及功能。在上下颌二期修复重建手术中，Stranix等[24]通过VR算法，使用患者损伤前影像资料、健侧镜像以及正常标准资料进行术前手术规划与虚拟重建，克服了二期修复手术正常解剖标志缺失的问题，增加了手术精准性。Cho等[25]开发了一种全息颅面部手术规划程序(craniofacial surgical planning, CFSP)，并将其应用于面部移植手术中。相对于修改后不能复原的术前三维打印模型，借助微软HoloLens进行全息虚拟规划，在可以提供无限重复训练次数的同时，还可以有效节约制作成本与前期准备时间。

    在游离皮瓣移植手术中，微软HoloLens还被研究者用于腹壁下动脉穿支(deep inferior epigastric perforator，DIEP)皮瓣的术前定位，研究者借助患者体表的痣将三维模型与患者注册配准，并通过体表二维码标记进行实时追踪，显示解剖结构辅助皮瓣的选择[26]。Cifuentes等[27]设计了一套AR系统，将动态红外热成像图像投影至大腿前外侧，用于帮助寻找穿支血管，进行皮瓣设计。这一方法有助于医生短时间内寻找到合适的穿支皮瓣，并且拥有很高的准确性。在一项随机对照试验中，研究者使用特殊设计的投影仪将CT血管成像(computed tomography angiography，CTA)重建后的图像直接投射于患者的腹部，用于辅助乳房重建患者DIEP皮瓣的设计。研究结果表明，相对于使用多普勒超声定位的对照组，试验组在术中能准确定位更多的穿支，同时皮瓣的获取时间也显著缩减[28]。Pereira等[29]提出了一种更为简便的方法，利用智能手机中的AR软件将CTA重建的三维图像与真实患者图像相结合，用于术前旋髂浅动脉穿支皮瓣的设计。研究结果显示，此项技术与多普勒超声验证的一致性达到100%，并且有助于节约手术时间，改善手术效果。在一篇meta分析中，研究者纳入了23项研究，共713例患者，评估使用虚拟手术规划(virtual surgical planning, VSP)进行腓骨游离皮瓣头颈部重建手术的效果。分析结果显示，与传统手术相比，VSP可以显著减少术中出血与手术时间，减少手术误差[30]。

    此外AR技术还被用于乳房及面部的外观评估。Vos等[31]将术前磁共振成像(magnetic resonance imaging，MRI)影像转化为三维全息模型，用于精确测量乳腺肿瘤的大小，预测术后外观效果。Dornelles和Alonso[32]通过三维扫描仪扫描并重建患者面部的三维模型，计算局部体积变化。Wei等[33]制作了一款手机应用程序，可以利用摄像头追踪面部解剖标记并定量分析面部的对称性，有助于术前手术方案的制定。

    (二)术中导航

    在手术导航方面，多数研究运用AR技术将CT、MRI等影像资料进行三维重建，并将虚拟的三维模型叠加于现实中的对象，通过头戴显示器、投影等显示图像，依靠追踪设备实现实时术中导航。

    在颅颌面外科中，Zhu等[34]进行了一项回顾性研究，纳入93例下颌角肥大重建术后患者，术前对患者头部CT进行三维重建，并规划截骨线，术中通过与患者口中咬合板相固定的标记物注册进行跟踪。研究发现，相比于经验判断，运用AR术中导航技术时，术后实际与术前规划的截骨线误差显著降低[AR组为(1.18±0.34)mm，经验判断组为(3.64±0.77)mm，P<0.01]。Cercenelli等[35]运用VOSTARS增强现实系统，通过咬合在模拟人口中的追踪球进行实时定位，对人体模型进行Le Fort Ⅰ截骨的精度可以达到±1 mm，表明该系统是一种准确可靠的术中导航方案。为辅助治疗头面部骨纤维异常增殖症患者，Liu等[36]利用三维重建与AR技术，在术中导航的过程中不仅可以实时监控肿物切除情况，还可以在钻头接近术前设计界限时进行提醒，提高手术的精确度与安全性，手术误差可控制于(1.442 ± 0.234)mm。Lin等[37]报道了使用AR技术进行下颌角截骨术的研究，通过追踪连接在下颌骨上的二维标志物将虚拟与现实结合，并通过头戴显示器观察手术规划路径，引导手术进行。固定在骨组织上的标记方法是目前最精确的注册追踪方法，但因其有创性而使应用受限[38]。Wang等[39]结合AR技术研发了一种无创注册技术。研究者将患者牙齿模型与术中实时影像中的患者牙齿相配对，从而达到注册和追踪的目的，其误差可以控制在3 mm内。Hou等[40]在动物实验中使用二维标记物咬合板进行注册追踪，在AR环境下对狗进行下颌骨截骨术，提供了一种简单而精确的注册跟踪方法，研究发现截骨长度误差为(0.20±0.51)mm，角度误差为(0.66±0.97)°。

    AR技术同样也被运用于皮瓣移植手术引导中。在狗的皮瓣移植实验中，Jiang等[41]将追踪标志物固定于狗的肩胛骨，通过ARToolKit软件将CTA图像与现实手术环境相叠加，以便手术医生在AR环境下快速定位及获取皮瓣。不过由于软组织形变等原因，该方法的手术误差较大，为(3.474± 1.546) mm。在另一项研究中，Pratt等[42]借助HoloLens在6例下肢重建手术中进行AR导航获取皮瓣，术中借由软件识别体表标志物将虚拟模型与患者相结合，精确获取穿支血管位置，减少了手术时间。

    (三)模拟训练及医学教育

    由于整形与修复重建外科的特殊性，病种多样、患者诉求各不相同，在诊疗过程中往往缺乏可重复性。此类手术不仅要求对局部生理功能的改善，还要求医生掌握一定的人体美学知识，手术方式复杂多变，难以轻易掌握。此外，出于各种原因，患者及上级医生对年轻医生往往缺乏足够的信心，使得年轻医生没有足够的实际临床操作机会。此时VR及AR技术便可以让年轻医生在避免由于经验不足而引起医疗事故的同时，得到更多的锻炼和独立"手术经验"[43]。早在2013年，Flores等[44]进行的一项前瞻性随机试验中就发现，数字动画演示相比书本是一种更加高效的教学媒介。而相对于传统的"二维"学习方式，如教科书、论文等，三维模型可以降低学生的认知负荷，更有利于学习解剖学等对空间与范围感知要求较高的课程，有助于空间视觉能力的锻炼[45,46]。

    在解剖学习方面，Kumar等[47]通过摄像机组将解剖过程一步步记录并制作成三维模型，再借助AR技术还原，形成沉浸式的教学系统。在一项针对颅椎交界处畸形的解剖学习的随机对照试验中，研究人员分别对比了三维打印模型、VR眼镜、传统物理模型的学习效率，发现VR在提升受试者对解剖结构理解方面有着极高的价值[48]。在另一项前瞻性、随机、单盲试验中，35位医学生被随机分为2组，分别通过传统教科书与虚拟手术模拟器进行唇裂修复手术的学习，并由2位专科医生对学习后的成果进行打分。结果发现使用模拟器学习的效果相对于传统教科书有显著的提升[(5.81 ± 2.01)分vs. (2.68 ± 1.49)分，P<0.01]，说明手术模拟器是一种更加清晰与高效的学习方式[49]。Coelho等[50]通过真实病例的影像学资料建立了一套AR训练模型，将硅胶模型与VR软件相结合，模拟颅缝早闭手术的全过程，有助于缩短医生的培训时间与学习曲线，在参与研究的外科医生中获得了积极的响应。

    在手术训练与远程指导方面，Greenfield等[51]报道了1例通过AR技术远程指导手部重建手术的案例。1位医生通过在电脑上画出重要的解剖标志，并同步显示于手术台上医生佩戴的AR眼镜上，指导手术医生进行修复重建治疗。这表明AR技术不仅可以运用于课堂教学，还可以用于远程医疗，实时指导治疗。在唇裂修复手术中，Vyas等[52]引入了类似的技术。在该研究中，美国专家通过AR技术远程指导秘鲁医生进行唇裂修复手术，在经历为期13个月的训练后，受训医生在诊断、术前评估、术中决策、手术技巧等方面都有显著的提升。Liu等[53]集成了HoloLens与三维光学追踪技术，开发了一套用于手术模拟训练与远程手术指导的新系统。该系统在手术训练中可将预先录制好的虚拟手术场景和注释与实际手术场景叠加，使受训者能够按照相应指令进行操作；在远程指导手术中，将虚拟手术场景与实际手术场景相配对注册，经验丰富的外科医生远程控制虚拟手术刀，为操作者提供实时指导。这说明AR技术在远程医疗指导方面有着很大潜力，尤其是对于交通不便的偏远地区，更能够发挥其快捷便利、生动形象的优势。

    此外，在患者宣教方面，AR技术也起到了良好的作用。由于医学知识专业性极强，传统文字宣教手册对于普通人来说往往晦涩难懂。来自英国格拉斯哥的团队开发了一套AR宣传册。患者通过手机APP摄像头扫描手册上的照片时，便会显示三维模型、动画、视频等形式的资料。与传统信息源相比，AR的可视化模式减少了认知负荷，使患者更容易理解手术与治疗的过程，减少焦虑情绪[54]。

    新型冠状病毒肺炎的大流行引发了世界性的公共卫生危机，同时也扰乱了传统的医学教育训练流程。在这样的国际环境下，通过互联网平台开展授课、虚拟研讨会的需求大幅增加，在线远程授课系统得到充分发展。不断有研究者探索VR与AR技术在远程医疗教育中的应用，并取得了积极的反馈[55,56]。医生可以使用诸如Proximie等教学平台进行远程训练与交流，随着网络通讯技术的发展与软硬件设备的逐步完善，远程教学有望在未来取代部分线下教学，使受训医生有机会接触更丰富的教学资源[57,58]。

    三、总结与思考

    (一)当前设备的总结与对比

近年来VR及AR在医学领域的研究引发诸多关注，促进了医疗方式的信息化发展，软硬件设备也不断推陈出新。在硬件方面，最简单的设备仅利用智能手机配合相应的软件，通过摄像头，将重建完毕的解剖结构与人体相配准，便可达到可视化的目的[29,33]，例如通过智能手机引导在皮肤表面画出淋巴管走行，辅助术前规划[59]；或是加装VR盒子，患者术中佩戴，用于分散注意力，缓解术中焦虑，帮助配合医生进行治疗等[60,61]。但这一类设备往往精度不足，虚拟模型与现实物体之间的割裂感较严重，更适合用于初期手术规划或是教学演示[54]。

    在此基础上有研究者借助投影仪，将图像直接投射于体表[27]。例如Chan等[62]利用实时追踪技术与微型激光投影仪，开发了一套AR术中导航系统，将CT、MRI、正电子发射断层显像(positron emission tomography，PET)等多模态图像投射于小鼠身体，能够以(0.55±0.33)mm的精度提供目标的解剖定位，改善组织结构的可见性。这一方法直观清晰，医生可以直接在患者体表进行规划与引导操作，但此类设备可能会受到光线与投射角度的影响，且对于三维结构的展现能力较差。

    利用头戴显示器或屏幕可兼顾可视化效果与沉浸体验，配合目标注册追踪技术的AR设备则具备更广阔的应用场景。一般这类设备具有2种设计思路：第1种为sAR(simple augmented reality)，通过追踪手术器械如穿刺针、截骨锯等，将虚拟三维模型或其他影像资料以及相应规划的手术路径与手术器械的虚拟模型一同显示于显示器上，医生在屏幕上数据的引导下进行操作；第2种为nAR(navigated augmented reality)，医生佩戴头戴显示器，直接将虚拟影像资料注册并叠加于真实手术区域，使手术医生可以同时观察真实解剖结构与重建的三维模型等图像[63,64]。这类设备相较于手机及投影等设备，显示信息量更全，有着良好的空间视觉效果，将虚拟图像与现实物体融合度最高，表现最直观，但是往往组成较为复杂、硬件要求更为严格、研发成本高昂。

    (二)当前设备的不足

    将VR与AR技术应用于手术教学、规划、导航等领域是一项革新。虽然该技术已经被讨论并尝试应用了数十年，然而这一新技术仍然存在一些缺点，距离其在临床上的广泛推广还有很长的路需探索[65]。除了当前硬件设备显示的清晰度、模拟的真实性有待提高之外，注册追踪技术的准确性和稳定性也仍需改进。目前常用的注册追踪手段主要包括：体表标志匹配、二维追踪标记、光学追踪球等[37,66,67,68]。对于较为坚固的组织如骨骼，有着较好的引导作用，而应用于软组织时，如获取皮瓣，手术误差较大[35,41]。此外，配置VR或AR设备的费用较为高昂，这无疑增加了医院和患者的负担，需要权衡与患者受益之间的成本-收益比。如果在术中运用AR技术，手术医生佩戴的头部显示器等设备会给身体增加额外的负重或造成不适，而叠加于现实场景上的图像、数据等又可能造成注意力分散，以及对意外事件反应能力的下降。最重要的是，这一技术在整形外科中的运用还缺少高质量研究证据的支持和证明，现有研究多停留在初步阶段，有待进一步的验证[69,70,71]。

    四、展望未来

    在科学技术日新月异的今天，VR与AR技术逐渐被引入医学各领域。在整形外科中的手术规划、术中导航等方面，该技术为医生提供更全面的三维参考信息，节约手术时间，提高手术效率。此外，可视化技术在整形外科教学与远程医疗领域有着极大的优势。虽然，由于当前软件、硬件以及费用等原因，这些技术在整形外科中尚不能广泛普及，相信随着计算机科学、显示技术、追踪导航技术的不断进步，VR和AR技术的潜力将被逐渐挖掘与释放，最终推动传统整形外科医疗模式的革新。

    利益冲突 本文作者与论文刊登的内容无利益关系

参考文献

......

第十四期内容

乳房再造手术时机、分期名词规范和双血管蒂腹壁

下动脉穿支皮瓣乳房再造

虚拟现实技术在整形外科的应用体会及研究进展

虚拟现实和增强现实技术在整形外科中应用的研究进展

三维人脸虚拟整形系统的临床应用