戴凌磊1，郝泳涛1
（1同济大学电子与信息工程学院 上海201804）
摘要：增强现实技术应用于外科手术可以减轻医生的手术负担，是未来的一个趋势。对于形变器官的实时数字物理耦合是其中的一个难点。本文对目前的相关方法和技术进行了详细的分析与讨论，总结出了三个需要解决的难点并归纳了相关的解决方案。
关键词：增强现实；外科手术；形变器官；数字物理耦合
在增强现实（AR）环境下，将三维模型与人体实时耦合能够大大提升外科医生的空间感知能力，从而提高外科手术的成功率。脊柱是人体最重要的器官之一，也是人体骨骼系统种容易受到损伤的部位之一，所以本文以脊柱为研究重心。对于脊柱相关的手术，外科医生需要充分考虑到手术过程中患者脊柱的形变情况，这极大程度上依赖于医生的经验及技术水平。但是如果可以实现患者脊柱模型与患者的实时耦合，就能够降低对医生的要求。因此研究手术中如何将三维器官模型与患者形变器官实时耦合将对医学手术领域具有极其重要的意义。
1.国内外研究概况及分析
1.1实时仿真
由于每一个患者的脊柱大小、形状以及病变位置各不相同，所以目前并没有统一的手术方案。因此，对于每一个患者，都需要利用计算机仿真技术构建生物力学模型，这能让医生熟悉特定脊柱的生物力学特性，而且能为术前规划提供帮助。有限元分析方法被国内外学者广泛运用在脊柱生物力学研究和虚拟仿真上。高瞻等采用了有限元分析、模态分析和模型约减技术，使手术过程中触觉交互的刷新率可以达到1000Hz以上并能保证足够的精度[1]。这为手术中实时掌握脊柱情况的准确性提供了保障。
姚欣强等针对脊柱截骨手术采用mVR（妙智科技有限公司，深圳）虚拟现实医学影像平台，其核心技术是运用快速并行光线跟踪渲染算法，在虚拟现实场景中进行实时测量及手术规划。该平台利用GPU加速算法实现模型的实时处理，医生可以实时观察选择不同截骨方式后平台输出的脊柱模型，最终对比确定最佳的截骨方式[2]。快速及准确的模型处理方式是实时耦合的基本要求，否则会干扰医生的判断。
于博等提出了基于虚拟现实技术的三维脊柱模型构建方法。该方法构建的脊柱模型有较高的分辨率和光滑性，能根据交互需要进行优化，且能在交互时实时模拟脊柱形变[3]。对器官形变方式的模拟可能可以应用于形变器官的实时耦合，比如结合实时CT提高形变后模型的准确性。
三维建模的真实性对医生的体验感影响很大，仿真度高的模型将增加医生的真实感，减少对医生感知的干扰，不论在培训中还是在实时手术中，提高模型的精度都有重要意义。
1.2实时定位
Wimmer等提出了一种新的脊柱标记框架，采用交叉模式和全自动的途径来标记椎间盘和椎骨在腰椎和胸椎的体积数据。其提供了一种适用于广泛不同序列和采集协议的算法，通过结合局部熵优化的纹理模型和卷积神经网络来自动定位骶骨区域。并在161个公开的扫描仪上评估了该方法。结果表明，该方法可以处理广泛的不同的Mr协议以及CT数据；骶骨检测率为93.6%；不同的扫描组的平均中心精度范围为2.5±1.5至5.7±3.8毫米，取得了很高的骶骨定位精度，并显示了良好的标记结果[4]。
这种定位技术对术中脊椎形态变化的检测具有很重要的意义。
Korez等描述了一个新的框架，自动脊柱和椎骨检测及从三维CT图像中分离。研究应用一种基于插值理论的新优化技术来检测三维图像中整个脊柱的位置，并利用所获得的整个脊柱的位置，进一步检测脊柱内单个椎骨的位置。所获得的椎体检测结果代表了一个精确的初始化，这是通过一种改进的形状约束变形模型方法。该框架在两个公开的50个腰椎和170个胸腰椎的CT脊柱图像数据库上 进行了评估，与相应的参考椎骨分割进行定量比较后，椎体检测的总平均质心-质心距离为1.1mm，骰子系数为83.6%，总平均对称表面距离为0.3mm，骰子系数为94.6%。结果表明，应用所提出的自动检测和分割框架，可以成功地对CT脊柱图像进行三维精确的检测和分割[5]。脊柱图像的检测和分割可以将脊柱模型分割成一个个活动关节，将整体形变转换成局部形变，可以大大减少实施建模的难度。
2.主要难点与解决方案
第一个难点是实时仿真的刷新率。
脊柱的形变是几何非线性的，对实时仿真刷新率的要求很高，需要达到1000Hz以上。提高刷新率的方法有两种，一种是提高计算机处理速度，比如引入GPU加速，这是比较简单的加速方法，但是过分依赖于硬件，而硬件速度是有上限的；一种是简化建模过程，比如 模型约减技术，本质是将状态空间中原高自由度系统投影到合适的低自由度子空间中并且该子空间中的系统能够近似表示原系统的特性。建模过程的简化是算法层面的加速，在保证分辨率和精度的条件下尽可能的缩减计算步骤，这是解决仿真刷新率难点的关键方法。
第二个难点是AR环境中对虚拟模型的操纵。
在手术过程中，医生的双手往往忙于手术而难以脱离，为了避免需要控制AR系统而使医生中断手术，Sadri等开发了一种免手动方法实现在患者特定的数字器官模型上进行3D转换。在这里，用户可以向右或向上旋转头部，使肝脏模型变大，向左或向下，使其变小[6]。目前的AR设备可以提供很多不需要双手的模型操纵方式，比如凝视点击和语音控制。
对医生双手的解放可以避免医生中断手术引起的注意力分散问题，为AR辅助手术的安全性和效率提供了有效的保障。
第三个难点是骨骼的刚性变形和脏器的柔性变形对术中器官的定位造成的影响。
Yu等提出了一种主机网格拟合算法来模拟躯干因吸入效应而引起的变形，考虑了不同器官的变形特性，建立了以躯干为基准的定位模型，这对术中器官定位具有重要意义。模型的初始放置是基于模型的器官分割的一个重要的预处理步骤[7]。根据器官随脊柱运动及其相对位置保持相对稳定的观察，Yao等建立了一个统计定位模型(SLM)，并将其应用于腹部器官定位[8]。该模型是一个点分布模型，它从正常人的训练集中学习器官位置相对于脊柱的变异性模式。定位可以在三个阶段中实现：脊柱对齐、模型优化和位置细化。通过对每个器官建立的概率密度模型的最大后验估计，优化了SLM。该模型包括五个器官：肝脏、左肾、右肾、脾脏和胰腺。该方法在12个腹部肌腱切除实验上进行验证。实验表明，SLM 对参考模型的选择具有鲁棒性。
3.总结与展望
随着科技不断发展，AR在医学中应用也越来越广泛，这极大程度推动了医疗水平的发展。在AR的辅助下，手术效率和成功率也得到了极大的保障。现有仿真手术通过数字人体器官模型等对医生进行培训，已取得很好的效果。而在实时手术中，尤其是跟人体脏器和脊柱相关的手术目前面临众多难题。术前对患者器官进行建模，在术中可以通过数字模型对医生进行引导，这有助于进行手术预判，但前提是数字模型和患者器官能做到实时精确耦合。然而术中患者进行呼吸或者移动导致器官形变会给耦合带来困难。本文对现有的形变器官实时耦合方法以及相关技术进行了分析和研究，总结出了三个难点并归纳了解决方案，对形变器官实时耦合系统的开发提供了一定的借鉴意义。
参考文献
[1] 高瞻,孙万捷,王杰华,蒋峥峥,武卫翔,陈恩高,潘飞.基于模型约减的虚拟脊柱及实时仿真[J].系统仿真学报,2013,25(09):2015-2019+2026.
[2] 姚欣强,张晋元,王海明,黄志平,朱永健,吴晓亮,郑明辉,蒋晖,朱青安,陈建庭.虚拟现实平台在脊柱畸形截骨矫形手术中的应用[J].中国矫形外科杂志,2018,26(09):850-854.
[3] 于博,陈彦,彭丰平,靳安民,舒小秋,刘成龙,鲍苏苏.基于虚拟现实技术的脊柱三维仿真模型的建立及应用[J].中华神经医学杂志,2009(01):61-63+66.
[4] Maria Wimmer et al. Fully automatic cross-modality localization and labeling of vertebral bodies and intervertebral discs in 3D spinal images[J]. International Journal of Computer Assisted Radiology and Surgery, 2018, 13(10) : 1591-1603.
[5] Korez Robert et al. A Framework for Automated Spine and Vertebrae Interpolation-Based Detection and Model-Based Segmentation.[J]. IEEE transactions on medical imaging, 2015, 34(8) : 1649-62.
[6] Grinshpoon A , Elvezio C , Feiner S K , et al. Manipulating 3D Anatomic Models in Augmented Reality: Comparing a Hands-Free Approach and a Manual Approach[C]// 019 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). IEEE, 2019.
[7] Yu H , Ho H , Ba Rtlett A , et al. Modelling Respiration Induced Torso Deformation Using a Mesh Fitting Algorithm[C]// Asian Conference on Computer Vision. Springer, Cham, 2016.
[8] Yao Jianhua and Summers Ronald M. Statistical location model for abdominal organ localization.[J]. Medical image computing and computer-assisted intervention : MICCAI ... International Conference on Medical Image Computing and Computer-Assisted Intervention, 2009, 12(Pt 2) : 9-17.吧v吧
基金项目：上海市浦东新区科技发展基金人工智能产学研专项：基于数字物理系统耦合的医疗智慧空间构建，项目编号: PKX2019-R03
作者简介：戴凌磊（1996-），男，浙江人，硕士，主要研究方向为虚拟现实；郝泳涛（1973-），男，山东威海人，教授，博士生导师，研究方向为企业信息集成系统，知识处理与挖掘，智能设计，分布式智能系统和虚拟现实技术等。