毛孝鑫1，郝泳涛1
( 1.同济大学CAD研究中心，上海 201804)
摘要
医学成像的进步使得外科医生能够通过分析CT图像以及三维重建得到的3D模型来确定疾病成因。本研究首先分析了传统的CT图像分割方法，包括基于阈值，边缘检测和区域增长的方法，以及常见的基于体绘制和面绘制的三维重建技术；然后对目前十分流行的基于深度学习的图像分割与三维重建技术进行了简述；最后对目前常用的三维重建软件进行了介绍，并对其存在的问题及未来可能的发展方向进行讨论。
关键词：医学CT；图像分割；三维重建；深度学习
1.传统CT图像分割与三维重建方法
图像语义分割是指对图像的每个像素点进行分类，划分属于同一类别的像素进而实现图
像分割。传统的图像分割算法主要包括有：如基于阈值的分割方法，基于边缘检测的分割算法以及基于区域增长的分割算法。基于阈值的分割算法是指通过设定一组或多组阈值将CT图像按照灰度值的不同划分为若干部分，因为人体不同组织在CT图像中往往变现为不同的灰度值，这种分割方法是最为广泛使用且能取得不错效果的；基于边缘检测的分割算法一般也是根据图像不同组织区域边缘像素灰度值的不同，通过其导数变化计算的方式确定边界位置，进而完成不同组织区域的分割任务。基于区域增长的分割算法的中心思想则是将拥有相似特性的像素聚集在一起，然后把这些像素组成一个区域，进而达到分割的目的；不同的区域合并算法则是在一张图像的不同地方通过迭代检索，使得各个相似区域连接到一块。2008 年Shotton等人提出了基于纹理基元森林的语义分割算法[1]，它直接作用于图像像素分类的决策树的集合，该算法可以利用纹理和图像上下文信息，在执行速度提升的同时对于图像分割的细分精度也达到了新的高度。但是医学图像通常具有对比度低、组织纹理复杂、边界模糊等特点，这也极大地限制了此类图像分割算法的有效性。
在图像分割的基础上，进一步通过对CT图像中人体相应组织器官进行三维重建可以为医生的诊断治疗过程提供更加直观的参考依据。目前在医学成像领域比较成熟的3D建模方法有基于表面渲染，基于体绘制和基于正则化的方法等[2]。1975 年 Keppel 经过个人研究提出了一种利用三角面片来近似逼近物体表面进行三维重建的方法[3]。面绘制技术相对容易理解和实施，但是要以最终三维模型的准确性为代价。目前已实现并用于 CT 图像重建的一些流行算法有最大强度投影[4]，弯曲平面重整[5]，阴影表面显示[6]等。基于体积渲染方法有三个主要步骤，包括采样，分类和合成。目前常见的关于体绘制三维重建的方法有射线跟踪法[7]，溅射法[8]以及剪切翘曲法[9]等。
2.基于深度学习的图像分割与三维重建方法
随着深度学习技术的迅速发展，神经网络被广泛用在各种图像处理的任务当中。与传统的图像分割方式相比，深度学习模型通过自动学习参数进行图像特征的提取，在语义分割领域具有很大的优势。早期的深度学习方法在进行图像分割时输入一般是固定大小的图像块，且网络都带有全连接层，计算复杂度较高。后来一些优秀的网络模型例如全卷积神经网络（Fully Convolutional Network，FCN）等被提出，并通过实验证明了其在医学图像分割问题上的卓越性能。其中尤其以2015年Ronneberger等人提出的U-Net 最为有名[10]，模型建立在 FCN 的结构基础上，不同的是它通过跳跃连接的方式扩大了网络解码器的容量，使得图像分割精度更高。Milletari等人提出的 V-Net 则是 U-Net 最著名的衍生模型之一[11]，他们将卷积应用于网络的压缩路径中，通过选择合适的卷积核大小和步长（卷积核大小为 2×2×2，步长为 2）来提取特征并降低分辨率。使用卷积层代替池化操作，其优点是具有较小的内存占用空间。此外也有学者受ResNet的启发，开始尝试将残差连接以及注意力机制引入到图像分割模型中，也都取得了不错的实验结果。
除了传统的三维重建方法外，目前许多的三维重建的工作会建立在CT图像分割的结果基础上，图像分割的精度决定了最终三维模型的准确度。Lun, Z等人就在利用卷积神经进行三维重建方面做了一些有趣的工作[12]，他们利用CNN的强大特性，引入不同的损失函数进行网络参数优化。在训练步骤中，将CT图像多个视图与三维模型一起输入，以生成表面法线和深度信息，最后使用泊松曲面重建算法从相应点云重建出对应3D模型。
3.用于三维重建的软件技术
目前市场上有很多 3D 重建软件，通过自动或半自动的方式能够提供人体解剖结构的高质量可视化模型，但是在校准与精确建模方面，这些软件仍有改进的空间。常用的三维重建软件有比利时Materialise公司开发的Mimics 软件，Simpleware Ltd公司开发的3D图像数字建模与有限元分析软件Simpleware。An.G等人在准确性和计算效率方面对两款3D建模软件进行了比较分析[13]，用于比较的软件是 Syngo 和 Mimics。他们使用 DICOM 格式的 CT 扫描图像，从分割精度，解剖测量，成本和计算时间等方面进行了比较，结果表明，考虑到半自动分割和装备成本，Mimics 软件的性能优于 Syngo，但是 Syngo 软件在计算效率方面优于 Mimics。
4.结语
随着计算机视觉技术的不断进步，医学CT成像也将为医生诊疗提供更加清晰可靠的分析依据。本文从传统技术，深度学习以及基于软件的三个方面叙述分析了目前主流的图像分割与三维重建方法。虽然目前已有的软件可以提供一定高质量的人体解剖结构三维可视化模型，但是准确度方面还有改进空间，这也依赖着更多分割与重建算法的创新与进步。
参考文献
[1]Shotton J, Johnson M, Cipolla R. Semantic texton forests for image categorization and segmentation[C]//2008 IEEE conference on computer vision and pattern recognition. IEEE, 2008: 1-8.
[2]Khan U, Yasin A U, Abid M, et al. A methodological review of 3D reconstruction techniques in tomographic imaging[J]. Journal of Medical Systems, 2018, 42(10): 190.
[3]Keppel E. Approximating complex surfaces by triangulation of contour lines[J]. IBM Journal of research and development, 1975, 19(1): 2-11.
[4]Sato Y, Shiraga N, Nakajima S, et al. Local Maximum Intensity Projection (LMIP: A New Rendering Method for Vascular Visualization[J]. Journal of computer assisted tomography, 1998, 22(6): 912-917.
[5]Kanitsar A, Fleischmann D, Wegenkittl R, et al. CPR-curved planar reformation[M]. IEEE, 2002.
[6]Heffernan P B, Robb R A. A new method for shaded surface display of biological and medical images[J]. IEEE transactions on medical imaging, 1985, 4(1): 26-38.
[7]Kajiya J T. New techniques for ray tracing procedurally defined objects[J]. ACM SIGGRAPH Computer Graphics, 1983, 17(3): 91-102.
[8]Westover L A. Splatting: a parallel, feed-forward volume rendering algorithm[M]. University of North Carolina at Chapel Hill, 1992.
[9]Lacroute P, Levoy M. Fast volume rendering using a shear-warp factorization of the viewing transformation[C]//Proceedings of the 21st annual conference on Computer graphics and interactive techniques. 1994: 451-458.
[10]Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015: 234-241.
[11]Milletari F, Navab N, Ahmadi S A. V-net: Fully convolutional neural networks for volumetric medical image segmentation[C]//2016 fourth international conference on 3D vision (3DV). IEEE, 2016: 565-571.
[12]Lun Z, Gadelha M, Kalogerakis E, et al. 3d shape reconstruction from sketches via multi-view convolutional networks[C]//2017 International Conference on 3D Vision (3DV). IEEE, 2017: 67-77.
[13]An G, Hong L, Zhou X B, et al. Accuracy and efficiency of computer-aided anatomical analysis using 3D visualization software based on semi-automated and automated segmentations[J]. Annals of Anatomy-Anatomischer Anzeiger, 2017, 210: 76-83.