基于图像数据建立器官三维模型

doi:10.3969/j.issn.2095-4344.2015.40.028

摘要/Abstract

摘要：

背景：近年来，三维重建与生物力学的研究日益增多，利用计算机由建模软件基于图像数据建立器官三维模型，再经有限元分析软件进行力学分析。作者检索文献发现国内外学者对人体器官三维重建的原理不够清晰，过程描述比较简单，有的与事实不尽相符，不能很好地为相关研究起到指导作用。

目的：阐述器官三维模型重建的原理、过程、结果以及进一步应用，为后续研究提供科学依据。

方法：应用计算机在中国知网数据库中检索关于人体器官三维重建有代表性的文献，分析阐述器官三维模型重建的原理、过程、结果以及进一步应用。

结果与结论：结合建立出的骨三维模型详细阐述了三维重建的原理、过程、以及应用，为后续生物力学的研究奠定了理论基础。随着组织工程技术的不断发展，学者们己开始多角度、多方面来研究骨损伤的发病机制，以便更好地预防和治疗。相关研究现仍处于基础阶段，尚需深入研究。

中国组织工程研究杂志出版内容重点：肾移植；肝移植；移植；心脏移植；组织移植；皮肤移植；皮瓣移植；血管移植；器官移植；组织工程

关键词: 组织工程, 组织构建实验模型, 三维模型, 重建, 生物力学, 骨三维模型, 人体器官

Abstract:

BACKGROUND: Recently, studies on three-dimensional reconstruction and biomechanics became more and more. Three-dimensional models of organs were established by modeling software based on image data using computer. Mechanical analysis was conducted using finite element analysis software. After literature retrieval, we found that the principle of three-dimensional reconstruction of human organs is not clear, and the process description is relatively simple. Some is not accorded with the fact. Above studies cannot guide related research.

OBJECTIVE: To explore the principle, process, results and further application of three-dimensional reconstruction models of organs, and to provide evidence for future studies.

METHODS: We retrieved China National Knowledge Infrastructure for representative literatures about three-dimensional reconstruction of human organs using the computer, and analyzed the principle, process, results and further application of three-dimensional reconstruction models of organs.

RESULTS AND CONCLUSION: In combination with established three-dimensional bone models, we explained the principle, process, and application of three-dimensional reconstruction in detail, and laid the theoretical foundation for subsequent biomechanical research. With continuous development of tissue engineering technology, scholars have begun to study the pathogenesis of bone injury from various angles and different aspects so as to better prevent and treat this disease. The related research is still in its primary stage, and still needs further investigations.

中国组织工程研究杂志出版内容重点：肾移植；肝移植；移植；心脏移植；组织移植；皮肤移植；皮瓣移植；血管移植；器官移植；组织工程

Key words: Bone Remodeling, Image Processing, Computer-Assisted, Biomechanics, Computer Simulation

中图分类号:

R318

张海峰，史冠忠，朱洪智，宋翠荣，赵长义，任国山. 基于图像数据建立器官三维模型[J]. 中国组织工程研究, 2015, 19(40): 6547-6552.

Zhang Hai-feng, Shi Guan-zhong, Zhu Hong-zhi, Song Cui-rong, Zhao Chang-yi, Ren Guo-shan. Three-dimensional models of organs based on image data[J]. Chinese Journal of Tissue Engineering Research, 2015, 19(40): 6547-6552.

图/表（结果） 1

2 三维模型使用的软件 Software for hree-dimensional models 2.1 常用软件医学影像处理软件Mimics是由比利时Materialise公司开发研制成功的主要用来处理影像数据的功能巨大的交互式图像控制系统。可以利用医学CT、MRI数据或者其他图形、图像可以建立可视化三维模型，并且还可以对模型进行一系列的处理。同时，可以以多种格式输出进行下一步操作，如计算机辅助设计、计算流体力学、假体或植入体设计、有限元分析、手术过程模拟等。本软件功能强大，在个人计算机上即可以大量的处理转换数据，常应用于快速建立医学三维模型、生物力学分析。 2.2 数据格式三维重构文件格式包括常用的STL格式、SLC格式、3DS格式、IGES格式^[15]。目前快速成型技术在工业界的标准格式为STL格式，是美国3D System公司于 1987年提出来的。STL文件是由一系列小三角形面片对三维模型表面进行网格得到的。把三维可视化模型的表面划分为大量的三角形面片，用三角形的综和向量值以及它们的顶点坐标来定义每一三角片的大小和位置^[16]。根据各软件接口方式，网格文件的格式要求有2个^[17]：①顶点规则：每相邻的2个三角形有且仅有1条公共边，即相邻的2个三角形共用2个顶点。②总矢量向外：组成三维可视化模型的每个小三角片的法矢量都是向外的，也就是说三角形的3个顶点需要满足“右手法则”^[18-19]。这样可以充分保证任何1个三角形的任何顶点都不能落到另外1个三角片的面上或边上。网格模型文件中的各三角形的顶点坐标都是正数，没有负数，数据都是无量纲的。网格文件的格式有2种：美国信息互换标准代码格式和二进制格式^[20]。美国信息互换标准代码格式应用七位二进制数来表示所有的字母，包括大写和小写，数字0到9、标点符号，以及在美式英语中使用的特殊控制字符；而二进制格式文件仅应用0和1两个数字，因此，二进制网格文件所占空间小，器官的二进制网格文件容量约为美国信息互换标准代码格式的 STL 文件大小的1/6左右^[21]。 3 人体器官的三维重建方式 Three-dimensional econstruction of human organs 医学图像的三维重建，国内外专家、学者经过多次实施模拟操作，总结出多种三维重建的方式，常用的是面绘制和体绘制两种^[22-25]。 3.1 面绘制面绘制就是指器官表面的三维重建。最基本的表示物体形状的指标是表面，可以提供物体外在的所有信息，如形状、性状、颜色等，不考虑物体内部的情况只对物体表面进行精确地模拟，这就是表面重建^[26-27]。其基本原理是从原始图像数据群中提取适合的曲线、等值面、边界曲面等有价值的数据，通过多边形近似拟合，绘制、计算，进行渲染和消隐，从而得到表面图像^[28-29]。当前，常用的运算方法包括轮廓线法，剖分立方体法以及移动立方体法等^[30-34]。由于面绘制用到的是经过提取后的信息，和体绘制法相比较，数据量减少了很多，从而处理速度非常快；但是，所重新构建的三维模型仅显示表面信息而无法显示模型内部的资料，如密度、强度、韧性、弹性抵抗力等。 3.2 体绘制体绘制和面绘制不同，基于三维数据直接提取各参数，打破了图形学里面由面生成体的限制框，因而，体绘制又叫做直接绘制^[35-37]。数据里面的基本单位叫做体素，各个体素都包含对象表面及内部的信息，可以看做为三维空间中一系列等间隙排列的质点，这无法用线或面等二维图形来表示。体绘制把任何一个体素都赋予一个亮度和一个不透明度，通过统计各个体素对光线的不同反应，利用消隐、投影、渲染和合成四个步骤，对原始数据进行计算求解，生成三维模型^[38-40]。体绘制根据计算原理又分为2类：空间域和频域。空间域反映模型细节信息比较全面，计算求很大，运行速度较慢。频域计算求解速度比较快，但无法保存体素吸收光线的作用，所以无法形成透明或者半透明的图层^[41-43]。体绘制三维重建技术不需要通过中间结构(点或线或面)即可直接计算光线通过数据场与体素的作用结果，保存了体素中的决大部分细节信息，仿真性比较高^[44-45]。体绘制重建模型的效果优于面绘制，但计算求解过程运算量巨大，对计算机配置要求较高，实际操作存在一定难度。通常，用面绘制建立的模型能满足科研要求的即用面绘制技术进行三维重建^[46]，满足不了的即用体绘制进行三维重建。 4 基于CT图像的人体器官三维重建过程 Process of three-dimensional reconstruction of human organs based on CT images 4.1 数据采集随着射线扫描技术的不断发展，大量的成像设备相继应用于临床。不同的生产厂家采用的不同图像标准和传输方式，使得他们的设备互不兼容。当前国内医院的CT机大部分是进口机型，输出图像数据文件格式各不相同。为了统一标准，通常以DICOM格式保存，或者储存至可读写光盘，或者储存到影像处理工作站。 4.2 转化CT数据三维建模软件可以经过识别、读取CT扫描数据，进而转化为“.BMP”格式的图像文件，其中，Mimics 14.0运算能力巨大，一次能读取上千幅图像；该软件可以读取出图像中的大部分信息，但是需要手动输入方向信息。输入6个方向：TOP，BOTTOM，LEFT，RIGHT，ANTERIOR和POSTERIOR，这里一定要保证和正常人体方向的统一，否则建立出的模型是相反向的。 4.3 图像的预处理在获取CT图像时，设备的一部分零件随机震动，不可避免地带来一些噪声，所以必须对图像进行降噪处理，提高信噪比，增强图像特征。但是不损失原信号的强度而把全部噪声滤除是无法做到的。降噪处理的原则：最大程度地保持信号不丢失，不损坏图像的边缘及轮廓等重要信息，尽可能多的滤除噪声^[47]，这样生成的图像比较清晰，形象逼真。源自不同的方式，常用的降噪方法包括均衡法、中值滤波法、边界法等。均衡法需要变换多个参数，处理起来相对繁琐与耗时；边界法处理速度比较快，但常伴随像素的丢失。大量实验证明，中值法可以较多的保存有效像点，充分的消除噪点，比较适用于CT图像的光滑和降噪操作^[48]。 4.4 分割组织图像明确各组织在图像中存在的位置，把需要的组织与其他组织彻底分离，这样才能建立出所需要结构的三维立体模型。人体CT扫描图像包括骨骼和软组织两部分，而骨骼和软组织的灰度值也就是明亮程度有很大差距，于是可以用灰度值把骨骼和软组织区分开。灰度值在软件中即相当于阈值。准确的设定阈值对重建三维模型的精度有巨大影响。如果分离不彻底，即使仅剩余一个像点与其他组织相延续，建出的模型将包含其他结构。因此，分割图像是三维重建的一个关键，一定要对相连的结构进行准确的分割。操作者可以根据有关资料确定目标组织的提取阈值，经检测若阈值选取不恰当需要进一步调整，反复测试，以达到最终能精确提取出所需要建模的组织。 4.5 区域增长功能当确定选取任何某一种组织后，点击这种组织，利用区域生长功能(Region growing)，计算机就能瞬间延伸到所有的断层图像中选中这种组织。开始点击的组织区域称作种子区域，后来出现的区域称作扩展区域^[49-50]。 4.6 修复因为图像扫描以及分割的偏差，利用区域增长功能提取的图像边缘线不够清晰、光滑，一定需要修复，多次重新选择，保证边缘线的光滑与完整。这一过程耗时耗力，但一定要做好，否则可能导致建出的三维模型表面有毛刺或者凹陷，无法应用。经过修复边缘线后建立的三维模型表面光滑，利于后续各种分析。大量研究表明边缘线修复的越清晰、越完整，三维重建运算的速度越快、精确性越高^[51-52]。 4.7 计算确定了每一张图像的边界轮廓线后，选择不同的蒙板，点击工具栏中的Calculate3D按钮，就可以得到各蒙板相应结构的三维模型，最后，以STL格式导出。 4.8 结果通过计算机三维重建得到的模型逼真，立体感强，能够准确显示各部分的形态结构、位置和毗邻关系，而且可以多彩色、透明或任意组合显示，具有较佳的视觉效果(图1-3)。由于人体器官结构形态的复杂性，曲面的任意性，所以当前最高端的CAD软件也没有办法设计出符合需要的解剖结构模型^[53]。三维模型重建软件拥有多种输出接口，通过这些接口将重建的模型进行分析，为扫描图片到生物力学分析建立了一座桥梁。

三维模型重建技术是研究关节生物力学的一个重要工具，为后续研究运动力学的开展奠定了坚实的基础。三维模型可以把关节咬合曲面近似化，模拟施加不同负重载荷，计算分析关节面上的应力分布。模拟人体站立、坐位、走路、奔跑等不同体位下全身骨的应力变化与分布^[54-56]。所建三维模型可清晰显示峰值区域、承载区域、吸收区域(图4)。图4为同一模型在同一负荷下应力分布图各面观；不同颜色表示应力的大小，由红逐渐变为橙、黄、绿、蓝，红色表示应力最大，蓝色表示应力值零；同一颜色范围表示相同应力值分布范围。研究应力分布揭示了骨与骨间作用力与形变的实质，有助于正确理解骨、关节的力学属性，为临床治疗骨、关节疾病提供了科学的理论依据，弥补了利用尸体研究的不足。

采用 CT、MRI 等医疗设备中读取数字图像信息，快速三维人体器官模型重构，为临床上多种疾病的快速准确诊断提供了有力的保证；对探索损伤的发病机制、实施个性化治疗，人工假体的制作，提高医疗水平有着重要的推动作用^[57-58]；发达国家已产生新型的治疗方式，把药物的作用参数输入到患者模型中，观察药物的治疗效果。

此外，所建模型还可以随意缩放和任意角度旋转，测量两点的精确距离、角度，动态过程可以转化成视频文件，播放流畅，方便存储、输出。

参考文献

[1] 杨玲,阮心玲.模型导向的矩形建筑物三维重建[J]. 计算机工程与应用,2014,39(4):83-87.
[2] Schwarz F, Sculean A, Georg T, et al. Periodontal treatment with an Er: YAG laser compared to scaling and root planing. A controlled clinical study. J Periodontol. 2001;72(3):361-367.
[3] 孙宇.颈椎人工椎间盘置换术可以减少相邻节段退变和相邻节段疾病[J].中国脊柱脊髓杂志,2011,21(1):3-4.
[4] 陈玉琴,钱海馨.牙列重度磨耗患者的咬颌重建修复治疗[J].上海交通大学学报(医学版),2011,31(8):1216-1218.
[5] 刘亚雄,李涤尘,卢秉恒,等.快速原型在口腔颌面修复中的应用(2)--下颌骨替代物的个体化制造[J]. 实用口腔医学杂志,2003, 19(5):408-409.
[6] 崔治.基于医学CT图像的三维重建研究[D].长春:吉林大学.2006.
[7] 李运锋,刘修国.基于方向包围盒投影转换的轮廓线拼接算法[J].计算机应用,2011,31(12):3353-3356.
[8] 冷大炜,马洪兵,孙卫东.基于2D-3D泛轮廓点对应的三维刚体目标的迭代姿态估计[J].中国科学院研究生院学报,2012,29(6): 821-828.
[9] 贺健康,李涤尘,卢秉恒,等.定制化胫骨平台系统的构建及应用[J].中国生物医学工程学报,2007,26(1):134-137.
[10] 王旭,马昕,陶凯,等.足踝有限元模型的建立与初步临床应用[J].中国生物医学工程学报,2008,27(2):287-292.
[11] 王剑利,潘朝晖,袁勇,等.足骨三维有限元模型对足跖骨缺损重建的指导意义[J].实用手外科杂志,2007,21(1):6-8.
[12] 杨文峰,俞光荣,牛文鑫,等.人体足主要骨-韧带结构三维有限元模型的建立及分析[J].中国运动医学杂志,2007,26(5):542-546.
[13] 王卉,吴涛.Mimics三维重建模型在人体解剖学学习中的应用[J].中国医学教育技术,2012,26(6):664-667.
[14] 蔡伟斌,胡鸿璇,郭新辉,等.锁定加压钢板与解剖钢板置入内固定治疗复杂胫骨平台骨折[J].中国组织工程研究,2012,16(52): 9750-9755.
[15] BIBA. http://www. biba. uni-Bremen. de.
[16] 肖博,刘祥谋,马海,等. STL文件快速分层及填充算法研究[J].机械与电子,2012(12):20-23.
[17] 王运赣.快速成形技术[M].武汉:华中理工大学出版社,1999: 29-31.
[18] 闫涛.基于高斯曲率的三角网格模型简化的研究[J].计算机工程与科学,2012,34(12):126-129.
[19] 陈友军,何洪英,潘大志.基于向量的多边形扫描转换方法[J].智能计算机与应用,2012,2(5):81-83.
[20] 马洁.一种基于线性代数的图像处理算法研究[J].计算机科学, 2012,39(11):286-288.
[21] 乔庆昆.三维STL模型的快速成型关键技术研究[J].微型机与应用,2011,30(3):6-8.
[22] 石教英,蔡文立.科学计算可视化算法与系统[M].北京:科学技术出版社,1996:106-192.
[23] 刘磊.计算机图像处理技术在医学影像学上的应用[J].中国老年学杂志,2012,32(24):5642-5643.[24] Lee TY, Lin PH, Lin CH, et al. Interactive 3-D virtual colonoscopy system. IEEE Trans Inf Technol Biomed. 1999; 3(2):139-150.
[25] 梁荣华,吴云飞,马祥音.局部特征加强的体绘制算法[J].计算机辅助设计与图形学学报,2012,24(10):1301-1309.
[26] Boissonnat JD. Shape reconstruction from planar cross sections. Comput Vis Graph Image Process. 1988;44(1):1-29.
[27] Wongpakdee PK. Resurfacing graphics. J Arts Humanit. 2014; 8(3):9-18.
[28] Douros L, Dekker L, Buxton BF. Reconstruction of the surface of the human body from 3D scanner data using B-splines Patches. Proc SPIE. 1999;3640:234-245.
[29] 王瑞娟,张季,彭可.计算机辅助医学图像三维重建的算法分析[J].中国组织工程研究与临床康复,2011,15(4):745-748.
[30] Rajon DA, Bolch WE. Marching cube algorithm: review and trilinear interpolation adaptation for image-based dosimetric models. Comput Med Imaging Graph. 2003;27(5):411-435.
[31] 熊平,杨呁.基于等值面点的快速三维表面重建算法[J].微计算机信息,2010,26(14):6-7.
[32] 陈兵,蒙培生.基于Dividing Cubes的算法实现螺旋CT数据的三维重建[J].计算机应用研究,2003,20(4):63-64.
[33] 李金,胡战利.基于Marching Cubes与Ray Casting的医学图像三维重建[J].生命科学仪器,2007,5(12):40-43.
[34] Zhong L, Li L, Sun JH, et al. Preoperative diagnosis of gastric cancer using 2-D magnetic resonance imaging with 3-D reconstruction techniques. Chin J Dig Dis. 2005;6(4):159-164.
[35] 刘硕明,陆敏,陈军.医学图像融合技术浅谈[J].黑龙江科技信息,2012 (36):1-2.
[36] 徐超,张晓东,许源,等.骨科医学断层图像的三维重构应用及其纹理特征研究[J].解剖学研究.2012,34(5):364-369.
[37] 钟务学,张银网,朱海波,等.采用体绘制方法建立人股骨三维有限元模型及其应力分析[J].中国组织工程研究,2012,16(17): 3048-3051.
[38] Drebin RA, Carpenter L, Hanrahan P. Volume rendering//Computer Uraphics Proceedings, Annual Conference Series, ACM SIGGRAPH. New York: ACM Press, 1988:65-74.
[39] Drago F, Myszkowski K, Annen T, et al. Adaptive logarithmic mapping for displaying high contrast scenes. Comput Graph Forum. 2003;22(3):419-426.
[40] Yuan X, Nguyen MX, Chen B, et al. HDR VolVis: high dynamic range volume visualization. IEEE Trans Vis Comput Graph. 2006;12(4):433-445.
[41] 刘兵全,何继善,李振伟,等.医学图像后处理研究进展[J].国外医学(生物医学工程分册),2013,27(4):248-252.
[42] 高玉喜.基于生物特征的图像数字水印算法[J].中国外资(下半月),2012(12):363-364.
[43] Kruger J, Westermann R. Acceleration techniques for GPU-based volume rendering//IEEE Visualization, Seattle, Washington, USA, 2003:287-292.
[44] 管伟光.体视化技术及其应用[M].北京:电子工业出版社,1998: 71-72.
[45] Diaz J, Vazquez PP. Depth-enhanced maximum intensity projection//Proceedings of the 8th IEEE/Eurographics International Symposium on Volume Graphics. Airela-Ville Eurographics Association Press. 2010:93-100.
[46] Lorensen WE, Cline HE. Marching cubes: a high resolution 3D surface construction algorithm. Comput Graph. 1987; 21(3):163-169.
[47] 张元科,张军英,卢虹冰. 低剂量CT投影图像噪声分析及去噪算法研究[J].光电子.激光,2010,21(7):1076-1077.
[48] 舒翔,曾文,汪刘一,等.基于逆向工程重构沙发三维模型的研究[J].制造业自动化.2011,33(8):117-119.
[49] 束搏,邱显杰,王兆其.基于图像的几何建模技术综述[J].计算机研究与发展,2010,47(3):551-552.
[50] 陈德生,王美凤.X线在踝关节韧带损伤中的临床价值和应用[J].中国社区医师(医学专业),2011,13(1):119-120.
[51] Mei-Dan O, Kots E, Barchilon V, et al. A dynamic ultrasound examination for the diagnosis of ankle syndesmotic injury in professional athletes: a preliminary study. Am J Sports Med. 2009;37(5):1009-1016.
[52] Takao M, Innami K, Matsushita T, et al. Arthroscopic and magnetic resonance image appearance and reconstruction of the anterior talofibular ligament in cases of apparent functional ankle instability. Am J Sports Med. 2008;36(8): 1542-1547.
[53] Polliack AA, Sieh RC, Craig DD, et al. Scientific validation of two commercial pressure sensor systems for prosthetic socket fit. Prosthet Orthot Int. 2000;24(1):63-73.
[54] Wang XS, Duan YX. The hip stress level analysis for human routine activities. Biomed Eng (Singapore). 2005,17(3): 153-158.
[55] Koenig SJ, Toth AP, Bosco JA. Stress fractures and stress reactions of the diaphyseal femur in collegiate athletes: an analysis of 25 cases. Am J Orthop (Belle Mead NJ). 2008; 37(9):476-480.
[56] Wang XS, Jiang FC, Duan YX. The stress level analysis for dynamic cases at human hip joint, The 29th International Society of Biomechanics and 29th America Society of Biomechanics Congress. Cleveland, USA, 2005.
[57] Sekkati H, Mitiche A. Joint optical flow estimation, segmentation, and 3D interpretation with level sets. Comput Vis Image Underst. 2006;103(2):89-100.
[58] Knoche W. Limb prosthesis of the 19th and 20th century. Vasa. 2009;38 Suppl 74:75-83.
[59] 郑卫国,颜永年,周赫赫,等.快速成形技术在临床外科手术中的潜在应用[J].清华大学学报,2002,42(8):1038-1041.
[60] Vetkoff DJ, Herr RD, Doss BL. A High-speed 3D image for inspection and measurement of miniature industrial parts. SME Vision Proceedings, Chicago, 1989.

引言

三维模型重建就是由实物的图片精确获得该物体的立体模型，随着科学技术的不断发展，已广泛应用于多个领域，如医学、地质学、流体力学等学科^[1]。三维重建技术可以生成形象逼真的模型，进行力学、形变分析，为探究器官损伤、病变的发病机制、治疗提供了一个新方法。自20世纪末开始应用于临床开始，三维重建技术越来越受重视，成为当前工程领域研究的热点之一。一部分发达国家进行了实验应用，取得了一些成果。如英国Schwarz在智齿拔除的应用^[2]，韩国在面部矫正的推广，加拿大、德国、法国、意大利等国家在颅骨修复矫正的应用，孙宇^[3]重建椎骨的三维模型，都展示了这一新技术带来的广阔的前景和巨大的潜在市场价值。国内一些科研机构也紧跟国际医学发展步伐，完成了一系列卓有成效的工作。如上海交通大学对牙列、颧骨矫正方面所做的探索、西安交通大学和第四军医大学合作进行的颌面修复等^[4-5]。许多专家及学者在三维重建领域作了大量的研究工作，总结出了相对应的计算方法和应用领域。例如：北京大学的崔治^[6]教授利用CT数据人体骨骼逆向工程的研究，通过轮廓线构建任何形状不规则结构的三维重建技术；李运锋等^[7]应用模拟法实施三维重构；冷大炜等^[8]学者进行机体表面三角片网格划分的变异算法研究；贺健康等^[9]重建高度仿真的膝关节模型；王旭等^[10-12]对踝关节数字模型的报道。中国组织工程研究杂志出版内容重点：肾移植；肝移植；移植；心脏移植；组织移植；皮肤移植；皮瓣移植；血管移植；器官移植；组织工程但是，当前国内有关三维重建的文献建模过程都很简单，不能为后续研究提供很好的指导作用。经查阅大量文献，咨询多位专家，基于图像数据，成功建立了颅骨、腰椎、颈椎、髋骨、股骨、足骨等骨骼三维立体模型，外观形象逼真，可以随意放大缩小、自由旋转、组合，多角度观察。文章结合实际在此详细阐述一下三维重建的过程。