深度学习对膝骨关节炎MRI图像智能分割和测量分析的作用及意义

doi:10.12307/2024.677

中国组织工程研究 ›› 2024, Vol. 28 ›› Issue (33): 5382-5387.doi: 10.12307/2024.677

• 骨与关节图像与影像 bone and joint imaging • 上一篇下一篇

深度学习对膝骨关节炎MRI图像智能分割和测量分析的作用及意义

庾广文1，2，谢俊杰1，梁嘉健1，刘文刚2，吴淮2，李慧2，洪坤豪2，李安安2，郭浩鹏2

1广州中医药大学第五临床医学院，广东省广州市 510095；2广东省第二中医院，广东省广州市 510095

收稿日期:2023-08-28 接受日期:2023-11-13 出版日期:2024-11-28 发布日期:2024-01-31
通讯作者: 刘文刚，博士，主任医师，广东省第二中医院，广东省广州市 510095
作者简介:庾广文，男，1987年生，广东省广州市人，汉族， 2014年广州中医药大学毕业，硕士，主治医师，主要从事关节与运动医学、数字骨科方面的研究。
基金资助:
广东省中医药局科研项目(20241025)，项目负责人：庾广文；广东省基础与应用基础研究基金项目(2023A1515012615，2022A1515220157)，项目负责人：刘文刚

Role and significance of deep learning in intelligent segmentation and measurement analysis of knee osteoarthritis MRI images

Yu Guangwen1, 2, Xie Junjie1, Liang Jiajian1, Liu Wengang2, Wu Huai2, Li Hui2, Hong Kunhao2, Li Anan2, Guo Haopeng2

1Fifth Clinical College, Guangzhou University of Chinese Medicine, Guangzhou 510095, Guangdong Province, China; 2Guangdong Second Traditional Chinese Medicine Hospital, Guangzhou 510095, Guangdong Province, China

Received:2023-08-28 Accepted:2023-11-13 Online:2024-11-28 Published:2024-01-31
Contact: Liu Wengang, MD, Chief physician, Guangdong Second Traditional Chinese Medicine Hospital, Guangzhou 510095, Guangdong Province, China
About author:Yu Guangwen, Master, Attending physician, Fifth Clinical College, Guangzhou University of Chinese Medicine, Guangzhou 510095, Guangdong Province, China; Guangdong Second Traditional Chinese Medicine Hospital, Guangzhou 510095, Guangdong Province, China
Supported by:
Research Project of Traditional Chinese Medicine Bureau of Guangdong Province, No. 20241025 (to YGW); Basic and Applied Basic Research Foundation of Guangdong Province, No. 2023A1515012615, No. 2022A1515220157 (to LWG)

摘要/Abstract

摘要：

文题释义：

深度学习：是指多层的人工神经网络和训练它的方法。一层神经网络会把大量矩阵数字作为输入，通过非线性激活方法取权重，再产生另一个数据集合作为输出。通过合适的矩阵数量，多层组织链接一起，形成神经网络“大脑”进行精准复杂的处理。
图像智能分割：图像语义分割的目标是给每个像素赋予一个类别标签，属于底层的图像感知问题，分割结果可用于更高级别的视觉任务。在医学图像分析领域，图像分割可用于图像引导干预、放射治疗或改进放射诊断。目前，很多基于深度学习的医学图像分割可以处理各种形式的医学图像，包括 X射线片、显微镜成像(Microscopy)、CT、MRI、PET、超声等。

背景：MRI对诊断早期膝骨关节炎有重要意义。利用深度学习方法进行膝骨关节炎的MRI图像识别和智能分割，是目前人工智能在影像诊断方面的研究热点。

目的：通过对膝骨关节炎病例MRI图像的深度学习，能够全自动分割膝关节的股骨、胫骨、髌骨、软骨、半月板、韧带、肌肉及关节积液，并测量膝关节积液体积和肌肉含量。
方法：筛选出100个正常膝关节和100个膝骨关节炎患者数据，按照8︰1︰1的比例随机分为训练集(traindataset，n=160)、调优集(validation dataset，n=20)和测试集(test dataset，n=20)。采用Coarse-to-Fine序贯训练的方法训练3D-UNET网络深度学习模型，先训练一个膝关节矢状面MRI粗略分割模型，将得到的粗略分割结果作为掩膜(mask)，再训练精细分割模型。输入膝关节矢状面T1WI、T2WI图像和各结构的标注文件，运用DeepLab v3，分割骨、软骨、韧带、半月板、肌肉、积液，最后显示三维重建，显示自动测量结果(肌肉的含量、积液的体积)，完成深度学习的应用程序。再筛选出26例正常人和38例膝骨关节炎患者的膝关节MRI数据进行测试验证。

结果与结论：①26例正常人中女13例，男13例，平均年龄(34.88±11.75)岁，膝关节中肌肉含量平均值(1 051 322.94±2 007 249.00) mL，均值中位数为631 165.21 mL；积液的体积平均值(291.85±559.59) mL，均值中位数0 mL。②38例膝骨关节炎患者中女30例，男8例，平均年龄(68.53±9.87)岁；肌肉含量平均值(782 409.18±331 392.56) mL，均值中位数689 105.66 mL；积液的体积平均值(1 625.23±5 014.03) mL，均值中位数178.72 mL。③正常人的肌肉含量与膝骨关节炎患者的相差不大，差异无显著性意义；而膝骨关节炎患者积液的体积高于正常人，差异有显著性意义(P < 0.05)。④提示通过深度学习对膝骨关节炎MRI图像进行智能分割，可摒弃以往手工分割的缺陷；对膝骨关节炎的评估需要更加精细化，将图像分割处理得更加精细，以提高结果的精度。

https://orcid.org/0009-0004-3573-970X (庾广文)

中国组织工程研究杂志出版内容重点：人工关节；骨植入物；脊柱；骨折；内固定；数字化骨科；组织工程

关键词: 膝骨关节炎, 深度学习, 图像识别, 智能分割, 测量分析

Abstract: BACKGROUND: MRI is important for the diagnosis of early knee osteoarthritis. MRI image recognition and intelligent segmentation of knee osteoarthritis using deep learning method is a hot topic in image diagnosis of artificial intelligence.
OBJECTIVE: Through deep learning of MRI images of knee osteoarthritis, the segmentation of femur, tibia, patella, cartilage, meniscus, ligaments, muscles and effusion of knee can be automatically divided, and then volume of knee fluid and muscle content were measured.
METHODS: 100 normal knee joints and 100 knee osteoarthritis patients were selected and randomly divided into training dataset (n=160), validation dataset (n=20), and test dataset (n=20) according to the ratio of 8:1:1. The Coarse-to-Fine sequential training method was used to train the 3D-UNET network deep learning model. A Coarse MRI segmentation model of the knee sagittal plane was trained first, and the rough segmentation results were used as a mask, and then the fine segmentation model was trained. The T1WI and T2WI images of the sagittal surface of the knee joint and the marking files of each structure were input, and DeepLab v3 was used to segment bone, cartilage, ligament, meniscus, muscle, and effusion of knee, and 3D reconstruction was finally displayed and automatic measurement results (muscle content and volume of knee fluid) were displayed to complete the deep learning application program. The MRI data of 26 normal subjects and 38 patients with knee osteoarthritis were screened for validation.
RESULTS AND CONCLUSION: (1) The 26 normal subjects were selected, including 13 females and 13 males, with a mean age of (34.88±11.75) years old. The mean muscle content of the knee joint was (1 051 322.94±2 007 249.00) mL, the mean median was 631 165.21 mL, and the mean volume of effusion was (291.85±559.59) mL. The mean median was 0 mL. (2) There were 38 patients with knee osteoarthritis, including 30 females and 8 males. The mean age was (68.53±9.87) years old. The mean muscle content was (782 409.18±331 392.56) mL, the mean median was 689 105.66 mL, and the mean volume of effusion was (1 625.23±5 014.03) mL. The mean median was 178.72 mL. (3) There was no significant difference in muscle content between normal people and knee osteoarthritis patients. The volume of effusion in patients with knee osteoarthritis was higher than that in normal subjects, and the difference was significant (P < 0.05). (4) It is indicated that the intelligent segmentation of MRI images by deep learning can discard the defects of manual segmentation in the past. The more accuracy evaluation of knee osteoarthritis was necessary, and the image segmentation was processed more precisely in the future to improve the accuracy of the results.

Key words: knee osteoarthritis, deep learning, image recognition, intelligent segmentation, measurement analysis

中图分类号:

庾广文, 谢俊杰, 梁嘉健, 刘文刚, 吴淮, 李慧, 洪坤豪, 李安安, 郭浩鹏. 深度学习对膝骨关节炎MRI图像智能分割和测量分析的作用及意义[J]. 中国组织工程研究, 2024, 28(33): 5382-5387.

Yu Guangwen, Xie Junjie, Liang Jiajian, Liu Wengang, Wu Huai, Li Hui, Hong Kunhao, Li Anan, Guo Haopeng. Role and significance of deep learning in intelligent segmentation and measurement analysis of knee osteoarthritis MRI images[J]. Chinese Journal of Tissue Engineering Research, 2024, 28(33): 5382-5387.

图/表（结果） 4

2.1 参与者数量分析根据纳入标准，筛选出正常膝关节人群26例进入正常组，KOA患者38例进入KOA组，全部病例无脱落。
2.2 试验流程图见图6。

2.3 两组间参数对比通过深度学习，智能分割出膝关节的股骨、胫骨、髌骨以及对应的软骨层、半月板、交叉韧带、膝关节周围肌肉、关节内积液，测量出肌肉含量及积液的体积。选用的26例正常膝关节MRI图片，女13例，男13例；年龄(34.88±11.75)岁；肌肉含量平均值(1 051 322.94±2 007 249.00) mL，均值中位数631 165.21 mL；积液的体积平均值(291.85±559.59) mL，均值中位数0 mL。38例KOA患者中，女30例，男8例；平均年龄(68.53±9.87)岁；肌肉含量平均值(782 409.18±331 392.56) mL，均值中位数689 105.66 mL；积液的体积平均值(1 625.23±5 014.03) mL，均值中位数178.72 mL。将数据进行独立样本t检验、非参数秩和检验和卡方检验，结果显示，正常人的肌肉含量与KOA患者的相差不大，未见统计学差异；而KOA患者积液的含量较正常人高，差异有显著性意义(P < 0.05)。见表1。

2.4 多因素Logistic回归模型将单因素分析中有统计学意义的变量纳入多因素Logistic回归模型中，结果显示年龄是影响疾病发生的独立危险因素，并且有统计学意义(P < 0.05)，其他因素并没有统计学意义，见表2。

2.5 Dice系数 Dice值阈为[0，1]。在医学图像中经常用于图像分割，分割的最好结果是1，最差时候结果为0。Dice系数计算公式如下：

其中pred为预测值的集合，true为真实值的集合，分子为pred和true之间的交集，乘以2是因为分母存在重复计算pred和true之间的共同元素的原因，分母为pred和true的并集。见表3。

参考文献

[1] 孙若凡,张唯唯. 基于3D U-Net实现人体耳软骨MRI图像的解剖结构分割[J]. 中国生物医学工程学报,2021,40(5):531-539.
[2] PETERFY CG, GOLD G, ECKSTEIN F, et al. MRI protocols for whole-organ assessment of the knee in osteoarthritis. Osteoarthritis Cartilage. 2006;14 Suppl A:A95-111.
[3] ROEMER FW, CREMA MD, TRATTNIG S, et al. Advances in imaging of osteoarthritis and cartilage. Radiology. 2011;260(2):332-354.
[4] PEDOIA V, MAJUMDAR S, LINK TM. Segmentation of joint and musculoskeletal tissue in the study of arthritis. MAGMA. 2016;29(2):207-221.
[5] ZARYCHTA P. Atlas-Based Segmentation in Extraction of Knee Joint Bone Structures from CT and MR. Sensors (Basel). 2022;22(22):8960.
[6] LEE JG, GUMUS S, MOON CH, et al. Fully automated segmentation of cartilage from the MR images of knee using a multi-atlas and local structural analysis method. Med Phys. 2014;41(9):092303.
[7] LECUN Y, BENGIO Y, HINTON G. Deep learning. Nature. 2015;521:436-444.
[8] 胜照友. 基于深度学习的膝关节MRI图像半月板撕裂识别与检测方法研究[D].武汉:武汉科技大学,2022
[9] 于宁波,刘嘉男,高丽,等.基于深度学习的膝关节MR图像自动分割方法[J].仪器仪表学报,2020,41(6):140-149.
[10] SMITH SE, BAHOUTH SM, DURYEA J. Quantitative bone marrow lesion, meniscus, and synovitis measurement: current status. Skeletal Radiol. 2023;52(11):2123-2135.
[11] MARTEL-PELLETIER J, PAIEMENT P, PELLETIER JP. Magnetic resonance imaging assessments for knee segmentation and their use in combination with machine/deep learning as predictors of early osteoarthritis diagnosis and prognosis. Ther Adv Musculoskelet Dis. 2023;15:1759720X231165560.
[12] KESSLER DA, MACKAY JW, CROWE VA, et al. The optimisation of deep neural networks for segmenting multiple knee joint tissues from MRIs. Comput Med Imaging Graph. 2020;86:101793.
[13] GAJ S, YANG M, NAKAMURA K, et al. Automated cartilage and meniscus segmentation of knee MRI with conditional generative adversarial networks. Magn Reson Med. 2020;84(1):437-449.
[14] ALMAJALID R, ZHANG M, SHAN J. Fully Automatic Knee Bone Detection and Segmentation on Three-Dimensional MRI. Diagnostics (Basel). 2022;12(1):123.
[15] LIU F, ZHOU Z, SAMSONOV A, et al. Deep learning approach for evaluating knee MR images: achieving high diagnostic performance for cartilage lesion detection. Radiology. 2018;289(1):160-169.
[16] PEDOIA V, NORMAN B, MEHANY SN, et al. 3D convolutional neural networks for detection and severity staging of meniscus and PFJ cartilage morphological degenerative changes in osteoarthritis and anterior cruciate ligament subjects. J Magn Reson Imaging. 2019;49(2):400-410.
[17] BIEN N, RAJPURKAR P, BALL RL, et al. Deep-learning-assisted diagnosis for knee magnetic resonance imaging: Development and retrospective validation of MRNet. PLoS Med. 2018;15(11):e1002699.
[18] COUTEAUX V, SI-MOHAMED S, NEMPONT O, et al. Automatic knee meniscus tear detection and orientation classification with Mask-RCNN. Diagn Interv Imaging. 2019;100(4):235-242.
[19] ROBLOT V, GIRET Y, ANTOUN MB, et al. Artificial intelligence to diagnose meniscus tears on MRI. Diagn Interv Imaging. 2019;100(4):243-249.
[20] CHANG PD, WONG TT, RASIEJ MJ. Deep Learning for Detection of Complete Anterior Cruciate Ligament Tear. J Digit Imaging. 2019;32(6):980-986.
[21] GERMANN C, MARBACH G, CIVARDI F, et al. Deep Convolutional Neural Network-Based Diagnosis of Anterior Cruciate Ligament Tears: Performance Comparison of Homogenous Versus Heterogeneous Knee MRI Cohorts With Different Pulse Sequence Protocols and 1.5-T and 3-T Magnetic Field Strengths. Invest Radiol. 2020;55(8):499-506.
[22] NORMAN B, PEDOIA V, MAJUMDAR S. Use of 2D U-Net Convolutional Neural Networks for Automated Cartilage and Meniscus Segmentation of Knee MR Imaging Data to Determine Relaxometry and Morphometry. Radiology. 2018; 288(1):177-185.
[23] TIULPIN A, THEVENOT J, RAHTU E, et al. Automatic knee osteoarthritis diagnosis from plain radiographs: a deep learning-based approach. Sci Rep. 2018;8(1):1-10.
[24] 马明昌,李永杰,徐国胜,等. KOAX线辅助诊断模型建立的临床应用初探[J].中华骨与关节外科杂志,2023,16(2):152-158.
[25] GUAN B, LIU F, HAJ-MIRZAIAN A, et al. Deep learning risk assessment models for predicting progression of radiographic medial joint space loss over a 48-MONTH follow-up period. Osteoarthritis Cartilage. 2020;28(4):428-437.
[26] 王昕,刘爽,周长才. 基于深度学习和磁共振图像的KOA分类[J].长春工业大学学报,2023,44(1):45-51.
[27] 司莉萍,宣锴,姚伟武.基于膝关节软骨磁共振半定量评分的自动分割与分类评价[J].磁共振成像,2018,9(12):928-935.
[28] LIU F, ZHOU Z, JANG H, et al. Deep convolutional neural network and 3D deformabl approach for tissue segmentation in musculoskeletal magnetic resonance imaging. Magn Reson Med. 2018;79(4):2379-2391.
[29] COOTES TF, TAYLOR CJ, COOPER DH, et al. Active shape models-their training and application. Computer Vision Image Understand. 1995;61:38-59.
[30] KAUFFMANN C, GRAVEL P, GODBOUT B, et al. Computer-aided method for quantification of cartilage thickness and volume changes using MRI: validation study using a synthetic model. IEEE Trans Biomed Eng. 2003;50(8):978-988.
[31] DURYEA J, NEUMANN G, BREM MH, et al. Novel fast semi-automated software to segment cartilage for knee MR acquisitions. Osteoarthritis Cartilage. 2007; 15(5):487-492.
[32] TAMEZ-PENA JG, BARBU-MCINNIS M, TOTTERMAN S. Knee cartilage extraction and bone cartilage interface analysis from 3D MRI data sets. In: Fitzpatrick JM and Sonka M (eds.) SPIE Proceedings Medical Imaging: Image Processing. Washington, D. C.: SPIE, 2004:1774-1785.
[33] STAMMBERGER T, ECKSTEIN F, MICHAELIS M, et al. Interobserver reproducibility of quantitative cartilage measurements: comparison of B-spline snakes and manual segmentation. Magn Reson Imaging. 1999;17(7):1033-1042.
[34] SHIM H, LEE S, KIM B, et al. 3-D segmentation of articular cartilages by graph cuts using knee MR images from osteoarthritis initiative. In: Reinhart JM and Pluim JPW (eds.) Medical Imaging: Image Processing, San Diego, CA, USA: SPIE Digital Library, 2008:691448.
[35] WARFIELD SK, KAUS M, JOLESZ FA, et al. Adaptive, template moderated, spatially varying statistical classification. Med Image Anal. 2000;4(1):43-55
[36] STAMMBERGER T, ECKSTEIN F, ENGLMEIER KH, et al. Determination of 3D cartilage thickness data from MR imaging: computational method and reproducibility in the living. Magn Reson Med. 1999;41(3):529-536.
[37] WIRTH W, ECKSTEIN F. A technique for regional analysis of femorotibial cartilage thickness based on quantitative magnetic resonance imaging. IEEE Trans Med Imaging. 2008;27(6):737-744.
[38] RAYNAULD JP, MARTEL-PELLETIER J, BERTHIAUME MJ, et al. Quantitative magnetic resonance imaging evaluation of knee osteoarthritis progression over two years and correlation with clinical symptoms and radiologic changes. Arthritis Rheum. 2004;50(2):476-487.
[39] IRANPOUR-BOROUJENI T, WATANABE A, BASHTAR R, et al. Quantification of cartilage loss in local regions of knee joints using semi-automated segmentation software: analysis of longitudinal data from the Osteoarthritis Initiative (OAI). Osteoarthritis Cartilage. 2011;19(3):309-314.
[40] LEE JG, GUMUS S, MOON CH, et al. Fully automated segmentation of cartilage from the MR images of knee using a multi-atlas and local structural analysis method. Med Phys. 2014;41(9):092303.
[41] DAM EB, LILLHOLM M, MARQUES J, et al. Automatic segmentation of high- and low-field knee MRIs using knee image quantification with data from the osteoarthritis initiative. J Med Imaging (Bellingham). 2015;2(2):024001.
[42] KUBICEK J, AUGUSTYNEK M, PENHAKER M, et al. Multiregional fuzzy thresholding segmentation completed by spatial median aggregation: modeling and segmentation of early pathological findings of articular cartilage. EMBEC NBC. 2017;65:876-879.
[43] FOLKESSON J, DAM E, OLSEN OF, et al. Automatic segmentation of the articular cartilage in knee MRI using a hierarchical multi-class classification scheme. Med Image Comput Comput Assist Interv. 2005;8(Pt 1):327-334.
[44] PRASOON A, PETERSEN K, IGEL C, et al. Deep feature learning for knee cartilage segmentation using a triplanar convolutional neural network. Med Image Comput Comput Assist Interv. 2013;16(Pt 2):246-253.
[45] WALLACE KG, PFEIFFER SJ, PIETROSIMONE LS, et al. Changes in Infrapatellar Fat Pad Volume 6 to 12 Months After Anterior Cruciate Ligament Reconstruction and Associations With Patient-Reported Knee Function. J Athl Train. 2021;56(11):1173-1179.
[46] BONAKDARI H, TARDIF G, ABRAM F, et al. Serum adipokines/related inflammatory factors and ratios as predictors of infrapatellar fat pad volume in osteoarthritis: Applying comprehensive machine learning approaches. Sci Rep. 2020;10(1):9993.
[47] LI W, ABRAM F, PELLETIER JP, et al. Fully automated system for the quantification of human osteoarthritic knee joint effusion volume using magnetic resonance imaging. Arthritis Res Ther. 2010;12(5):R173.

引言

目前对膝骨关节炎(knee osteoarthritis，KOA)的研究已经有很多。从宏观上分析，目前对KOA的研究偏向于软骨、滑膜、炎症因子上，软骨、半月板、韧带、滑膜为膝关节重要的解剖结构。MRI对KOA的诊断敏感性高，诊断准确率较高，已被广泛应用。所以，对膝关节MRI进行更加深入的研究非常必要。
21世纪开始，人工智能开始飞速发展，深度学习在图像识别方面已经广泛应用于各行各业。利用人工智能进行人体解剖的分割已经逐渐被应用[1]，深度学习MRI进行图像分割逐渐成为热点。MRI图像分割经历了人工分割[2]、半自动分割[3]、全自动分割[4-6]、深度学习几个阶段[7]。
目前已经开始对膝关节半月板撕裂和软骨进行测量分析[8-9]。目前研究的重点在于膝关节软骨厚度、骨髓水肿面积、半月板受压程度的分析[10]，而对于量化的测量不少文献都着重于图像识别的准确度分析，而对膝关节周围的肌肉含量和积液体积的计算报道甚少。基于目前人工智能深度学习在图像识别的优势，此文尝试运用深度学习的方法去识别膝关节各结构组织，完成组织结构的三维重建，从而得到有用的膝关节参数，进而对KOA发病进展进行预测[11]。
深度学习是机器学习中一种基于对数据进行表征学习的算法。网络结构设计主要包括新神经架构的设计(不同深度、宽度、连接和拓扑结构)和新组件或层的设计。当前的网络结构基本采用全卷积+编解码结构，经典的网络有FCN、SegNet、U-Net、V-Net、DenseU-Net、DeepLab系列、PSPNet、RefineNet等。有学者运用cGAN自动生成多个组织的语义图和U-NET神经网络系统分割膝关节各结构[12-14]，提高分割的准确性。
此次研究运用深度学习模型，主要运用了U-Net神经网络系统，配合DeeplabV3+的网络架构及GAN神经网络进行优化。通过对正常的膝关节和KOA患者MRI图像的深度学习，智能分割出膝关节的股骨、胫骨、髌骨以及对应的软骨层、半月板、交叉韧带、膝关节周围肌肉、关节内积液，并且测量出肌肉含量及积液的体积；对正常的膝关节和KOA作一个量化的比较。中国组织工程研究杂志出版内容重点：人工关节；骨植入物；脊柱；骨折；内固定；数字化骨科；组织工程

材料方法

1.1 设计回顾性病例对照研究，将单因素分析中有统计学意义的变量以及专业上认为对结局有影响的变量纳入多因素Logistic回归模型中探讨结局的独立影响因素。
1.2 时间及地点试验于2021年5月至2023年5月在广东省第二中医院骨伤一区完成。
1.3 对象在广东省第二中医院筛选出100个正常膝关节和100个KOA患者数据，按照8︰1︰1的比例随机分为训练集(train dataset，n=160)、调优集(validation dataset，n=20)和测试集(test dataset，n=20)。采用Coarse-to-Fine序贯训练的方法训练3D-UNET网络深度学习模型，先训练一个膝关节矢状面MRI粗略分割模型，将得到的粗略分割结果作为掩膜(mask)，再训练精细分割模型。
1.4 方法
1.4.1 数据采集的工具使用 ①MRI的参数：设备为PHILIPS品牌 1.5T。扫描序列：膝关节矢状面T1WI序列，主要序列和扫描参数：TR 550-800 ms、TE 7-14 ms(T1WI)或TR 2 800-3 000 ms。TE 100-130 ms(T2WI)；层厚3.0-4.0 mm，层间距3.3-4.4 mm，视野22 cm×22 cm-25 cm×25 cm，矩阵≥320×224。②操作系统的硬件要求：win 10操作系统，显卡：Nvidia Gtx1080ti，内存：16 G。

1.4.2 数据标注将膝关节矢状面T1WI的DICOM格式图像转换为JPG格式。由一位低年资骨科医师(小于10年)使用labelme软件在膝关节矢状面T1WI和T2WI图像上进行标注，手工调整窗宽和窗位(图1)。标注的结构包括骨(髌骨、股骨、胫骨)、骨软骨、部分韧带(前、后交叉韧带，股四头肌肌腱、髌韧带)、半月板、肌肉、积液。然后由一位高年资骨关节可专家(阅片经验≥15年)对低年资医师的标注进行复核，如有不一致的情况，以高年资放射科专家的标注为金标准，将修改好的T2WI图像上的标签匹配至T1WI图像上，并进行修改和确认，然后进行图像渲染(图2)。

1.4.3 基于深度学习的KOA智能分割软件为python3.8、pytorch1.7.0、opencv4.5.0、numpy和simpleITK等，根据情况采用SGD或者Adam作为训练优化器。图像预处理参数：size=16×448×256(z，y，x)，自动窗宽、窗位。200个数据按照8︰1︰1的比例随机分为训练集(traindataset，n=160)、调优集(validation dataset，n=20)和测试集(test dataset，n=20)。采用Coarse-to-Fine序贯训练的方法训练3D-UNET网络深度学习模型：先训练一个膝关节矢状面MRI粗略分割模型，将得到的粗略分割结果作为掩膜(mask)，再训练精细分割模型。输入膝关节矢状面T1WI、T2WI图像和各结构的标注文件，分割骨、软骨、韧带、半月板、肌肉、积液，训练参数：每次读取的图像数量(batch size)为4，学习率(learning rate)为0.000 1，训练次数(epoch)为400。
分割及测量过程中的智能算法。分割是用不同的模型训练，对指定的组织进行自动分割；测量利用将分割得到的三维模型分割成四面体，依次计算每个四面体的体积求和得到整个模型体积。
(1) U-Net神经网络：首先前面数层使用5×5的卷积，stride=2，使用SELU激活和BN，然后变成32×32×128这个特征，接着特征进一步按照上述的操作转换成16×16×128，再到8×8×128的特征，这个特征通过一个全连接层转换成一个1×1×128的全局特征，然后被拷贝32×32份，变成32×32×128的全局特征，再和前面的32×32×128的局部特征concat在一起变成32×32×256的混合特征。网络还采用了残差学习，也就是把输出加到了最后，网络学习的是输入和目标之间的残差部分。

(2) DeeplabV3+的网络架构：在DeeplabV3+中，使用空间金字塔池模块或编码器-解码器结构进行语义分割的两种神经网络，其中前一种通过在不同分辨率下合并特征来捕获丰富的上下文信息，而后一种能够获得清晰的对象边界。见图3。

(3) GAN进行数据增强，主要是对未配对(unpair)的图像进行增强，属于弱监督学习的范畴，所以采用的基本架构是2-way GAN生成器结构。见图4。

(4)最后通过系统后台运作，智能化测量积液的体积和膝关节周围肌肉含量，见图5。

1.4.4 病例测试由2名广东省第二中医院15年以上临床经验的医生阅片，从医院磁共振数据库挑选26例正常膝关节、38例KOA患者的MRI矢状位图像，格式为DICOM。
正常膝关节的纳入标准：①MRI无软骨、韧带损伤、无明显积液和肌肉萎缩等情况；②半月板损伤在2级以下(包括2级)；③年龄不超过40周岁。
正常膝关节的排除标准：①MRI有软骨、韧带损伤、明显积液和肌肉萎缩等情况；②半月板损伤在3级或以上(包括3级)；③年龄超过40周岁。
KOA患者的纳入标准：①膝关节反复疼痛半年以上；②软骨损伤3级或以上；③年龄50-70周岁；④符合中华医学会骨科学分会关节外科学组发布的《骨关节炎诊疗指南(2018年版)》。
KOA患者的排除标准：①膝关节近半年内为出现肿痛症状；②软骨损伤2级或以下；③年龄< 50周岁或> 70周岁。
此次研究经广东省第二中医院医学伦理委员会批准(批件号：2022-118K)，所有患者均知情同意并自愿参与此次研究。
1.4.5 数据的评估在测试集中，由影像医师在正中矢状面图像上评估模型分割骨(髌骨、股骨、胫骨)、骨软骨、部分韧带(前、后交叉韧带，股四头肌肌腱、髌韧带)、半月板、肌肉、积液的结果，最后显示三维重建，显示自动测量结果(肌肉的含量、积液的体积)。
1.5 主要观察指标运用自主开发的应用软件，测量KOA患者和正常人的膝关节积液和肌肉体积。
1.6 统计学分析采用SPSS 22.0软件进行分析，定量资料满足正态分布和方差齐采用x±s表示，两组间比较采用独立样本t检验；不满足则用中位数(P25，P75)表示，组间比较采用非参数Mann-Whitney 检验；定性资料用百分比(%)表示，组间比较采用卡方检验。将单因素分析中有统计学意义的变量以及专业上认为对结局有影响的变量纳入多因素Logistic回归模型中探讨结局的独立影响因素，检验水准为0.05。

讨论

利用MRI的图像特征提取，经过标注、深度学习、模型重建，量化指标，更加客观地分析膝关节的各个指标。从结果可以看出，正常人的肌肉含量与KOA的相差不大，未见统计学差异，而积液的含量KOA较正常人高，两者有统计学差异。对单因素分析中有统计学意义的变量以及对变量纳入多因素Logistic回归模型中，结果显示年龄是影响疾病发生的独立危险因素，并且有统计学意义，其他因素并没有统计学意义。
近几年，深度学习在图像识别方面飞速发展，在KOA领域也有不少的成果。鉴于膝关节病变初期多较细微，诊断耗时、费力，深度学习模型用于诊断软骨病变[15-16]、半月板撕裂及前交叉韧带撕裂[17-21]，有助于提高诊断效能，减少人为因素所致误差，且部分模型的诊断效能已可与临床医师相媲美[17，21-22]。在早期的研究领域，X射线检查是临床筛查KOA的常用手段，采用Kellgren-Lawrence等级可根据X射线平片所见对KOA进行分级[23]。例如，马明昌等[24]采用深度学习算法，通过训练膝骨关节定位模型自动获取X射线片图像中骨关节的位置，并在此基础上训练Kellgren & Lawrence(K-L)分级模型，通过测试集评估X射线辅助诊断模型的准确性、敏感度和特异度，并合并KL1和KL2以进一步测试模型指标，最终建立完整的KOA X射线辅助诊断模型辅助医师进行K-L分级。也有研究者试图通过自动识别KOA的生物标记物预测KOA进展[25]。
随着技术的发展，鉴于MRI对膝关节病变的分辨率高，不断有学者进行MRI图像分割的研究探索，深度学习可以帮助将MRI图像中的复杂结构和组织进行分割。目前对膝关节MRI分割的，王昕等[26]运用LeNet-5卷积神经网络对是否有KOA病变进行判别。人工智能已经达到图像识别的阶段，已经有学者其进行软骨厚度的测量，司莉萍等[27]运用V型网络和Inception网络，对胫骨、股骨、髌骨软骨进行自动分割，并且得到比较准确的结果。LIU等[28]的研究已经开发和评估了一个新的全自动肌肉骨骼组织分割方法，集成了深度CNN和3D单纯形可变形的方法，以提高准确性和效率的软骨和骨分割内膝关节。分割方法被证明提供快速和准确的软骨和骨分割在足够短的时间内用于临床常规使用实践与骨关节炎研究。有学者提出，通过半定量方法主动勾画出轮廓[29-31]，基于atlas的建模[32]、B-spline snakes[33]、图切割[34]、k-nearest邻域[35]，与三维欧氏距离变换[36]，MRI采集后通过预处理(去噪、归一化等)进行节段生成，然后提取骨表面，定量平均修复[36]。其中一些半定量分割系统，首先在分割软骨-滑膜界面使用局部坐标系统来映射相应的软骨几何形状[30，37–39]，根据骨头和软骨之间分界线，然后使用从相邻磁共振切片中提取的3D表面边缘自动初始连续轮廓，勾画软骨-软组织，以及使用2D/3D自动描绘处理活动轮廓过程(蛇形)，即基于活动轮廓模型分割连续MRI中心切片的方法。随着技术的进一步发展，逐渐出现全自动分割，如使用多图谱与局部结构分析[40]、刚性配准和体素分类[41]，或结合各向异性正则化的标签融合技术。其他技术包括多区域阈值分割[42]、空间梯度投影(基于灰度和纹理定义的两个高斯分布模型计算分离阈值亮暗组织的均匀性)、监督体素分类和3D图算法[43-44]。最近机器和深度学习在医学图像分析方面不断进步，引发膝关节软骨自动分割快速发展。半自动体积测量使用ITK-SNAP软件进行人工组织分割，然后使用体素强度算法生成组织的3D图像并测定总体体积[45]，全自动体积测量定量系统采用了3D CNN算法，例如在MxNet框架下实现的U-net架构的多图谱分割方法[46]。LI等[47]还开发了一种全自动3D系统，使用非对比增强MRI对独立于滑膜的膝关节滑膜体积进行量化，该方法包括强度阈值技术，结果显示，25例骨关节炎患者膝关节滑膜体积平均为(11.7±7.8) mL，而人工定量为(13.5±8.8) mL，自动与手动的平均绝对差值为(1.8±1.8) mL，均为优相关系数。
此文是用U-Net神经网络来实现的，为了在多个尺度上捕获上下文信息，DeepLab v3以不同的膨胀系数应用了几个并行的空洞卷积(ASPP)。即使在最后的特征图中对丰富的语义信息进行了编码，由于与网络主干内的跨步操作进行池化或卷积，因此缺少与目标边界有关的详细信息，这可以通过应用空洞卷积提取更密集的特征图来缓解。但是，鉴于最新的神经网络设计和有限的GPU内存，在计算上禁止提取比输入分辨率小8倍甚至4倍的输出特征图(计算的代价太高)，因此，如果为此类模型提取更密集的输出特征，则将占用大量计算资源。另一方面，编码器-解码器模型有助于在编码器路径中进行更快的计算，并逐渐在解码器路径中恢复清晰的目标边界。为了结合两种方法的优点，建议通过合并多尺度上下文信息来丰富编码器-解码器网络中的编码器模块。模型DeepLab v3+，通过添加一个简单而有效的解码器模块来恢复对象边界，从而扩展了DeepLab v3。丰富的语义信息在DeepLab v3的输出中进行了编码，通过空洞卷积可以实现根据计算资源来控制编码器功能的密度。此外，解码器模块允许详细的目标边界恢复。
此次研究存在的不足：目前软件数据有待精确，软骨成像的学习样本量不足，有部分软骨识别效果欠佳，如果软骨成像技术成熟，可作为软骨厚度的测量和软骨分级智能判定。
结论：通过深度学习对膝骨关节炎MRI图像进行智能分割，可摒弃以往手工分割耗费大量人力精力的缺陷。此次研究能够实现对膝关节各结构进行智能分割，以及对其肌肉和积液的含量进行测量分析。对膝关节各结构还需要更加深入量化分析，提高测量的精度。中国组织工程研究杂志出版内容重点：人工关节；骨植入物；脊柱；骨折；内固定；数字化骨科；组织工程

深度学习对膝骨关节炎MRI图像智能分割和测量分析的作用及意义

Role and significance of deep learning in intelligent segmentation and measurement analysis of knee osteoarthritis MRI images

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表（结果） 4

参考文献

相关文章 15

引言

材料方法

讨论

文章快阅

延伸阅读

编辑推荐

Metrics

本文评价

[1]	李永杰, 付申宇, 夏渊, 张达宽, 刘洪举. 膝骨关节炎女性伸膝肌力、步态时空参数与峰值膝关节屈曲/内收力矩关系[J]. 中国组织工程研究, 2024, 28(9): 1354-1358.
[2]	余伟杰, 刘爱峰, 陈继鑫, 郭天赐, 贾易臻, 冯汇川, 杨家麟. 机器学习在腰椎间盘突出症诊治中的优势和应用策略[J]. 中国组织工程研究, 2024, 28(9): 1426-1435.
[3]	黄夏荣, 胡莉芝, 孙光华, 彭昕珂, 廖瑛, 廖源, 刘静, 尹林伟, 钟培瑞, 彭婷, 周君, 屈萌艰. 电针干预老年膝骨关节炎大鼠关节软骨及软骨下骨P53、P21的表达[J]. 中国组织工程研究, 2024, 28(8): 1174-1179.
[4]	申飞燕, 姚吉祥, 苏珊珊, 赵忠民, 唐巍东. 敲低环状RNA WD重复含蛋白1抑制膝骨关节炎软骨细胞增殖并诱导凋亡[J]. 中国组织工程研究, 2024, 28(4): 499-504.
[5]	卢梦雅, 伍闲, 佘泽宇, 夏帅, 卢曼, 杨永晖. 针刀调控线粒体途径软骨细胞凋亡防治大鼠膝骨关节炎[J]. 中国组织工程研究, 2024, 28(32): 5190-5195.
[6]	付强昌, 郑力铭, 蒋利锋. 胫骨高位截骨促进软骨再生治疗膝骨关节炎[J]. 中国组织工程研究, 2024, 28(32): 5243-5248.
[7]	任伟亮, 焦永伟, 张健, 杨立英, 杨琦. 白藜芦醇对膝骨关节炎模型大鼠关节液中氧化应激和炎症因子的调控作用[J]. 中国组织工程研究, 2024, 28(32): 5154-5158.
[8]	侯增涛, 董志伟, 张金锋, 杨晓慧, 范筱. 富血小板纤维蛋白调控细胞凋亡修复大鼠膝骨关节炎损伤软骨[J]. 中国组织工程研究, 2024, 28(32): 5167-5171.
[9]	尹林伟, 黄夏荣, 孙光华, 刘静, 钟培瑞, 王金玲, 陈佳倩, 文幸, 甘邵婷, 胡文韬, 李萌萌, 周君. 脉冲电磁场可抑制老年大鼠膝关节软骨退变[J]. 中国组织工程研究, 2024, 28(28): 4522-4527.
[10]	杨程, 李玉生, 焦泓焯, 尚曼, 刘琪, 李林臻, 樊方阳, 张成龙, 张晓宇, 张君涛. 肾虚血瘀型SD大鼠膝骨关节炎模型的建立与验证[J]. 中国组织工程研究, 2024, 28(27): 4273-4280.
[11]	刘蒙飞, 马鹏程, 尹灿, 姜侃, 巨啸晨. 不同骨密度对膝关节单髁置换后关节内各结构影响的三维有限元分析[J]. 中国组织工程研究, 2024, 28(24): 3801-3806.
[12]	李春, 张艳玲, 刘娣, 王明磊, 王铎, 刘君伟, 武永利. 温针灸对膝骨关节炎兔损伤前交叉韧带修复及相关因子的影响[J]. 中国组织工程研究, 2024, 28(23): 3621-3626.
[13]	张凯, 赵鸣昕, 杨雨竹, 郭媛, 纪斌平. 单髁置换过程中胫骨假体立柱长度对膝关节生物力学的影响[J]. 中国组织工程研究, 2024, 28(21): 3281-3285.
[14]	尹岳桐, 朱光宇, 田向东, 谭冶彤, 马晟, 薛志鹏, 胡元一, 李晓敏. 胫骨结节远端单平面截骨对踝关节冠状面角度的影响[J]. 中国组织工程研究, 2024, 28(21): 3349-3354.
[15]	杨永泽, 程晴灏, 张安任, 杨鑫, 张壮壮, 樊华, 张福康, 郭洪章. 机器人辅助全膝关节置换过程中创伤效应的利弊[J]. 中国组织工程研究, 2024, 28(21): 3413-3417.