2.1   深度学习在骨骼影像诊断领域的发展历程   骨骼影像诊断在早期主要依赖人工经验，效率提升有限，存在误诊以及漏诊的问题[13]。深度学习于2006年被提出，奠定了骨骼影像自动识别方向的基础。随着算力的提升，深度学习技术逐渐能够处理大量数据，从而在骨折检测、骨质疏松诊断等骨骼疾病诊断等临床应用中实现了突破性进展[14]。 近年来，随着深度学习模型的不断改进，卷积神经网络已逐渐衍生出各种模型，使得骨骼影像分析水平取得了显著提升[15]。改进后的模型不仅极大提高了诊断的准确性和效率，还有利于推动骨科向智能化诊断方向发展[16]。表1系统总结了深度学习技术在骨骼影像诊断领域的主要进展、典型应用以及技术方向。 2.2   深度学习模型在骨骼影像诊断中的核心任务   深度学习作为近年来人工智能的热门分支，在图像分类、图像分割、图像检测三大任务上取得了突破性进展[17-20]。三大任务都是图像分析中的基础任务，也是许多应用任务的基础，比如图像增强、图像配准、图像生成、图像去噪等均辅助于3个基础任务[21-22]，如表2所示，该节主要以分类、分割、检测3个图像任务展开论述，从原理、发展和在骨骼影像诊断方面的应用进行阐述。 2.2.1   图像分类   图像分类作为图像任务中最基础的问题，对于影像输入的图像进行分析，判断图像属于哪种类别的任务。其中，骨骼影像分类可以分为正常骨骼图像与异常骨骼图像，或者识别骨折是否发生[23]。传统的图像分类方法是通过手工设计的梯度直方图等方法，难以处理复杂的图像[24]，而随着深度学习的诞生使得图像分类准确率显著提高。卷积神经网络作为图像任务的骨干模型，能有效避免传统方法的繁琐过程，它的特点是通过多个卷积层、池化层和全连接层提取图像中的各级特征，从而实现自动训练[25]。2012年，AlexNet模型在ImageNet上的良好表现，开启了深度学习在图像分类中的应用，而后续VGGNet、ResNet等网络改进模型则提升了图像分类的准确率以及训练效率。新型Transformer架构的核心是自注意力机制，能够直接处理全局上下文信息，弥补了卷积神经网络因其局部性而存在的不足。 目前图像分类模型不仅需要网络结构的改进，还需要设计多尺度特征提取模块，以增强模型的特征识别能力[26]，从而进一步捕捉骨骼的关键特征，提高骨骼疾病诊断的准确率[11]。此外，深度学习模型还需要进一步设计自监督学习模型，该模型能从未标记的数据中学习，这将有效减少对标注数据的需求，从而降低临床应用难度[27]。 2.2.2   图像分割   图像分割是指将图像划分为若干区域，随后对区域内容的每一个像素进行分类，实现对目标的精确定位[28]。图像分割对于骨骼影像尤为重要，由于骨骼结构的复杂多样，导致容易出现漏诊现象，而分割模型能够专注于病灶区域，为医生提供有价值的参考依据[29]。 传统的图像分割方法往往基于颜色与纹理特征，利用阈值分割等方法实现，但易受环境影响，难以满足实际需求。然而，全卷积网络的提出显著推进了图像分割技术[30]。全卷积网络将卷积神经网络移除了连接层，使得输入图像任意大小且输出任意大小的图像，实现了像素级别的预测输出。继全卷积网络之后，U-Net模型被广泛应用于骨骼及软组织图像分割[31]，该模型设计为编码器-解码器结构[32]，通过跳跃连接保留多尺度的图像特征，使得图像分割结果更为精确，并且随着注意力机制设计，进一步加强了模型分割复杂骨骼结构的能力[33]。总之，利用深度学习图像分割模型将骨骼病灶区域进行分割，能够大幅减轻医生的工作负担，有效提高诊断的一致性及准确性[34]。 2.2.3   图像检测   图像检测是指同时检测并定位图像中出现的目标，指出目标出现的类别，并且准确定位出目标出现的位置，一般表现为边界框或者更精细的形状轮廓[35]。骨骼影像的图像检测可应用于骨折检测、骨刺检测、异常病变检测等，但传统的图像检测算法依赖于滑动窗口、手工特征，计算量庞大且多目标检测时准确率不高。然而，深度学习中基于区域提议的算法(如区域卷积神经网络R-CNN)和端到端算法(如YOLO、SSD)可以提升检测的效率与准确率[36]，其中，YOLO将图像分割为网格并对每个网格预测边界框，使得模型能够快速地进行目标定位和分类，然而在处理密集目标时需要进一步设计多尺度网络架构。 经典的R-CNN算法是将候选区域生成和分类分开进行，快速区域卷积神经网络Fast R-CNN、Faster R-CNN算法采用提取网络共享，第一阶段检测网络有代表性的是YOLO和SSD，可以实现实时检测，多用于临床图片快速检测，自动标注骨折线、定位病变组织，辅助医师定量分析[23]。除此以外，基于多任务学习的检测模型可以同时进行骨骼图像的分类和分割，提升综合诊断能力。 2.2.4   图像配准、生成与增强   除上述三大类基础任务外，图像配准、图像生成、图像增放等技术作为重要的辅助技术，丰富了深度学习的实践场景[37]。图像配准是将图像数据在空间上对齐，例如对齐不同时间点的图像或不同模态下的图像等。图像配准是纵向疾病监测以及多模态信息融合的重要基础。图像生成，尤其是生成对抗网络能够学习真实的分布，生成逼真的骨骼图像，解决医学数据不足的问题，为模型训练提供数据补充。图像增强是指增强图像质量，例如降噪、对比度增强等，这有利于模型处理数据，从而提高鲁棒性。 2.2.5   定量分析、预测与预后   深度学习使骨骼影像学定性描述向定量化分析、客观化分析方向发展，它通过骨骼影像精准的分割,提取出客观、可重复的定量参数，如关节间隙宽度、骨肿瘤的直径、骨密度值等信息，从而为疾病分类及分级、疗效评估提供客观的量化指标。预测风险和预后是深度学习在临床决策中更高级、更复杂的应用，是结合骨骼影像学特征与临床资料预测未来发生的概率，预测疾病的发展速度，对实现精准诊疗起着至关重要的作用[38]。 2.3   深度学习在骨骼疾病诊断中的应用   深度学习在骨骼疾病诊断中的常见应用见图4。 2.3.1   深度学习在骨折诊断中的应用   骨折作为创伤骨科的常见疾病，早期诊断对改善患者预后十分重要，但是隐匿性骨折常因为影像学表现不显著造成误诊。正是由于深度学习在特征提取方面的优势，实现了从骨折的基础性诊断到骨折的精细化诊断。深度卷积神经网络能够自动提取骨皮质形态、骨折线等骨皮质特征，引入残差网络结构等优化策略以解决模型识别率等问题，弥补了传统人工分析方法的缺陷。对于影像学特征复杂的脊椎压缩性骨折，XU等[39]率先将深度学习应用在多种场景，通过ResNet-18进行骨折的识别，二分类准确率超过90%，骨折多分类的准确率则达到85%。当前临床需要的不只是骨折类型，还有骨折部位，因此学者们采用基于深度学习的集成框架。例如，MIN等[40]提出将YOLOv5与EfficientNet-B3相结合的深度学习集成框架，用于诊断内外关节远端桡骨骨折，最终测试集取得了82%的曲线下面积和81%的准确率，同时该框架可以在图像质量较低情况下进行骨折定位和分类。另外，ALKHATIB等[41]使用卷积神经网络和R-CNN多网络模型将特征提取与区域建议相结合，从而提高检测的鲁棒性，该实验标志着从解决单一任务的单一模型向解决复杂临床问题的多任务模型发展。但即使模型表现良好，决策过程不透明，依然容易阻碍临床推广。为解决此问题，KASSEM等[42]首次将可解释框架与迁移学习相结合，与ResNet-50一起用于盆骨骨折的检测，在小数据集上实现了98.5%的准确度，提供了透明可信且易于构建的检测模型，为建立信任的医生提供了一个可行的方案。 深度学习模型在骨折分类任务中已展现出良好效果，但该领域仍面临两大核心挑战：模型对无明显移位的隐匿性骨折敏感度不足；在单一私人数据上训练的模型，难以应用于复杂骨骼图像，需要进一步提高泛化能力。因此，未来的研究重点在于提升模型的鲁棒性，并整合可解释性技术以增强临床决策的可信度，促进临床应用落地。 2.3.2   深度学习在骨肿瘤诊断中的应用   骨肿瘤是骨骼系统中的肿瘤性病变，主要分为原发性和转移性，原发性骨肿瘤来源于骨骼本身，而转移性骨肿瘤则是由其他部位的恶性肿瘤转移所导致。骨肿瘤的早期诊断面临诸多挑战，而深度学习多尺度卷积模型可以融合骨肿瘤的形态学、纹理、边界等多特征信息，对骨肿瘤进行分类和边界分割，进而分类诊断[43]。针对X射线骨肿瘤影像，PAN等[44]利用DenseNet建立的FemurTumorNet模型对股骨近端骨肿瘤进行放射学诊断，该模型能够将不同特征进行交互融合，最终取得了0.953的曲线下面积值，敏感性、特异性和准确率均高于专家水平，从而有效防止误诊。BREDEN等[45]利用Vision Transformer模型对儿童膝骨肿瘤进行诊断，采用数据增强的最终测试准确率为89.1%、灵敏度为82.2%、特异度为93.2%，并利用基于预测的Grad-CAM技术对该模型进行了验证，证明了在有限资源的情况下辅助早期诊断的重要性。除此之外，ANAND等[46]使用EfficientNet对组织病理图像特征进行提取，同时结合XGBoost与鲸鱼优化算法优化模型性能，最终实现了99.48%的准确率。类似地，ALABDULKREEM等[47]使用猫头鹰搜索算法优化超参数提出了一种OSADL-BCDC方法，编码器由Inception v3和LSTM所构建，其中Inception v3用于图像特征提取，LSTM用于时序数据学习，从而有效提升模型的准确性和鲁棒性。在CT影像分析方面，YILDIZ POTTER等[48]利用Mask2Former模型对CT图像中的恶性骨肿瘤进行自动分割与分类，其分割结果的Dice系数为56%，鉴于恶性骨肿瘤具有浸润性生长、与正常组织边界不清、形态不规则等特点，自动分割难度极大，因此这一数值虽低于常规分割任务，却符合临床实际情况。 总之，深度学习被广泛应用于骨肿瘤诊断，但针对模糊、浸润性边界的恶性肿瘤仍存在误判，未来需进一步融合深度学习和放射组学以及影像、临床、生物标志物等多组数据进行联合分析，实现对骨肿瘤的准确评估。 2.3.3   深度学习在骨质疏松诊断中的应用   骨质疏松症是一种以骨量低、骨组织微结构损坏，导致骨脆性增加，易发生骨折为特征的全身性疾病，多见于绝经后女性和老年男性[49]。骨质疏松是老年患者致残和致死的主要原因之一，容易引发多种并发症，导致患者残疾，使患者生活质量明显下降。尽管双能X射线吸收法为骨质疏松的诊断金标准，但只能提供骨密度数值，不能直接反映骨组织的微结构。另外，高分辨率定量CT可以精准测量骨密度、脂肪面积、脂肪含量和肌肉密度，但对人体的辐射相对较大。相比之下，通过深度学习技术分析两种模态的数据信息，可实现更为准确的骨质疏松症诊断以及骨密度预测，从而降低诊断成本[50]。 以膝关节X射线图像为数据源，SARHAN等[26]采用VGG-16、ResNet-50等不同卷积神经网络结构，并结合迁移学习的方法对正常、骨量流失、骨质疏松进行三分类，有效解决小样本、过拟合等问题，VGG-19在多分类任务中的准确率达92.0%，二分类准确率达97.5%。PENG等[51]使用DenseNet网络对1 219例患者CT影像进行骨质疏松风险筛查，模型分类任务准确率超过90%，显著降低了传统骨量检查成本和辐射剂量。另外，SUKEGAWA等[52]使用EfficientNet模型联合临床协变量(年龄、性别等)对牙科全景X射线片进行骨质疏松早期检测，结论得出临床协变量有利于模型准确率和曲线下面积提升。在非侵入性骨密度预测方面，HO等[53]提出了一种名为DeepDXA-Han的深度学习模型，基于手部X射线片直接预测骨密度，预测结果与双能X射线吸收法测量结果的相关性为0.745，骨质疏松症的敏感性、特异性、准确性分别为0.73，0.83，0.80，同时研究证明手部X射线片筛查具有低辐射率优势。针对骨质疏性椎体压缩性骨折的自动检测与分级，LIAWRUNGRUEANG等[54]评估基于YOLOv8的人工神经网络模型的性能，在1 050张CT图像上对不同严重程度的骨质疏松性椎体压缩骨折进行检测、分类，分类的总准确率高达96.04%。 尽管深度学习方法的效果良好，但主要局限性在于：从二维影像中提取的特征与真实三维骨微结构之间的特征，容易受患者姿势与设备差异等因素的干扰，因此，未来的研究应结合患者的个体差异，从静态骨密度评估转向动态分析，构建个性化预测模型，从而提高模型特征提取能力。 2.3.4   深度学习在骨关节炎诊断中的应用   骨关节炎是以骨赘、骨软骨损害、骨间隙狭窄等为主要影像学特点的慢性退行性关节疾病。X射线片是膝骨关节炎首选的影像学检查，Kellgren-Lawrence(KL)分级法是常用的评价方法[53-56]，但人工KL分级对放射科医生的经验有较大依赖性，存在观察者一致性差等问题。因此，通过深度学习模型提取出影像中与骨赘、骨间隙等相关的细粒度影像信息，同时结合影像与临床医生的经验知识实现自动分级，能够有效提升骨关节炎诊断效率[57]。TARIQ等[58]通过迁移学习和自设框架对ResNet-34，VGG-19和DenseNet-161等进行训练微调，其多网络模型对骨关节炎图像数据集的总准确率为98%，Kappa值为99%，随后采用可视化技术Eigen-CAM判断决策区域是否符合临床诊断标准。此外，方颖等[59]以EfficientViT-M0模型作为骨干网络，并融合级联群体注意力与混合局部通道注意力机制，对5 078例X射线影像数据集进行检测，mAP50(用于检测模型性能的指标)为0.695，召回率为0.960，显著优于YOLOv5n、YOLOv8n等模型。 针对单一位置X射线影像信息缺失的问题，LI等[60]提出了一种结合后前位和侧位的基于多视图深度学习X射线影像模型，基于ResNet-50网络和U-Net的分割模型将区域先验信息纳入KL中，总体正确率为96%，微平均曲线下面积与宏平均曲线下面积分别为0.96和0.95，远超过了以往的单一视图的分析方法。除了基于深度学习的模型，混合深度学习的模型也有着巨大的发展潜力。YILDIRIM等[61]发现，DenseNet-121模型提取的深层特征与方向梯度直方图、局部二值图案等手工提取的纹理信息结合得到的模型在多分类问题上达到了83.6%的准确率。近年来，有着良好表现的高分辨网络(HRNet)模型与注意力机制得到了广泛关注。JAIN等[62]提出的OsteoHRNet使用了注意力模型CBAM加强特征提取，平均绝对误差等指标要远优于VGG-19和DenseNet-161等传统卷积神经网络模型。尽管所提出的基于深度学习的模型在膝关节KL分级中表现出了良好的性能，但在临床中的可行性和泛化性仍存在一些潜在问题，不一致的图像质量、不同的图像采集协议以及患者的不同姿势或体貌特征都可能会使模型的识别准确度不一致，诊断的一致性也会存在差异。 深度学习模型在骨关节炎的分级任务中应用广泛，有效提升了诊断效率，然而，其性能易受临床影像质量变异性的影响，并且模型学习的KL分级标准本身存在主观性上限，未来研究应开发能够直接定量测量关节间隙宽度等特征的模型，并构建能够预测疾病长期进展的预后模型。 2.3.5   深度学习在滑膜炎诊断中的应用   滑膜炎是滑膜受到各种刺激产生炎性反应，造成滑膜细胞分泌失调形成积液的一种关节病变。临床常见的滑膜炎以骨关节炎性滑膜炎为主，尤其是膝骨关节炎性滑膜炎[63]。MRI被认为是诊断滑膜炎的“金标准”，超声因便于监测被广泛采用，而深度学习技术的目的在于提高滑膜炎的诊断效率及准确性。SCHLERETH等[64]开发了一个系统对手部MRI的滑膜炎、骨侵蚀、骨炎进行自动评分，对内部验证集中的曲线下面积分别为92%，91%，85%，和专家打分曲线下面积高度相关(斯皮尔曼相关系数分别为90%，78%，69%)，同时该研究方案省略了对比增强序列后，仍保留了预测骨侵蚀的优良性能。除了应用于MRI影像分析，深度学习还用于滑膜组织的病理分级，例如，VENERITO等[65]将迁移学习和ResNet-34应用于区分滑膜组织活检图像中的高级和低级滑膜炎，精度和召回率达到了近100%。 对于膝关节滑膜炎的类型，WANG等[66]开发了一种基于ResNet-18和U-Net的级联模型，对滑膜及脂肪垫进行快速分割，从而对滑膜炎类型进行分类，分割速度(1.5 s/图像)远超人工(14 s/图像)，并且准确率为86%，优于资深放射科医生的79%。而针对提高成像效率，FEUERRIEGEL等[67]提出了一种基于深度学习的无对比剂FLAIR FS序列MRI成像方法，通过深度学习技术来加快扫描速度并重建高质量图像，将扫描时间从4 min 50 s缩短至1 min 38 s，并且无需注射对比剂，滑膜炎评分与传统的对比增强T1FS序列相比无差异(P=0.521)，并且对轻度、重度滑膜炎检测具有较好的敏感性及特异性(92.3%，95.0%)。 尽管深度学习模型能够将软骨区域快速分割，但设计的模型参数量较大，未来应采用轻量化设计，采用深度可分离卷积等高效计算模块来替代传统卷积，从而开发出小巧且精准的分割模型，以满足临床环境的资源限制要求。 2.3.6   深度学习在脊柱疾病诊断中的应用   脊柱区域解剖结构复杂且病变种类繁多，不仅会影响脊柱本身，还会影响其他器官，甚至引发心脏或脑部疾病[68]。深度学习为脊柱影像分析提供了技术支撑，其编码器-解码器可针对椎体、髓体、椎管等复杂结构图像进行自动分割，从高维数据中提取病理相关信息，有效提高脊柱病变的诊断能力，为临床病灶定位与病理分级提供了解决方案。在U-Net的基础上，ZHOU等[69]提出了一种CT图像脊髓管自动分割技术，利用增强图像和主成分分析倾斜图像矫正，使分割过程转换为像素级图像，IoU达到了88%，Dice系数达到了96.4%，首次将上述技术用于脊柱狭窄的定量诊断。WANG 等[70]利用U-Net++结构对脊柱MRI进行自动分割，在分割过程中通过增加不同层次的特征融合避免了信息的缺失，从而提高了分割精度。LU等[71]针对腰椎边缘分割难点，提出先通过U-Net网络粗略定位腰椎部位再通过改进XUnet模型进行细分的分割方法，引入低参数的Inception模块来支持不同尺度的特征提取，最终在VerSe2020公共数据集上取得了较好的分割效果。WANG等[72]提出脊柱转移性肿瘤早期预测模型用于处理少量数据，仅通过分析941例患者实现了96.45%预测准确率。然而，脊柱的个体化差异通常导致模型难以检测微小病灶，未来的研究目标是开发能够实时实现个性化结构分割的端到端诊断系统，从诊断辅助逐渐转向治疗决策支持，实现技术落地。 2.3.7   深度学习在软骨诊断中的应用   软骨由软骨组织及其周围的软骨膜构成，根据所含纤维成分的不同，可分为透明软骨、弹性软骨和纤维软骨3种，能够起到承重、减少关节间骨骼摩擦及保护关键结构等作用。MRI图像中软骨常表现为软骨面缺损、软骨下骨坏死以及软骨新生，利用卷积神经网络结合注意力机制能够实现软骨组织病变区域的精确识别，更有助于计算结构体积。例如，DU TOIT等[73]将U-Net网络轻量化，使得分割时间从30 min缩短到0.56 s，极大地提高了效率。GUO等[74]对比UNet、UNet++、ResUNet和TransUNet等网络模型，在跨设备、多参数等异质MRI数据上进行测试，结果证明基于Transformer架构的TransUNet表现最佳，Dice系数取得了0.813，分级准确率达到89.99%。此外，LIU等[75]开发了基于先验知识的三维U-Net(Prior-based 3D U-Net)，结合软骨的背景知识使得模型学习能力提升，同时分割时间缩短至0.38 s。为解决医学影像数据标注稀缺问题，WAQAS等[76]提出基于稀疏标注的KCB-Net，使用伪标签生成技术进行无监督学习，使10%标注数据达到全标注方法的分割精度，有效解决了数据稀缺问题。 由上述分析可知，深度学习极大提升了关节软骨的分割效率，但在处理薄层组织的模糊边界时其分割精确度仍无法满足临床需求，并且模型对不同MRI扫描参数的鲁棒性有待提高。未来研究将设计用于捕捉组织边界的架构，通过引入通道或空间注意力机制让深度学习模型聚焦于关键边界，从而提高分割精度。"

"