基于深度学习改进的膝骨关节炎自动诊断方法

doi:10.12307/2026.533

中国组织工程研究 ›› 2025, Vol. 29 ›› Issue (35): 7511-7518.doi: 10.12307/2026.533

• 骨组织构建 bone tissue construction • 上一篇下一篇

基于深度学习改进的膝骨关节炎自动诊断方法

方颖1，张延伟2，利晞3，颜培栋4，毕苗1

1广州中医药大学第三临床医学院，广东省广州市 510403；2广州中医药大学第三附属医院影像科，广东省广州市 510378；3广州医科大学附属第二医院放射科，广东省广州市 510260；4暨南大学附属珠海临床医学院，广东省珠海市 519099

收稿日期:2024-10-29 接受日期:2024-12-31 出版日期:2025-12-18 发布日期:2025-04-30
通讯作者: 张延伟，博士，主任医师，教授，硕士生导师，广州中医药大学第三附属医院影像科，广东省广州市 510378
作者简介:方颖，女，1999年生，安徽省安庆市人，汉族，广州中医药大学在读硕士，主要从事肌骨影像学研究。

Improvements in automatic diagnosis methods for knee osteoarthritis based on deep learning

Fang Ying1, Zhang Yanwei2, Li Xi3, Yan Peidong4, Bi Miao1#br#

1The Third Clinical Medical College of Guangzhou University of Chinese Medicine, Guangzhou 510403, Guangdong Province, China; 2Department of Imaging, the Third Affiliated Hospital, Guangzhou University of Chinese Medicine, Guangzhou 510378, Guangdong Province, China; 3Department of Radiology, Second Affiliated Hospital, Guangzhou University of Chinese Medicine, Guangzhou 510260, Guangdong Province, China; 4Zhuhai School of Clinical Medicine, Jinan University, Zhuhai 519009, Guangdong Province, China

Received:2024-10-29 Accepted:2024-12-31 Online:2025-12-18 Published:2025-04-30
Contact: Zhang Yanwei, PhD, Chief physician, Professor, Master’s supervisor, Department of Imaging, the Third Affiliated Hospital, Guangzhou University of Chinese Medicine, Guangzhou 510378, Guangdong Province, China
About author:Fang Ying, Master candidate, The Third Clinical Medical College of Guangzhou University of Chinese Medicine, Guangzhou 510403, Guangdong Province, China

摘要/Abstract

摘要：

文题释义：
深度学习：是机器学习的一个分支，它通过构建和训练人工神经网络来学习和提取数据中的复杂模式和特征。与传统机器学习方法相比，深度学习能够处理大量的非结构化数据，如图像、音频和文本，从中自动提取特征，而无需依赖于人工特征工程。
膝骨关节炎：是一种常见的关节疾病，主要表现为膝关节的疼痛、僵硬和功能障碍。它通常是由于膝关节的软骨逐渐磨损、变薄，导致骨头之间的摩擦增加，从而引发炎症和疼痛。膝骨关节炎常见于中老年人，尤其是肥胖、关节受过伤或有遗传倾向的人群。

背景：膝骨关节炎是一种常见的退行性疾病，不仅严重影响患者的生活质量，同时增加社会医疗负担。早期准确诊断膝骨关节炎对于患者的治疗和预后至关重要，传统的诊断方法不仅主观且耗时，还不能保证稳定的高准确率。
目的：开发一种基于深度学习的膝骨关节炎自动诊断方法，利用深度学习网络提高诊断的准确性和效率。
方法：在YOLOv8n网络基础上采用 Efficient-ViT网络替换 YOLOv8n的骨干网络以及增加注意力机制的方法，提出了一种新的网络模型YOLOV8-ViT模型，用于自动识别和分类膝骨关节炎的X射线片图像。实验数据集来自广州中医药大学第三附属医院的5 078张膝骨关节炎患者的X射线片图像，由3个影像医师根据Kellgren-Lawrence分级标准采用labelme软件来标注膝关节炎部位并进行分类，采用并集结果。评价指标包括Precision、F1分数、mean average precision(mAP)、Recall、val/box_loss、val/cls_loss和val/dfl_loss。
结果与结论：实验结果表明，与YOLOv5n、YOLOv8n、YOLOv9n模型比较，YOLOV8-ViT模型的准确率、IoU阈值为0.5的平均精度(mAP50)、IoU阈值为0.5-0.95的平均精度(mAP50-95)、F1分数和Recall均有所提高，val/box_loss、val/cls_loss和val/dfl_loss分别降低了0.496、0.45和0.523，1.037、0.305和0.728，0.267、0654和0.854，验证了该模型具有较高的检测精度。

https://orcid.org/0009-0008-4826-0123(方颖)

中国组织工程研究杂志出版内容重点：组织构建；骨细胞；软骨细胞；细胞培养；成纤维细胞；血管内皮细胞；骨质疏松；组织工程

关键词: 膝骨关节炎, 深度学习, YOLOv8, Transformer, 目标检测, 检测精度

Abstract: BACKGROUND: Knee osteoarthritis is a common degenerative disease that significantly impacts patients' quality of life and increases the societal healthcare burden. Early and accurate diagnosis of knee osteoarthritis is crucial for the treatment and prognosis of patients. Traditional diagnostic methods are not only subjective and time-consuming but also do not guarantee consistently high accuracy.
OBJECTIVE: To develop an automatic diagnostic method for knee osteoarthritis based on deep learning, utilizing deep learning networks to improve diagnostic accuracy and efficiency.
METHODS: A new network model, YOLOV8-ViT, was proposed by replacing the backbone network of YOLOv8n with the Efficient-ViT network and incorporating attention mechanisms for the automatic identification and classification of X-ray images of knee osteoarthritis. The experimental dataset included 5 078 X-ray images of patients with knee osteoarthritis obtained from the Third Affiliated Hospital of Guangzhou University of Chinese Medicine. Three imaging physicians annotated the sites of knee osteoarthritis and classified them according to the Kellgren-Lawrence grading standard using Labelme software, and the results were combined. The evaluation indicators used in this study included Precision, F1 score, mean average precision (mAP), Recall, val/box_loss, val/cls_loss, and val/dfl_loss.
RESULTS AND CONCLUSION: The experimental results showed that the YOLOV8-ViT model outperformed the YOLOv5n, YOLOv8n, and YOLOv9n models in terms of precision, mAP50, mAP50-95, F1 score, and Recall, while lowering val/box_loss, val/cls_loss, and val/dfl_loss by 0.496, 0.45, and 0.523; 1.037, 0.305, and 0.728; and 0.267, 0.654, and 0.854, respectively. These experimental data validate that this model has high detection accuracy.

Key words: knee osteoarthritis, deep learning, YOLOv8, Transformer, object detection, detection precision

中图分类号:

方颖, 张延伟, 利晞, 颜培栋, 毕苗. 基于深度学习改进的膝骨关节炎自动诊断方法[J]. 中国组织工程研究, 2025, 29(35): 7511-7518.

Fang Ying, Zhang Yanwei, Li Xi, Yan Peidong, Bi Miao. Improvements in automatic diagnosis methods for knee osteoarthritis based on deep learning[J]. Chinese Journal of Tissue Engineering Research, 2025, 29(35): 7511-7518.

图/表（结果） 7

3 试验与结果 Testing and results
3.1 数据集采集筛选了2013-2023年广州中医药大学第三附属医院收治的5 078例膝骨关节炎患者的X射线影像数据，年龄5-92岁，全部为2D图像，包含正位和侧位X射线片。实验方案得到广州中医药大学第三附属医院伦理委员会批准(伦理批件号：PJ-XS-20241226-001，审批时间：2024-12-26)，并申请免除了患者知情同意。
将上述X射线影像数据按照COCO数据集的格式分为3个子数据集train，test，val，比例为7∶2∶1。由3个专业影像医师根据K-L分级标准采用labelme软件来标注膝骨关节炎部位并进行分类：0级，正常的膝关节，无骨关节炎的影像学特征；1级，存在关节间隙狭窄和怀疑存在骨赘；2级，存在明显的骨赘和关节间隙狭窄；3级，多发性骨赘，明显的关节间隙狭窄，骨质硬化，并怀疑存在骨畸形；4级，存在大骨赘，明显关节间隙狭窄，严重骨硬化，明显骨畸形。采用并集方式确定最后分级结果。
3.2 实验设备及评价指标此模型的开发语言主要是Python，使用PyTorch作为网络框架。训练时，将输入图像设置为 384×384，使用 SGD 作为优化函数对模型进行训练。模型训练周期(epoch)为500，批量大小为16，初始学习速率为0.1。此次实验采用与原YOLOv8算法相同的数据增强算法。此文使用的评价指标有F1分数、mean average precision(mAP)、Recall(召回率)、val/box_loss(边框损失)、val/cls_loss(分类损失)和val/dfl_loss (分布拟合损失)。其中以正确率和查全率作为基本指标，根据正确率和查全率计算的 F1分数和 mAP作为最终评价指标，衡量模型的识别正确率。召回率和损失函数作为分类模型评估中的另一个重要指标，前者用于衡量一个模型在识别正样本方面的能力，后者用以判断模型的性能和泛化能力。
3.3 实际应用检测评价此次实验数据集中检测到5种类型的膝骨关节炎，0级为正常的膝关节，无膝关节炎影像学特征，1级为关节间隙狭窄和疑似存在骨赘下垂，2级为明显的骨赘和关节间隙狭窄，3级为多发骨赘、明显的关节间隙狭窄、硬化症以及疑似存在骨畸形，4级为大骨赘、明显的关节间隙狭窄、严重硬化以及明显的骨畸形。图6显示了YOLOv8-ViT模型在此次数据集上的检测效果。结果表明，改进后的YOLOv8-ViT模型能够有效检测出膝关节炎目标，并且准确地识别它们的位置和类别，表现出较强的鲁棒性和准确性。
为了进一步验证不同模型对膝骨关节炎的检测效果，表2展示了YOLOv8-ViT模型和YOLOv5n、YOLOv8n、YOLOv9n模型在0-4分级的膝骨关节炎上表现的性能。实验数据表明，YOLOv8-ViT模型在0，1，2，4，all这几个类别上的检测精度均高于其余模型，其中类别3(多发骨赘、明显的关节间隙狭窄、硬化症以及疑似存在骨畸形)的检测精度低于其他模型，这是因为类别3目标特征较多且训练样本数量较少，与类别4较难区别，模型难以学习到更多的特征。特别提出的是与YOLOv5n、YOLOv8n、

YOLOv9n模型相比，YOLOv8-ViT模型的所有类别平均mAP50(IoU阈值为0.5的平均精度)和mAP50-90(IoU阈值为0.5-0.95的平均精度)分别提升了18.2%和7.7%，11.1%和4.8%，2.4%和0.2%，其检测精度是最全面稳定的，体现了该模型良好的性能。
3.4 与不同算法的检测结果比较为了进一步测试算法的性能，此次研究对YOLO系列中的YOLOv5n、YOLOv8n、YOLOv9n轻量级网络与YOLOv8-ViT进行了比较，具体结果见表3。从表3可以观察到，YOLOv8-ViT在确保运行速度的同时，其准确率相较于这些轻量级网络分别提升了37.1%，36%和29%，mAP50分别提高了31.7%，28.6%和24.5%，mAP50-95则提升了25%，23%和20.6%。实验结果表明，YOLOv8-ViT在与其他YOLO系列轻量级网络算法的比较中，以最小的模型体积取得了极高的检测精度，

具备更低的使用成本、更高的检测效率和更简便的部署方式，表现出其高效性和优越性。
3.5 其他实验结果 YOLOv8-ViT模型在验证集的各分级F1曲线、P-R曲线如图 7所示。
运用 K-means 聚类算法对数据集中的膝关节数量、人工标注框信息、膝关节位置以及涉及区域大小进行统计，如图 8所示。实验数据表明，该算法较适合应用于膝关节炎的检测。

参考文献

[1] DESHPANDE BR, KATZ JN, SOLOMON DH, et al. Number of Persons With Symptomatic Knee Osteoarthritis in the US: Impact of Race and Ethnicity, Age, Sex, and Obesity. Arthritis Care Res (Hoboken). 2016;68(12):1743-1750.
[2] XIE F, KOVIC B, JIN X, et al. Economic and Humanistic Burden of Osteoarthritis: A Systematic Review of Large Sample Studies. Pharmacoeconomics. 2016;34(11): 1087-1100.
[3] LIU M, JIN F, YAO X, et al. Disease burden of osteoarthritis of the knee and hip due to a high body mass index in China and the USA: 1990-2019 findings from the global burden of disease study 2019. BMC Musculoskelet Disord. 2022;23(1):63.
[4] KELLGREN JH, LAWRENCE JS. Radiological assessment of osteo-arthrosis. Ann Rheum Dis. 1957;16(4):494-502.
[5] OLSSON S, AKBARIAN E, LIND A, et al. Automating classification of osteoarthritis according to Kellgren-Lawrence in the knee using deep learning in an unfiltered adult population. BMC Musculoskelet Disord. 2021;22(1):844.
[6] KÖSE Ö, ACAR B, ÇAY F, et al. Inter- and Intraobserver Reliabilities of Four Different Radiographic Grading Scales of Osteoarthritis of the Knee Joint. J Knee Surg. 2018;31(3):247-253.
[7] TEOH YX, LAI KW, USMAN J, et al. Discovering Knee Osteoarthritis Imaging Features for Diagnosis and Prognosis: Review of Manual Imaging Grading and Machine Learning Approaches. J Healthc Eng. 2022;2022:4138666.
[8] 李松, 史涛, 井方科. 改进YOLOv8的道路损伤检测算法[J]. 计算机工程与应用,2023,59(23):165-174.
[9] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-Time Object Detection. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016:779-788.
[10] LIU X, PENG H, ZHENG N, et al. EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 2023:14420-14430.
[11] CAI H, LI J, HU M, et al. EfficientViT: Lightweight Multi-Scale Attention for High-Resolution Dense Prediction, 2023 IEEE/CVF International Conference on Computer Vision (ICCV), Paris, France, 2023:17256-17267.
[12] WU TH, WANG TW. Real-Time Vehicle and Distance Detection Based on Improved Yolo v5 Network. 2021 3rd World Symposium on Artificial Intelligence (WSAI), Guangzhou, China, 2021:24-28.
[13] JIAO L, ZHANG F, LIU F, et al. A Survey of Deep Learning-Based Object Detection. IEEE Access. 2019;7:128837-128868.
[14] CAI W, NING X, ZHOU G, et al. A Novel Hyperspectral Image Classification Model Using Bole Convolution With Three-Direction Attention Mechanism: Small Sample and Unbalanced Learning. IEEE Trans Geosci Rem Sens. 2023;61:1-17.
[15] LI J, LI B, JIANG Y, et al. MrFDDGAN: Multireceptive Field Feature Transfer and Dual Discriminator-Driven Generative Adversarial Network for Infrared and Color Visible Image Fusion. IEEE Trans Instrum Meas. 2023;72:1-28.
[16] KANG J, TARIQ S, OH H, et al. A Survey of Deep Learning-Based Object Detection Methods and Datasets for Overhead Imagery. IEEE Access. 2022;10:20118-20134.
[17] ABDULGHANI AM, ABDULGHANI MM, WALTERS WL, et al. Data Augmentation with Noise and Blur to Enhance the Performance of YOLO7 Object Detection Algorithm. 2023 Congress in Computer Science, Computer Engineering, & Applied Computing (CSCE), Las Vegas, NV, USA, 2023:180-185.
[18] RAGAB MG. A Comprehensive Systematic Review of YOLO for Medical Object Detection (2018 to 2023). IEEE Access. 2024;12:57815-57836.
[19] Romero-González JTC. A comprehensive review of yolo architectures in computer vision: From yolov1 to yolov8 and yolo-nas. Mach Learn Knowl Extra. 2023;(5):1680-1716.
[20] VARGHESE R, SAMBATH M. YOLOv8: A Novel Object Detection Algorithm with Enhanced Performance and Robustness, 2024 International Conference on Advances in Data Engineering and Intelligent Computing Systems (ADICS), Chennai, India, 2024:1-6.
[21] Liu X, Peng H, Zheng N, et al. EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 2023:14420-14430.
[22] FU R, CUI S, FENG X. Mixed Global and Local Attention Alleviates Domain Shift Between Terahertz Image Datasets. 2024 IEEE International Conference on Signal Processing, Communications and Computing (ICSPCC), Bali, Indonesia, 2024:1-5.
[23] LUO G, ZHOU Y, JI R, et al. Cascade Grouped Attention Network for Referring Expression Segmentation. New York, NY, USA: ACM. 2020.
[24] 冯晓晴, 蔡道章,余星磊,等.基于GBD大数据中国膝骨关节炎疾病负担现状与趋势分析[J].现代预防医学,2022,49(10):1753-1760.
[25] Tiulpin A, Melekhov I, Saarakkala S. KNEEL: Knee Anatomical Landmark Localization Using Hourglass Networks. in 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW). 2019.
[26] LEUNG K, ZHANG B, TAN J, et al. Prediction of Total Knee Replacement and Diagnosis of Osteoarthritis by Using Deep Learning on Knee Radiographs: Data from the Osteoarthritis Initiative. Radiology. 2020;296(3):584-593.
[27] PIERSON E, CUTLER DM, LESKOVEC J, et al. An algorithmic approach to reducing unexplained pain disparities in underserved populations. Nat Med. 2021;27(1): 136-140.
[28] GUAN B, LIU F, MIZAIAN AH, et al. Deep learning approach to predict pain progression in knee osteoarthritis. Skeletal Radiol. 2022;51(2):363-373.
[29] CHEUNG JC, TAM AY, CHAN LC, et al. Superiority of Multiple-Joint Space Width over Minimum-Joint Space Width Approach in the Machine Learning for Radiographic Severity and Knee Osteoarthritis Progression. Biology (Basel). 2021;10(11):1107.
[30] TAN JS, TIPPAYA S, BINNIE T, et al. Predicting Knee Joint Kinematics from Wearable Sensor Data in People with Knee Osteoarthritis and Clinical Considerations for Future Machine Learning Models. Sensors (Basel). 2022;22(2):446.
[31] ABDULLAH SS, RAJASEKARAN MP. Rajasekaran. Automatic detection and classification of knee osteoarthritis using deep learning approach. Radiol Med. 2022;127(4):398-406.
[32] BAYRAMOGLU N, ENGLUND M, HAUGEN IK, et al. Deep Learning for Predicting Progression of Patellofemoral Osteoarthritis Based on Lateral Knee Radiographs, Demographic Data, and Symptomatic Assessments. Methods Inf Med. 2024; 63(1-02):1-10.
[33] HILL BG, BYRUM T, ZHOU A, et al. An Algorithmic Approach to Understanding Osteoarthritic Knee Pain. JB JS Open Access. 2023;8(4):e23.00039.
[34] 王昕, 刘爽, 周长才, 基于深度学习和磁共振图像的膝骨关节炎分类[J]. 长春工业大学学报,2023,44(1):45-51.
[35] 庾广文,谢俊杰,梁嘉健,等.深度学习对膝骨关节炎MRI图像智能分割和测量分析的作用及意义[J]. 中国组织工程研究,2024,33(33):5382-5387.
[36] 马明昌, 李永杰,徐国胜,等.膝骨关节炎X线辅助诊断模型建立的临床应用初探[J]. 中华骨与关节外科杂志,2023,16(2):152-158.
[37] 王佳妮, LEUNG K, ZHANG B, 等. 通过对膝关节X线摄影影像深度学习预测膝关节骨性关节炎的诊断和全膝关节置换：来自膝关节骨性关节炎初始数据[J].国际医学放射学杂志,2020,43(6):734.
[38] 杨丽, 王欢,王婷婷, 等. 基于深度学习算法从X线图像识别手关节炎的诊断研究[J]. 现代医学,2024,52(7):1043-1049.
[39] 许超，王云健, 刘洋,等. 基于改进Swin Transformer的膝骨关节炎X光影像自动诊断[J].电子测量技术,2024,47(19):155-163.
[40] 高瑞婷, 林强, 满正行,等. 基于深度学习的SPECT图像关节炎病灶分割[J]. 西北民族大学学报(自然科学版),2021,42(1):22-30,37.
[41] 姜斌. X线、MRI影像对膝骨关节炎的诊断价值分析[J]. 航空航天医学杂志, 2020,31(11):1338-1339.

引言

膝骨关节炎是关节软骨变性后继之以邻近软骨增生骨化形成的关节病变，其临床表现为疼痛和功能障碍[1]。
在肥胖人口日益增多的情况下，膝骨关节炎是老年人致残的主要原因之一[2]。膝骨关节炎不仅消耗了大量的医疗资源，也严重影响了患者的生活质量[3]。早期诊断膝骨关节炎有助于患者更早进行治疗，降低残疾率[4]。临床上，筛查膝骨关节炎的最常见影像技术是X射线片，相较于CT和MRI，因其价格经济、操作简单被大部分医院广泛应用。目前影像上诊断膝骨关节炎最常用的标准是Kellgren-Lawrence(K-L)分级量表，是一种广泛应用的分级系统，具体内容如表1。放射科医生通过测量关节间隙狭窄、骨赘形成、软骨下硬化，然后将严重程度从0-4进行分级以评估膝骨关节炎的严重程度，这有助于外科医生进行进一步治疗[5]。临床上影像医师对膝骨关节炎进行评估是非常主观的，2个经验丰富的影像医师也可能针对同一张膝关节X射线片给出不同的 K-L评分，这就导致膝骨关节炎的X射线影像诊断无法保证稳定的高准确率[6-7]，故开发一种新的技术来自动诊断膝骨关节炎是有必要的。

深度学习是机器学习的一个子领域，在过去几年，已有多项研究提出了深度学习在自动检测膝骨关节炎方面的应用。目标检测技术主要分为单阶段算法和两阶段算法，常用的两阶段算法包括 R-CNN、U-net等。R-CNN系列检测精度高，但是由于网络结构是双阶段的特点，使得它的检测速度不能满足实时性[8]。REDMON等[9]在2016年提出了一个名为“You Only Look Once(YOLO)”的单级目标检测网络来解决这个问题，该网络以高达45帧/s的惊人速度处理图像，实现实时应用。2023年LIU等[10]提出了一系列名为Efficient-ViT的transformers系列网络模型，他们发现现有transformers模型的运行速度往往受到内存效率低下的限制，特别是在多头自注意力机制(multi-head self-attention，MHSA)中的张量重塑和元素级函数；他们设计了一个新的具有三明治布局的构建块，在高效的前馈网络层之间使用一个单一的内存绑定的MHSA来克服这个问题[11]。
此文基于Efficient-ViT网络对 YOLOv8n模型进行优化，提高模型的精度，首次提出了一种基于YOLOv8n模型的膝骨关节炎目标检测算法，主要贡献如下：
(1)添加级联群体注意力(cascaded group attention，CGA)机制：增强输入到注意力头特征的多样性，减少多头注意力中的计算冗余，通过增加网络深度来提升模型容量。
(2)引入局部窗口注意力机制：在局部窗口内进行注意力计算，然后将结果整合起来，显著减少计算量。
(3)使用EfficientViT-M0替换YOLOv8的 Backbone部分：实现模型压缩，保持检测精度的同时减少模型参数，加快特征融合。

中国组织工程研究杂志出版内容重点：组织构建；骨细胞；软骨细胞；细胞培养；成纤维细胞；血管内皮细胞；骨质疏松；组织工程

材料方法

1 相关原理 Relevant principles
1.1 YOLOv8算法介绍 YOLOv8 是Ultralytics公司于2023年发布的一个包括了图像分类、Anchor-Free 物体检测和实例分割的高效算法。和 YOLOv5 一样，基于缩放系数也提供了 N/S/M/L/X 和 YOLOv5 一样，用于满足不同场景需求[12]。YOLO 系列模型目前已经迭代了 8 个正式版本和多个分支版本[13]。标准的 YOLO 模型通常可以分为backbone、neck和head三个部分，其中，backbone 是一个特征提取网络，用于从图像中提取特征信息[14-15]；Neck 可以融合从 backbone 中提取的特征，使网络学习到的特征更加多样化，提高检测网络的性能；head可以利用以前的高质量特征工程做出准确的预测。几乎每一代 YOLO 模型都对这3种结构进行了相应的改进和增强。由于在探测精度和速度方面的出色表现，YOLO 系列模型已广泛应用于工业、遥感、交通、医学等领域[16]。YOLOv8 的骨干网络和Neck部分参考了YOLOv7 ELAN设计思想[17]，将YOLOv5的C3结构换成了梯度流更丰富的 C2f 结构，并对不同尺度模型调整了不同的通道数，C2f 结构可以增强卷积神经网络的特征融合能力，提高推理速度，实现了进一步的轻量化，大幅提升了模型性能[18]。Loss计算方面，YOLOv8抛弃了以往的IOU匹配或者单边比例的分配方式，而是使用了Task-Aligned Assigner正负样本匹配方式，并引入了Distribution Focal Loss(DFL)[19]。Train方面，训练的数据增强部分添加了YOLOX中的最后10epoch 关闭 Mosiac 增强的操作，可以有效提升精度[20]。以YOLOv8n为代表，其网络结构见图1。
1.2 算法存在的问题作者在实际的实验过程中发现了YOLOv8n算法存在的几个问题：首先，YOLOv8n算法严重依赖于标准卷积和C2f模块，这在显著降低运行速度的同时增加了模型的计算负荷；其次，膝骨关节炎X射线图像中的病变特征往往较小且非常详细，需要足够的检测精度。
2 算法改进 Algorithm improvement
为了提高膝骨关节炎检测的精度，提出了一种基于YOLOv8n网络改进的 YOLOv8-ViT模型，具体改进体现为以下2个方面：在YOLOv8n的Backbone网络的SPPF模块之后嵌入EfficientViT-M0网络和添加混合局部通道注意力(mixed local channel attention，MLCA)机制。图 2为YOLOv8-ViT模型结构示意图。

2.1 Efficient-ViT网络目前在膝骨关节炎检测方面的进展主要集中在使用卷积神经网络或基于transformer的端到端深度学习模型进行不同的特征提取。ViT网络利用自注意力机制，能够更好地捕捉长程依赖关系，对于复杂图像的理解能力强。相对于卷积神经网络，ViT网络在特征表达上能提供更强的表达能力，尤其在大规模数据集上表现出色，但这种出色的性能同时也伴随着沉重的计算成本，对设备和硬件要求很高，因此它们并不适合用于医院等医疗环境。针对这个问题，LIU等[10]在2023年提出了一

种名为Efficient-ViT的高效transformers系列，经研究发现，现有transformer模型的运行速度通常受到内存效率低下的限制，特别是MHSA中的张量重塑和逐元素函数；因此，他们设计了一种新的夹层布局的构建块，即在高效的前馈网络层之间使用单一的内存bound MHSA，在提高内存效率的同时增强了信道通信；此外他们还发现不同的注意力头产生的注意力图之间具有很高的相似性，这导致了计算冗余；为了解决这个问题，他们提出了一种级联组注意力模块，以不同的方式将全部特征分割并输入到注意力头中，这不仅节省了计算成本，而且提高了注意力的多样性。实验结果表明，Efficient-ViT比现有的高效模型表现得更出色，在速度和精度之间达到了良好的平衡[21]。Efficient-ViT的结构如图3所示。
2.2 MLCA模块注意力机制是计算机视觉中最广泛使用的组件之一，它可以帮助神经网络强调重要元素并抑制不相关的元素。注意力机制一般可分为通道注意力机制、空间注意力机制或两者的结合。绝大多数的通道注意力机制只包含通道特征信息而忽略了空间特征信息，这导致了模型表征效果或对象检测性能不佳，而且空间注意力模块通常复杂且成本高昂。MLCA模块是一种轻量级的混合局部通道注意力模块，它能在性能和复杂性之间取得平衡，以提高对象检测网络的性能，并且能够同时整合通道信息与空间信息，以及局部信息和全局信息，以提高网络的表达效果[22]。由于膝关节炎的X射线图像精细化程度高，为了提高模型对膝骨关节炎的特征表达能力，在YOLOv8n骨干网末端增加了MLCA注意力机制进行局部特征增强，其结构如图4 所示。
2.3 CGA模块 CGA是LIU等[10]提出的一种新型注意力机制，其核心思想是增强输入到注意力头的特征的多样性。与以前的自注意力不同，它为每个头提供不同的输入分割，并跨头级联输出特征，这种方法不仅减少了多头注意力中的计算冗余，而且通过增加网络深度来提升模型容量。具体来说，CGA 将输入特征分成不同的部分，每部分输入到一个注意力头。每个头计算其自注意力映射，然后将所有头的输出级联起来，并通过一个线性层将它们投影回输入的维度[23]。通过这样的方式，CGA 在不增加额外参数的情况下提高了模型的计算效率。另外，通过串联的方式，每个头的输出都会添加到下一个头的输入中，从而逐步精化特征表示。这种方法提高了模型的内存和计算效率，同时保持或增强模型的性能，其结构如图5所示。

讨论

目前，国内膝骨关节炎的社会负担现状仍很严峻，在膝骨关节炎的防治方面仍然需要投入大量的时间和精力。此外，考虑到膝骨关节炎无法根治，且造成的疾病负担沉重，因此膝骨关节炎的防治工作应当重视早期预防[24]。近年来，国内外开展了一系列针对膝骨关节炎的深度学习模型研究。在国外研究领域，TIULPIN等[25]提出了一种hourglass convolutional network的深度神经网络框架，用于定位不同膝骨关节炎阶段膝关节X射线图像中的解剖位置。LEUNG等[26]利用膝关节X射线片，结合基于ResNet34架构的迁移学习方法，开发了一种深度学习预测模型，用于预测膝骨关节炎进展风险。PIERSON等[27]利用卷积神经网络测量膝骨关节炎的严重程度并预测患者的疼痛程度。GUAN等[28]开发了一个深度学习模型，利用膝关节X射线片数据预测膝骨关节炎的疼痛进展。CHEUNG等[29]通过多关节空间宽度和最小关节空间宽度来比较不同的深度学习方法对膝骨关节炎严重程度和进展的预测效率。TAN等[30]利用惯性检测单元训练数据和长短期记忆网络证明了深度学习预测膝骨关节炎患者膝关节运动学的可行性。ABDULLAH等[31]利用AlexNet和Faster RCNN网络对X 射线图像中膝骨关节炎严重程度进行自动检测和分类。BAYRAMOGLU等[32]提出了一种具有新的注意力机制的深度学习模型，用于预测7年内髌骨关节炎的放射学进展。HILL等[33]研究了多个不同深度神经网络从单张X射线片图像中预测膝骨关节炎疼痛和严重程度的效果，展示了深度学习模型在膝骨关节炎诊断方面的进步。在国内研究领域，王昕等[34]利用改进LeNet-5卷积神经网络模型对有无膝骨关节炎病变进行判别。庾广文等[35]采用Coarse-to-Fine序贯训练的方法训练3D-U-NET网络深度学习模型对膝骨关节炎MRI图像进行智能分割。马明昌等[36]采用深度学习算法，通过训练膝骨关节定位模型自动获取X射线图像中骨关节的位置，并在此基础上训练Kellgren-Lawrence分级模型。王佳妮等[37]开发一种针对膝关节X射线影像的深度学习模型，进而预测每例膝骨关节炎患者在9年内接受全膝关节置换的可能性，并对膝骨关节炎严重程度进行Kellgren-Lawrence分级。杨丽等[38]基于深度学习算法构建一种从手部X射线图像中识别类风湿关节炎和手骨关节炎的诊断模型。许超等[39]提出了一种基于改进Swin Transformer模型的膝骨关节炎X射线影像自动诊断算法。高瑞婷等[40]提出将残差块与原U-Net网络相结合的改进R_U-Net网络模型能提升SPECT图像的关节炎病灶分割精度。
此文提出了一种改进YOLOv8n的膝骨关节炎目标检测及分类算法，解决了X射线由于穿透程度有限，无法充分显示软组织肿胀、半月板受损等情况，不利于医师观察的问题[41]。作者提出用EfficientViT-M0网络框架替换YOLOv8n的骨干网络，实现全局特征信息和局部特征信息提取，提高膝骨关节炎的检测精度；其次，添加了CGA注意力机制，通过级联增强了特征之间的交互，提高了计算效率，同时保持或增强模型的性能；最后还在YOLOv8-ViT模型中还引入了MLCA注意力模块，它能够同时整合通道信息与空间信息，以提高网络的表达效果。实验表明，YOLOv8-ViT模型具有参数量少、计算量低、检测精度高等优点，同时还降低了对计算平台和储存能力的要求，适用于临床上对膝骨关节炎X射线图像的目标检测和分类任务。
结语：此次研究不仅为膝骨关节炎的X射线影像诊断提供了一种新思路，也为其他骨科疾病的自动化诊断提供了经验。虽然此次实验初步验证了模型的有效性，但仍需在更大样本量和多样化数据集上进一步验证。在未来的工作中，计划继续优化模型结构及训练策略，以提高其在临床环境中的普适性和可靠性。

中国组织工程研究杂志出版内容重点：组织构建；骨细胞；软骨细胞；细胞培养；成纤维细胞；血管内皮细胞；骨质疏松；组织工程

基于深度学习改进的膝骨关节炎自动诊断方法

Improvements in automatic diagnosis methods for knee osteoarthritis based on deep learning

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表（结果） 7

参考文献

相关文章 15

引言

材料方法

讨论

文章快阅

延伸阅读

编辑推荐

Metrics

本文评价

[1]	贺光辉, 原杰, 柯燕琴, 丘小婷, 张晓玲. Hemin调控小鼠软骨细胞氧化应激的线粒体途径[J]. 中国组织工程研究, 2025, 29(6): 1183-1191.
[2]	杨彬, 陶广义, 杨顺, 许俊杰, 黄俊卿. 人工智能在脊髓神经损伤与修复领域研究热点的可视化分析[J]. 中国组织工程研究, 2025, 29(4): 761-770.
[3]	王思敏, 张德洲, 赵静, 王超群, 李琨, 陈杰, 白雪, 赵海龙, 张少杰, 马渊, 郝韵腾, 杨洋, 李志军, 史君, 王星. 人工智能与颈椎图像识别：应用前景与挑战[J]. 中国组织工程研究, 2025, 29(33): 7231-7240.
[4]	宋浩然, 张玉强, 谷娜, 智晓东, 王伟. 基于Citespace对人工智能在骨创伤研究的可视化分析[J]. 中国组织工程研究, 2025, 29(3): 493-502.
[5]	张子瑜, 陈龙豪, 盛威, 吕涵哲, 沈颖, 王炳豪, 吕智桢, 吕立江 . 人工智能应用于腰椎间盘突出症诊疗：推动诊治手段向规范化、高效化、精准化[J]. 中国组织工程研究, 2025, 29(29): 6269-6276.
[6]	陈一鑫, 陆延, 张璇, 陈小莉, 谭良源, 徐张杰, 陈望龙, 苏少亭, 梁基耀, 周红海. 痛安汤对膝骨关节炎大鼠滑膜巨噬细胞极化的作用机制[J]. 中国组织工程研究, 2025, 29(26): 5621-5631.
[7]	刘彦彤, 王世轩, 赵双利, 魏巍, 王东海, 姜宗坤, 刘洪飞. 针刀治疗膝骨关节炎大鼠的转录组测序及实验验证[J]. 中国组织工程研究, 2025, 29(20): 4239-4248.
[8]	魏梦力, 钟亚平, 桂辉贤, 周易文, 关烨明, 余绍华. 基于机器学习的运动损伤预警模型[J]. 中国组织工程研究, 2025, 29(2): 409-418.
[9]	汤熙然, 陈伟坚, 姜涛, 谭羡允, 刘文刚. 脂肪酸种类及含量与膝骨关节炎的发病风险[J]. 中国组织工程研究, 2025, 29(17): 3724-3731.
[10]	廖晴, 曾静, 陈峻, 袁立霞, 刘刚. 艾灸调节circPan3/miR-667-5p/ghrelin信号通路减轻膝骨关节炎大鼠的软骨病变[J]. 中国组织工程研究, 2025, 29(12): 2475-2483.
[11]	沈栩钰, 罗承诺, 章晓云, 江周影, 柴源. 中药生物碱类成分防治膝骨关节炎的作用与机制[J]. 中国组织工程研究, 2025, 29(11): 2368-2376.
[12]	杨予萱, 谭静怡, 周鹂鹂, 边子睿, 陈伊凡, 吴燕岷. 深度学习在口腔影像分析中的应用[J]. 中国组织工程研究, 2025, 29(11): 2385-2393.
[13]	胡笑燊, 李惠菁, 吕君玲, 肖显俊, 李涓, 李享, 刘凌, 金荣疆. 不同月龄豚鼠自发膝骨关节炎过程中全膝关节的病理变化[J]. 中国组织工程研究, 2025, 29(11): 2218-2224.
[14]	余伟杰, 刘爱峰, 陈继鑫, 郭天赐, 贾易臻, 冯汇川, 杨家麟. 机器学习在腰椎间盘突出症诊治中的优势和应用策略[J]. 中国组织工程研究, 2024, 28(9): 1426-1435.
[15]	庾广文, 谢俊杰, 梁嘉健, 刘文刚, 吴淮, 李慧, 洪坤豪, 李安安, 郭浩鹏. 深度学习对膝骨关节炎MRI图像智能分割和测量分析的作用及意义[J]. 中国组织工程研究, 2024, 28(33): 5382-5387.