分享:
分享到微信朋友圈
X
临床研究
基于注意力机制和MRI的深度学习模型预测中轴型脊柱关节炎骶髂关节新骨形成进展
李翊 宋丽文 赵英华

Cite this article as LI Y, SONG L W, ZHAO Y H. A self-attention-based deep learning model predicts the progression of new bone formation in the sacroiliac joints of patients with axial spondylarthritis on MRI[J]. Chin J Magn Reson Imaging, 2024, 15(5): 154-161.本文引用格式李翊, 宋丽文, 赵英华. 基于注意力机制和MRI的深度学习模型预测中轴型脊柱关节炎骶髂关节新骨形成进展[J]. 磁共振成像, 2024, 15(5): 154-161. DOI:10.12015/issn.1674-8034.2024.05.024.


[摘要] 目的 探讨基于注意力机制的深度学习(deep learning, DL)模型在骶髂关节(sacroiliac joint, SIJ)MRI冠状位T1序列图像预测中轴型脊柱关节炎(axial spondylarthritis, axSpA)患者新骨形成进展的临床价值。材料与方法 回顾性分析2010年1月至2022年12月期间在南方医科大学第三附属医院诊断为axSpA的351例患者的初诊和随访1年、2年或3年的MRI图像,以8∶1∶1的比例随机分入训练集,验证集和测试集。开发基于注意力机制的Bifpn-YOLOv8模型,同时构建三个基线模型(YOLOv8、YOLOv7、Faster-RCNN)用于同Bifpn-YOLOv8比较模型效能。使用全类平均准确度(mean average precision, mAP)、F1分数、准确度、召回率、具体情境的常规物体(Common Objects in Context, COCO)指标评估各模型预测新骨形成进展的性能。其中,mAP50和mAP50:95分别代表不同交并比阈值下的全类平均准确度,COCO指标的平均准确度(average precision, AP)如AP,AP50,AP75同理。结果 Bifpn-YOLOv8模型在验证和测试集上均取得了良好的预测性能。同基线模型相比,该模型在测试集上取得了最优的mAP50和mAP50:95,为83.8%和50.4%,结果同三个基线模型差异均存在统计学意义(P均<0.05)。同样,Bifpn-YOLOv8模型在测试集上获得了较基线模型更优的COCO指标,AP、AP50、AP75分别为50.5%、82.3%、58.6%。结论 基于注意力机制的Bifpn-YOLOv8模型可以利用MRI图像有效预测axSpA患者SIJ新骨形成进展,该模型有望成为评估新骨形成进展的临床工具,辅助医师对axSpA患者进行临床决策和管理。
[Abstract] Objective To investigate the clinical significance of deep learning (DL) model based on self-attention mechanisms in predicting the progression of new bone formation on coronal T1-weighted MR images of sacroiliac joints (SIJ) in patients with axial spondylarthritis (axSpA).Materials and Methods We conducted a retrospective analysis of MRI data (with one-year, two-year or three-year follow-up duration) for 351 axSpA patients who were diagnosed at the Third Affiliated Hospital of Southern Medical University from January 2010 to December 2022. The patients were randomly allocated into training, validation, and test sets in a 8∶1∶1 ratio. The Bifpn-YOLOv8 model based on self-attention mechanisms was developed. And another three baseline models (YOLOv8, YOLOv7, Faster-RCNN) were constructed to compare model performance with Bifpn-YOLOv8. We evaluated the predictive performance of each model using metrics such as mean average precision (mAP), F1 score, accuracy, recall, and Common Objects in Context (COCO) evaluation metrics. Among them, mAP50 and mAP50:95 indicates the mean average precision at different intersection over union thresholds, respectively. The average precision (AP) of COCO metrics, such as AP, AP50, AP75, follows the same principle.Results The Bifpn-YOLOv8 model exhibited good predictive performance on both validation and test sets. In comparison to the baseline models, Bifpn-YOLOv8 achieved the highest mAP50 and mAP50:95 on the test set, with values of 83.8% and 50.4%, respectively. The results were statistically significant (all P<0.05) compared to each baseline model. Similarly, the Bifpn-YOLOv8 model outperformed the baseline models on the test set with superior COCO evaluation metrics (AP: 50.5%, AP50: 82.3%, AP75: 58.6%).Conclusions The self-attention-based Bifpn-YOLOv8 model could effectively predicting the progression of new bone formation in the SIJ on MR images of axSpA patients. This model is poised to become a valuable clinical tool for evaluating the progression of new bone formation, providing assistance to physicians in clinical decision-making and management of axSpA patients.
[关键词] 中轴型脊柱关节炎;骶髂关节;注意力机制;磁共振成像;深度学习
[Keywords] axial spondylarthritis;sacroiliac joint;self-attention;magnetic resonance imaging;deep learning

李翊    宋丽文    赵英华 *  

南方医科大学第三附属医院医学影像科,广州 510630

通信作者:赵英华,E-mail:zhaoyh@smu.edu.cn

作者贡献声明::赵英华设计本研究的方案,对稿件重要内容进行了修改,获得了国家自然科学基金资助;李翊起草和撰写稿件,获取、分析和解释本研究的数据;宋丽文获取、分析和解释本研究的数据,对文章的知识性内容进行批评性审阅;全体作者都同意发表最后的修改稿,同意对本研究的所有方面负责,确保本研究的准确性和诚信。


基金项目: 国家自然科学基金项目 81871510
收稿日期:2024-01-26
接受日期:2024-04-30
中图分类号:R445.2  R684.3 
文献标识码:A
DOI: 10.12015/issn.1674-8034.2024.05.024
本文引用格式李翊, 宋丽文, 赵英华. 基于注意力机制和MRI的深度学习模型预测中轴型脊柱关节炎骶髂关节新骨形成进展[J]. 磁共振成像, 2024, 15(5): 154-161. DOI:10.12015/issn.1674-8034.2024.05.024.

0 引言

       中轴型脊柱关节炎(axial spondylarthritis, axSpA)是一组主要影响中轴骨(骶髂关节和脊柱)的慢性进展性炎症性疾病,可伴有或不伴有外周表现[1]。骶髂关节(sacroiliac joint, SIJ)通常是axSpA最早受累的部位[2, 3]。新骨形成作为axSpA最显著的特征之一,会导致患者脊柱畸形、活动力下降,最终可能导致残疾[4]。这将显著影响患者的生活质量,并给患者家庭带来巨大的经济压力。先前的研究已证明,在axSpA患者新骨形成早期阶段应用肿瘤坏死因子抑制剂进行靶向治疗对于延缓疾病进展、预防患者残疾具有重要意义[5, 6, 7, 8, 9, 10, 11, 12]。临床进行靶向治疗前需对axSpA患者进行疾病活动度评估,MRI是评估与监测疾病活动度的重要手段之一[13, 14]。LALOO等[4]的研究认为由侵蚀发展至回填,最后导致强直的结构损伤进展与SIJ新骨形成在MRI上的进展表现相符,且已有研究证实axSpA患者MRI图像上的结构损伤进展可以作为新骨形成进展的预测因子[15, 16, 17]。若能基于MRI图像准确预测axSpA患者SIJ新骨形成进展,不仅可以辅助疾病诊断和监测,还有助于风湿科医师及时调整患者的治疗方案,以防止进一步的疾病进展。然而,目前临床尚无有效方法预测新骨形成进展[18, 19]

       近年来,随着深度学习(deep learning, DL)算法在多个领域的成功应用,其实用性已被广泛认可。DL方法为SIJ新骨形成进展的预测提供了新的契机。以往研究已成功训练DL模型在MRI图像上检测侵蚀,回填和强直等结构损伤,并取得良好的性能[20]。这体现了DL方法应用于axSpA患者的图像检测和分类任务的可行性[21]。本研究的目标是基于MRI图像数据,开发一个预测axSpA患者SIJ新骨形成进展的DL模型,以便医师根据预测结果为患者提供针对性治疗方法,进一步改善患者的预后。

1 材料与方法

1.1 研究对象

       本研究为回顾性研究,遵守《赫尔辛基宣言》,经过南方医科大学第三附属医院伦理委员会审核批准,免除受试者知情同意,伦理批文号:201501003。本研究收集来自南方医科大学第三附属医院2010年1月至2022年12月期间被诊断为axSpA的患者数据。纳入标准:(1)根据国际脊柱关节炎评估协会axSpA SIJ阳性病变分类标准[22]评估为axSpA的患者;(2)患者一般资料(年龄,性别等基础信息)、临床症状、实验室检查(C反应蛋白,红细胞沉降率等)齐全;(3)患者拥有初诊(基线水平)和随访1年、2年或3年的MRI图像数据,患者在初诊阶段均未接受治疗。排除标准:(1)患者缺乏MRI冠状位T1序列图像;(2)图像质量差(经两位放射科医师盲法评估一致认为存在伪影的图像、信噪比低于150的3.0 T图像、信噪比低于120的1.5 T图像)。本研究最终纳入351例患者数据,其中男143例,女208例,年龄范围为15~65岁,以8∶1∶1的比例随机分入训练集(266例),验证集(45例)和测试集(40例)。

1.2 评估方法

       我们对加拿大脊柱关节炎研究协会(Spondyloarthritis Research Consortium of Canada, SPARCC)提出的骶髂关节结构损伤评分(Sacroiliac Joint Structural Score, SSS)[23, 24]方法进行了修改,使用修改后的SSS方法对纳入病例的基线和随访图像进行评估。具体的评分方法如下:(1)先选定软骨出现的层面作为过渡层面,接着向腹侧滚动寻找连续的五个层面作为评估层面。(2)评估侵蚀时,判断每个层面双侧各四个象限(上髂、下髂、上骶、下骶)的侵蚀存在情况,存在计1分,不存在计0分,五个层面的总分范围为0~40分。(3)评估回填时,判断每个层面双侧各两个象限(骶髂上部,骶髂下部)的回填存在情况,存在计1分,不存在计0分。如果累积长度超过SIJ总长度的一半时加1分。如果回填病灶的深度超过0.3 cm时,加1分,五个层面的总分范围为0~40分。(4)评估强直时,使用与回填相同的评估方法划分双侧各两个象限,判断强直的存在情况,存在计1分,不存在计0分。如果病变的累积长度达到或超过SIJ总长度的四分之一但未超过总长度的一半时加1分。当病变的累积长度超过SIJ总长度的一半时加1分,五个层面的总分范围为0~40分。当评估强直时出现病变累积长度超过SIJ总长度一半时,应当视作病变长度既超过了SIJ长度的四分之一,又超过了二分之一,加2分。(5)上述评估完成后,将每个层面评估的各类结构损伤分数相加,计算每个层面的结构损伤总分。

       判断每个层面是否存在新骨形成进展的方法为:(1)基线水平图像无结构损伤或仅出现一种结构损伤(侵蚀、回填或强直)时,和随访图像比较该层结构损伤总分变化。若在随访图像上总分增加,应判断为存在进展。若总分无增加,则判断为无进展。(2)基线水平图像同时出现多种结构损伤时,应检查每种结构损伤的评分,确认更晚进展的损伤类型(强直>回填>侵蚀)评分是否在随访图像上增加。若评分增加,不论该层结构损伤总分是否在随访图像出现变化,都应判断为存在进展。若评分没有增加,则和随访图像比较该层结构损伤总分变化。只要随访图像上的结构损伤总分较基线水平增加,应认为存在进展,否则,判断为无进展。

1.3 MRI扫描参数

       311例患者的图像数据从一台3.0 T MRI扫描仪(Achieva 3.0 T, Philips Healthcare, Best, Netherlands)上获取,收集冠状位T1自旋回波序列,扫描参数:TR 500 ms,TE 18 ms,视野140 mm×140 mm,层厚3 mm,层间距5.5 mm,矩阵380×336。另外40例患者的图像数据从一台1.5 T MRI扫描仪(Achieva 1.5 T, Philips Healthcare, Best, Netherlands)上获取,收集冠状位T1自旋回波序列,扫描参数:TR 500 ms,TE 18 ms,视野143 mm×143 mm,层厚4 mm,层间距4.5 mm,矩阵396×318。

1.4 数据预处理

       数据标注由两位放射科主治医师(12年经验和11年经验)使用labelimg软件(1.8.6版本,YOLO格式)分别在左右两侧SIJ手动勾画包括单侧SIJ范围的边界框。一位放射科住院医师(3年工作经验)和一位放射科主治医师(10年工作经验)使用改进后的SSS方法对所有纳入病例的每个层面进行评估,将每个层面根据评估结果划分为新骨形成进展和无新骨形成进展两个类别。若评估结果存在差异,两名放射科医师进行讨论后得出一致结果。此外,由一位放射科主任医师(24年工作经验)对所有评估结果进行审核。患者评估时每个层面的图像均作为独立的DL模型的输入数据。首先对图像数据进行归一化,将像素值调整至0~100的范围。然后进行Z-score标准化。最后,对图像进行重采样,将体素值归一为1 mm×1 mm×1 mm,确保体素间距相同。

1.5 模型构建

       本研究开发了一个名为Bifpn-YOLOv8的DL模型(图1),此模型在YOLOv8模型(YOLOv8_n)的基础结构上引入双侧路径注意力机制(bi-level routing attention, BiFormer)[25],以及加权双向特征金字塔网络(bi-directional feature pyramid network, BiFPN)[26]。BiFormer被插入至原YOLOv8模型的快速空间金字塔池化结构(Spatial Pyramid Pooling-Fast, SPPF)之后,作为骨架网络的最后一层。同时,BiFormer(BiFormer-T)也替代SPPF作为最后一个输出层。相比YOLOv8,我们将P2水平的特征也输出至模型的颈部网络,通过自适应融合的方法将P2与P3水平输出的特征融合。BiFPN被用于替换YOLOv8模型的路径聚合特征金字塔网络。同时,BiFPN网络的C2F模块被替换为单次多阶段聚合局部网络模块[27]。除此之外,我们还选择较有代表性的三个目标检测模型作为基线模型(YOLOv8、YOLOv7、Faster-RCNN),与Bifpn-YOLOv8模型比较预测性能。软件Python 3.9.7和PyTorch(version 1.10.1+cu114)被用于模型的构建。本模型在一台处理器为AMD R7 5800X、显示卡为RTX 2080Ti、内存容量为32 G的计算机平台上进行了训练和测试。

图1  实验流程及Bifpn-YOLOv8模型结构图。SSS:骶髂关节结构损伤评分;SPPF:快速空间金字塔池化;BiFormer:双侧路径注意力机制;VoV-GSCSP:单次多阶段聚合局部网络。
Fig. 1  The flowchart of experiment and architecture of Bifpn-YOLOv8. SSS: sacroiliac joint structural score; SPPF: spatial pyramid pooling-fast; BiFormer: bi-level routing attention; VoV-GSCSP: one-time aggregation cross stage partial network.

1.6 统计学方法

       本研究的统计学分析采用SPSS(26.0版本)和Python(3.9.7版本)软件进行。所有临床资料均进行了正态性检验和方差齐性检验。student t检验和Wilcoxon秩和检验被用于检验正态和偏态分布数据的差异性。同时,二者也被用于检验Bifpn-YOLOv8模型和每个基线模型性能指标间的统计学差异。χ2检验被用于离散变量的差异性检验。P<0.05认为差异具有统计学意义。组内相关系数(intra-class correlation coefficient, ICC)用于评价两位放射科医师标注SIJ区域的一致性和结构损伤评估方法在不同观察者间的一致性。我们根据SSS方法检验观察者一致性时设定的指标,将ICC<0.4定义为一致性较差,将0.4≤ICC<0.6定义为一致性中等,将0.6≤ICC<0.8定义为一致性较强,将0.8≤ICC<0.9定义为一致性强,将0.9≤ICC<1.0定义为一致性优秀[15]。Cohen's κ系数用于评价观察者在判断新骨形成进展结果时(进展或无进展)的一致性。κ值<0.6被认为一致性中等,0.6≤κ值<0.8被认为一致性较强,κ值≥0.8被认为一致性强[28]。全类平均准确度(mean average precision, mAP)、F1分数、准确度、召回率、准确度-召回率(precision-recall)曲线及其曲线下面积(arial under the curve, AUC)被用于评估各模型的性能。mAP根据交并比(intersection over union, IoU)的不同又可分为mAP50和mAP50:95两个指标。mAP50:95代表从0.50到0.95的IoU范围内,十个mAP的均值(每间隔0.05计算一次mAP)。不仅如此,我们还引入了具体情境的常规物体(Common Objects in Context, COCO)指标用于模型性能的评估。该指标包括各不同条件下的平均准确度(average precision, AP)。如AP,AP50,AP75代表不同IoU对应的AP值(IoU=0.50~0.95,IoU=0.50,IoU=0.75)。而APsmall(图像像素面积<322),APmedium(图像像素面积>322且<962),APlarge(图像像素面积>962)分别代表探测不同像素面积的物体时对应的AP值。最后,为了衡量模型的运算复杂度,我们使用每秒10亿次浮点运算数和参数量对各模型进行了评估。

2 结果

2.1 一般资料

       我们对所有进展与无进展患者的年龄、性别、人类白细胞抗原B27(human leukocyte antigen B27, HLA-B27)、红细胞沉降率(erythrocyte sedimentation rate, ESR)、C反应蛋白(C-reactive protein, CRP)的差异性进行了检验(表1)。进展组与无进展组在CRP上的差异无统计学意义,而在性别、年龄、ESR、HLA-B27上的差异均有统计学意义。其中,性别、HLA-B27的差异具有显著统计学意义(P均<0.001)。同时,我们还对纳入患者的年龄、性别、结构损伤类型、随访时间在训练集、验证集和测试集中的分布情况进行了统计描述(表2)。

表1  新骨形成进展与无进展axSpA患者的临床资料
Tab. 1  Clinical data for axSpA patients with progressive and non-progressive new bone formation
表2  axSpA患者数据集划分及一般资料统计
Tab. 2  Dataset partitioning and general data statistics for axSpA patients

2.2 观察者间一致性分析

       两位放射科医师绘制SIJ边界框时的一致性强,平均ICC为0.84。我们随机抽取了随访时间为1年、2年和3年的患者各50例,评估了两名医师在基线和随访水平使用修改后SSS方法的一致性(表3)。对于强直的评估,医师在患者基线和各随访水平表现出较强一致性(ICC范围为0.64~0.75)。在随访时间为2年的患者中,两名医师的一致性最好,基线和随访图像上的ICC值分别为0.75和0.68。在评估回填时,两名医师在基线和各随访水平的一致性达到了中等至较强水平(ICC范围为0.48~0.72)。同样,在随访时间2年的患者中一致性最好,基线和随访水平的ICC值分别为0.72和0.56。此外,两名医师在随访时间为1年、2年和3年的患者图像上判断是否存在新骨形成进展时的一致性均较强,Cohen's κ值分别为0.74、0.68和0.72。

表3  两名观察者使用修改后SSS方法评估图像的组内相关系数(ICC)
Tab. 3  Intra-class correlation coefficient (ICC) for two observers who utilized the modified SSS method to evaluate the images

2.3 DL模型预测效能评价

       Bifpn-YOLOv8模型在新骨形成进展的预测中表现出了良好的性能(表4)。Bifpn-YOLOv8在验证集上表现出较基线模型更高的准确度(78.2%)和F1分数(0.836),但mAP50、召回率较基线模型稍低。在测试集上,Bifpn-YOLOv8的mAP50、mAP50:95、准确度和F1分数均为所有模型中最高,分别为83.8%、50.4%、78.8%和0.803,与三个基线模型相比,各项指标差异均有统计学意义(P均<0.05)。Bifpn-YOLOv8模型在测试集上的COCO指标(表5)同样优于基线模型,AP、AP50、AP75分别为50.5%、82.3%和58.6%。

表4  Bifpn-YOLOv8和基线模型预测axSpA患者新骨形成进展的性能
Tab. 4  Predictive performance of Bifpn-YOLOv8 and baseline models for the progression of new bone formation in axSpA patients
表5  各模型在测试集上基于COCO指标预测axSpA患者新骨形成进展的性能
Tab. 5  Predictive performance of each model on the test set for the progression of new bone formation in axSpA patients based on COCO evaluation metrics

2.4 DL模型综合性能评价

       为了评估Bifpn-YOLOv8模型的综合性能,我们绘制了Bifpn-YOLOv8模型在测试集上的PR曲线(图2),0.838的PR AUC表明Bifpn-YOLOv8模型具有良好的诊断效能。不仅如此,我们还绘制了各模型在测试集上的混淆矩阵,并根据混淆矩阵数据计算了各模型的精度、敏感度和特异度(图5),其中,Bifpn-YOLOv8模型取得了最高的精度、敏感度和特异度,分别为84.1%、89.1%和80.0%。最后,我们统计了各模型的参数量和计算量(表6),Bifpn-YOLOv8模型的参数量及计算量低于YOLOv8和Faster-RCNN模型。

图2  Bifpn-YOLOv8模型在测试集上预测axSpA患者新骨形成进展的准确度召回率曲线(2A)、F1分数置信度曲线(2B)、准确度置信度曲线(2C)和召回率置信度曲线(2D)。axSpA:中轴型脊柱关节炎;pos:新骨形成进展;neg:无新骨形成进展。
Fig. 2  The precision-recall curve (2A), F1-confidence curve (2B), precision-confidence curve (2C), and recall-confidence curve (2D) of Bifpn-YOLOv8 in predicting the progression of new bone formation in axSpA patients on the test set. axSpA: axial spondylarthritis; pos: progressive new bone formation; neg: non-progressive new bone formation.
图3  Bifpn-YOLOv8(3A)、YOLOv8(3B)、YOLOv7(3C)、Faster-RCNN(3D)模型在测试集上预测axSpA患者新骨形成进展的混淆矩阵。axSpA:中轴型脊柱关节炎;pos:新骨形成进展;neg:无新骨形成进展。
Fig. 3  The confusion matrix of Bifpn-YOLOv8 (3A), YOLOv8 (3B), YOLOv7 (3C) and Faster-RCNN (3D) model in predicting the progression of new bone formation in axSpA patients on the test set. axSpA: axial spondylarthritis; pos: progressive new bone formation, neg: non-progressive new bone formation.
表6  各模型参数量和浮点运算次数对比
Tab. 6  Comparison of parameters and float operation per second for each model

3 讨论

       在本研究中,我们开发了一种基于注意力机制的DL模型用于预测axSpA SIJ新骨形成进展。该模型在我们的研究队列上取得了良好的预测精度(测试集mAP50、精度、敏感度和特异度分别为83.8%、84.1%、89.1%和80.0%),可以作为临床预测新骨形成进展的辅助工具,具有广阔的临床应用前景。

3.1 结构损伤MRI特征预测新骨形成进展的价值

       随着人们对SIJ结构损伤的研究不断深入,越来越多的研究揭示了结构损伤作为新骨形成进展预测因子的价值。SIJ的新骨形成的进展过程目前尚有争议,主流的假说认为SIJ新骨形成由骶髂关节炎启动,炎症造成的骨侵蚀会在炎症消退后被脂肪组织填充修补,这一修复过程被称为回填。回填与软骨下骨髓的纤维样肉芽组织的侵袭有关,修补产生的新骨会逐渐发展至桥接SIJ,导致关节强直[2, 17]。接着,新骨形成会向上发展,最终导致患者脊柱强直。MAKSYMOWYCH等[15]的研究提出,回填作为新骨形成过程中关键的中间环节,具有重要的临床意义。他们采用单变量回归分析方法,对SPARCC SSS方法在基线及随访期间的分数变化进行分析。分析结果表明,炎症缓解与两年随访时回填的进展存在独立相关,同时,炎症消退和回填进展也与强直的发展独立相关。这一发现为SIJ新骨形成MRI特征可以预测新骨形成进展的假说提供了科学依据。ZHANG等[16]的研究同样得出了类似的结论,他们的研究同样使用logistic回归分析axSpA患者SPARCC SIJ炎症评分和SPARCC SSS分数在基线和随访水平的变化。在单因素回归分析中,基线时更高的SPARCC SIJ炎症评分与回填进展相关。MAKSYMOWYCH等[17]在另一项研究中基于此结论尝试使用SIJ结构损伤作为预测因子预测脊柱新骨形成。通过单因素和多因素回归分析评估了SIJ结构损伤MRI特征对脊柱新骨形成的预测能力。该研究结果说明SIJ新骨形成进展早于脊柱新骨形成进展,且随着SIJ结构损伤的进展,患者出现脊柱新骨形成进展的可能性显著增加。上述研究结果提示MRI上的结构损伤可以作为新骨形成进展的预测因子,医师基于MRI可以初步得出新骨形成进展的预测结果,以更好地为新骨形成高危患者提供早期干预。这为本研究使用基于结构损伤MRI特征的DL模型预测新骨形成进展提供了理论依据。

3.2 结构损伤评分方法

       SPARCC于2015年提出的SSS方法为量化结构损伤提供了途径,有助于临床了解损伤严重程度[23]。该研究在三个评估组中测试了基线和随访水平(1年和2年)的观察者间一致性。各评估医师在三个评估组的随访图像上评估回填和强直时一致性仅为中等(ICC为0.42~0.56),在评估组2的基线图像上评估回填的一致性较差(ICC为0.35)。LUKAS等[29]的一项研究检验了三种不同评分系统(SPARCC评分系统、柏林评分系统、强直性脊柱炎脊柱磁共振成像活动性评分系统)的观察者一致性、敏感度和特异度。通过对9位经验丰富的放射科医师的评估结果的分析,他们发现使用SPARCC系统的不同观察者组合间ICC变异很大。同时,JONES等[30]的研究认为,基于MRI象限评估方法(对每个象限判断病变存在/不存在)的SIJ病变评估系统(SPARCC炎症评分方法和SPARCC SSS方法)可能无法完整的反映病变严重程度,尤其是存在微小病变时。鉴于此,我们的研究通过引入病变累及范围作为评估指标,补充了SSS方法中回填和强直的评估方法。我们使用修改后的SSS方法对侵蚀、回填和强直三种结构损伤进行了评估。两位医师在使用修改后的SSS方法评估回填和强直时的一致性均在中等至较强水平范围。同时,我们还创新性地提出了两种根据结构损伤评分判断新骨形成进展的方法。医师根据该方法判断有无新骨形成进展时的一致性均在较强水平范围(Cohen's κ值范围0.68~0.74)。这一补充使得修改后的SSS方法能够综合评估各结构损伤评分的变化,从而判断是否出现新骨形成进展。

3.3 新骨形成进展预测模型的效能

       先前已有许多关于axSpA患者MRI的人工智能应用研究,主要采用了以分类算法为主的DL方法[21, 31]。BRESSEM等[20]的研究在MRI图像上使用了ResNet-101模型探测SIJ结构损伤。他们的模型在测试集上取得了79%的精度,对结构损伤的敏感度和特异度分别为85%和78%。但是,该研究并未在训练前标注SIJ区域。直接使用整张图像进行训练而不标注区域会导致模型学习到非结构损伤的特征,从而引入较大的噪声,进而影响模型的精度[32]。LEE等[33]的研究采用多步骤,多模型方案构建DL模型。首先,他们使用ResNet-18模型检测双侧SIJ,然后截取了双侧SIJ区域图像,并使用VGG-19模型对截取后的SIJ进行分类(判断是否存在骶髂关节炎)。他们使用的先检测后分类的方法能够提升模型的分类精度。然而,多步骤、多模型方案构建的DL模型在处理复杂任务时存在两个缺陷。一个明显的弊端是各模块训练目标不一致,某个模块的目标函数可能与系统的宏观目标存在偏差,照此训练DL模型最终很难取得最优性能。另一个问题是误差的累积,前一模块产生的偏差可能影响后一模块。在上述研究中,如果检测模型存在误差,就会导致模型误差累积,从而影响分类模型的精度。本研究开发的Bifpn-YOLOv8模型属于端到端模型[34, 35]。端到端模型为仅使用一个模型、一个目标函数解决模型任务目标的DL模型。该方法能够很好规避多模块模型的固有缺陷,有效减少工程复杂度。与Resnet等分类模型不同的是,Bifpn-YOLOv8模型的损失函数同时包含了目标识别损失函数和分类损失函数,这使得Bifpn-YOLOv8模型能够同时实现目标的定位和分类,从而更加迅速且便捷地完成各种任务。为了在不显著增加计算量的前提下提升模型的性能,Bifpn-YOLOv8模型引入了BiFomer注意力机制模块和BiFPN网络,这使得模型计算量相比YOLOv8模型更小,参数也更少[25, 36],在提高了模型训练速度的同时,还提升了模型的预测效能。Bifpn-YOLOv8模型在测试集上精度为84.1%,对新骨形成进展的敏感度和特异度分别为89.1%和80.0%。不过,该模型在验证集上的召回率稍低,这可能是由于SIJ部分脂肪组织与存在脂肪沉积的骨髓组织在MRI上呈现相似的信号强度。然而,该模型在验证集上取得了更高的准确度和F1分数,表明Bifpn-YOLOv8模型更为均衡。此外,本研究还使用了COCO指标对模型效能进行了评估,该指标作为一个以IoU为导向的指标,对检测器的定位性能要求更高,也更加严格[37]。在测试集上,Bifpn-YOLOv8模型取得了所有模型中最优的COCO指标,表明其综合性能相对较优。值得注意的是,我们模型的训练数据来源于1.5 T和3.0 T两种不同场强的扫描仪,尽管数据之间因扫描协议和扫描参数的不同可能会影响模型的精度,但对图像数据的归一化处理能够很大程度上减少数据异质性给模型带来的影响。使用不同来源的数据训练DL模型也有其优点。MÅRTENSSON等[38]的研究探讨了使用不同来源的训练数据训练DL模型的重要性。他们提出,使用单一来源的数据进行训练无法反映真实的临床环境。在临床上,患者图像数据常采集于不同的扫描仪器,使用来自单一仪器的扫描图像进行训练的模型将无法拥有良好的泛化性能。目前,国内外尚无关于预测新骨形成进展的DL研究[21]。本研究开发的Bifpn-YOLOv8模型能够准确预测axSpA患者的新骨形成进展,取得的良好结果表明,结合DL方法预测新骨形成进展具有良好的可行性和实用性。Bifpn-YOLOv8模型有望成为临床预测axSpA SIJ新骨形成进展的新型方法。风湿科医师可以根据预测结果及时调整治疗策略,以降低患者残疾发生率。

3.4 研究的局限性

       本研究仍存在一些局限性。第一,由于纳入患者数量相对较少,可能会出现模型的过拟合问题,进而影响将模型结果泛化至普通人群的能力。第二,由于本研究为单中心研究,研究结果仅在本医疗中心进行验证,未能经过外部中心验证。未来,我们计划收集来自多个医疗中心的患者数据,以进一步验证模型性能。第三,本研究对患者的随访观察时间相对较短,随访时间最长仅为3年,可能存在选择偏倚,模型可能难以准确预测病程超过3年的患者。第四,由于SSS方法要求使用MRI冠状位T1序列图像进行评估,本研究仅使用了该模态进行模型训练。然而,这可能导致损失部分病变特征,从而影响模型的决策。第五,使用两种不同场强,不同扫描参数的扫描仪进行数据采集可能会影响模型的精度。

4 结论

       综上所述,本研究通过引入注意力机制算法成功开发了基于MRI的Bifpn-YOLOv8模型,该模型在预测新骨形成进展的任务中展现出良好的性能,为存在新骨形成进展风险的axSpA患者的临床决策和管理提供了辅助价值。Bifpn-YOLOv8模型作为一种端到端模型,避免了使用多个模型带来的误差累积问题,同时还能降低模型的复杂性和对算力的需求,使其在经济相对落后地区也能得到良好的部署。

[1]
SIEPER J, PODDUBNYY D. Axial spondyloarthritis[J]. Lancet, 2017, 390(10089): 73-84. DOI: 10.1016/s0140-6736(16)31591-4.
[2]
PODDUBNYY D, SIEPER J. Mechanism of new bone formation in axial spondyloarthritis[J/OL]. Curr Rheumatol Rep, 2017, 19(9): 55 [2023-12-12]. https://pubmed.ncbi.nlm.nih.gov/28752489/. DOI: 10.1007/s11926-017-0681-5.
[3]
盛华强, 赵斌, 耿丽. 强直性脊柱炎的骶髂关节病变: MRI与螺旋CT对照研究[J]. 临床放射学杂志, 2008, 27(8): 1091-1094. DOI: 10.3969/j.issn.1001-9324.2008.08.024.
SHENG H Q, ZHAO B, GENG L. Abnormalities of sacroiliac joints in ankylosing spondylitis: comparative study of MR imaging and spiral CT[J]. J Clin Radiol, 2008, 27(8): 1091-1094. DOI: 10.3969/j.issn.1001-9324.2008.08.024.
[4]
LALOO F, HERREGODS N, JAREMKO J L, et al. MRI of the axial skeleton in spondyloarthritis: the many faces of new bone formation[J/OL]. Insights Imaging, 2019, 10(1): 67 [2023-12-12]. https://pubmed.ncbi.nlm.nih.gov/31338670/. DOI: 10.1186/s13244-019-0752-4.
[5]
杨晓曦, 田新平, 李梦涛, 等. 《脊柱关节炎靶向药物治疗专家共识》要点解读[J]. 协和医学杂志, 2024, 15(1): 58-67. DOI: 10.12290/xhyxzz.2023-0391.
YANG X X, TIAN X P, LI M T, et al. Interpretation on the consensus on targeted drug therapy for spondyloarthritis[J]. Med J Peking Union Med Coll Hosp, 2024, 15(1): 58-67. DOI: 10.12290/xhyxzz.2023-0391.
[6]
WARD M M, DEODHAR A, AKL E A, et al. American college of rheumatology/spondylitis association of america/spondyloarthritis research and treatment network 2015 recommendations for the treatment of ankylosing spondylitis and nonradiographic axial spondyloarthritis[J]. Arthritis Rheumatol, 2016, 68(2): 282-298. DOI: 10.1002/art.39298.
[7]
ZHANG J R, LIU X J, XU W D, et al. Effects of tumor necrosis factor-α inhibitors on new bone formation in ankylosing spondylitis[J]. Joint Bone Spine, 2016, 83(3): 257-264. DOI: 10.1016/j.jbspin.2015.06.013.
[8]
BRAUN J, BARALIAKOS X, HERMANN K G, et al. Golimumab reduces spinal inflammation in ankylosing spondylitis: MRI results of the randomised, placebo- controlled GO-RAISE study[J]. Ann Rheum Dis, 2012, 71(6): 878-884. DOI: 10.1136/annrheumdis-2011-200308.
[9]
BRAUN J, BARALIAKOS X, GOLDER W, et al. Magnetic resonance imaging examinations of the spine in patients with ankylosing spondylitis, before and after successful therapy with infliximab: evaluation of a new scoring system[J]. Arthritis Rheum, 2003, 48(4): 1126-1136. DOI: 10.1002/art.10883.
[10]
PEDERSEN S J, WICHUK S, CHIOWCHANWISAWAKIT P, et al. Tumor necrosis factor inhibitor therapy but not standard therapy is associated with resolution of erosion in the sacroiliac joints of patients with axial spondyloarthritis[J/OL]. Arthritis Res Ther, 2014, 16(2): R100 [2023-12-14]. https://pubmed.ncbi.nlm.nih.gov/24755322/. DOI: 10.1186/ar4548.
[11]
LAMBERT R G, SALONEN D, RAHMAN P, et al. Adalimumab significantly reduces both spinal and sacroiliac joint inflammation in patients with ankylosing spondylitis: a multicenter, randomized, double-blind, placebo-controlled study[J]. Arthritis Rheum, 2007, 56(12): 4005-4014. DOI: 10.1002/art.23044.
[12]
PEDERSEN S J, WEBER U, SAID-NAHAL R, et al. Structural progression rate decreases over time on serial radiography and magnetic resonance imaging of sacroiliac joints and spine in a five-year follow-up study of patients with ankylosing spondylitis treated with tumour necrosis factor inhibitor[J]. Scand J Rheumatol, 2019, 48(3): 185-197. DOI: 10.1080/03009742.2018.1506822.
[13]
VAN DER HEIJDE D, RAMIRO S, LANDEWÉ R, et al. 2016 update of the ASAS-EULAR management recommendations for axial spondyloarthritis[J]. Ann Rheum Dis, 2017, 76(6): 978-991. DOI: 10.1136/annrheumdis-2016-210770.
[14]
LI K J, JOIS R, LICHAUCO J J, et al. A review on the effect of tumor necrosis factor inhibitors on structural progression in early axial spondyloarthritis using magnetic resonance imaging[J]. Rheumatol Ther, 2019, 6(2): 139-163. DOI: 10.1007/s40744-019-0141-y.
[15]
MAKSYMOWYCH W P, WICHUK S, CHIOWCHANWISAWAKIT P, et al. Fat metaplasia and backfill are key intermediaries in the development of sacroiliac joint ankylosis in patients with ankylosing spondylitis[J]. Arthritis Rheumatol, 2014, 66(11): 2958-2967. DOI: 10.1002/art.38792.
[16]
ZHANG Y M, GUO Z K, WANG L S, et al. Baseline severity of sacroiliitis and extensive fat Metaplasia predicts the progression of backfill at the sacroiliac joint in patients with axial spondyloarthritis[J/OL]. Front Immunol, 2022, 13: 887470 [2023-12-14]. https://pubmed.ncbi.nlm.nih.gov/35833133/. DOI: 10.3389/fimmu.2022.887470.
[17]
MAKSYMOWYCH W P, WICHUK S, CHIOWCHANWISAWAKIT P, et al. Fat metaplasia on MRI of the sacroiliac joints increases the propensity for disease progression in the spine of patients with spondyloarthritis[J/OL]. RMD Open, 2017, 3(1): e000399 [2023-12-14]. https://pubmed.ncbi.nlm.nih.gov/28469937/. DOI: 10.1136/rmdopen-2016-000399.
[18]
VAN MECHELEN M, GULINO G R, DE VLAM K, et al. Bone disease in axial spondyloarthritis[J]. Calcif Tissue Int, 2018, 102(5): 547-558. DOI: 10.1007/s00223-017-0356-2.
[19]
BARALIAKOS X, LISTING J, VON DER RECKE A, et al. The natural course of radiographic progression in ankylosing spondylitis: evidence for major individual variations in a large proportion of patients[J]. J Rheumatol, 2009, 36(5): 997-1002. DOI: 10.3899/jrheum.080871.
[20]
BRESSEM K K, ADAMS L C, PROFT F, et al. Deep learning detects changes indicative of axial spondyloarthritis at MRI of sacroiliac joints[J]. Radiology, 2022, 305(3): 655-665. DOI: 10.1148/radiol.212526.
[21]
NICOARA A I, SAS L M, BITA C E, et al. Implementation of artificial intelligence models in magnetic resonance imaging with focus on diagnosis of rheumatoid arthritis and axial spondyloarthritis: narrative review[J/OL]. Front Med, 2023, 10: 1280266 [2023-12-14]. https://pubmed.ncbi.nlm.nih.gov/38173943/. DOI: 10.3389/fmed.2023.1280266.
[22]
SIEPER J, RUDWALEIT M, BARALIAKOS X, et al. The Assessment of SpondyloArthritis international Society (ASAS) handbook: a guide to assess spondyloarthritis[J]. Ann Rheum Dis, 2009, 68(Suppl 2): ii1-ii44. DOI: 10.1136/ard.2008.104018.
[23]
MAKSYMOWYCH W P, WICHUK S, CHIOWCHANWISAWAKIT P, et al. Development and preliminary validation of the spondyloarthritis research consortium of Canada magnetic resonance imaging sacroiliac joint structural score[J]. J Rheumatol, 2015, 42(1): 79-86. DOI: 10.3899/jrheum.140519.
[24]
ZHANG Y M, GUO Z K, ZHAN Y, et al. Evaluation of active inflammation, chronic structural damage, and response to treatment of sacroiliitis in axial spondyloarthritis using the Spondyloarthritis research consortium of Canada scoring system[J/OL]. BMC Musculoskelet Disord, 2022, 23(1): 654 [2023-12-17]. https://pubmed.ncbi.nlm.nih.gov/35804360/. DOI: 10.1186/s12891-022-05609-x.
[25]
ZHU L, WANG X J, KE Z H, et al. BiFormer: vision transformer with Bi-level routing attention[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver, BC, Canada. IEEE, 2023: 10323-10333. DOI: 10.1109/CVPR52729.2023.00995.
[26]
TAN M X, PANG R M, LE Q V. EfficientDet: scalable and efficient object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA. IEEE, 2020: 10778-10787. DOI: 10.1109/CVPR42600.2020.01079.
[27]
LI H L, LI J, WEI H B, et al. Slim-neck by GSConv: a better design paradigm of detector architectures for autonomous vehicles[EB/OL]. 2022 [2023-12-17]. https://arxiv.org/abs/2206.02424. DOI: 10.48550/arXiv.2206.02424.
[28]
MAKSYMOWYCH W P, MALLON C, MORROW S, et al. Development and validation of the Spondyloarthritis Research Consortium of Canada (SPARCC) Enthesitis Index[J]. Ann Rheum Dis, 2009, 68(6): 948-953. DOI: 10.1136/ard.2007.084244.
[29]
LUKAS C, BRAUN J, VAN DER HEIJDE D, et al. Scoring inflammatory activity of the spine by magnetic resonance imaging in ankylosing spondylitis: a multireader experiment[J]. J Rheumatol, 2007, 34(4): 862-870.
[30]
JONES A. Assessing disease activity and response to treatment in axial spondyloarthritis: The unmet clinical need and potential role for quantitative imaging[D]. University College London, 2022.
[31]
BORDNER A, AOUAD T, MEDINA C L, et al. A deep learning model for the diagnosis of sacroiliitis according to Assessment of SpondyloArthritis International Society classification criteria with magnetic resonance imaging[J]. Diagn Interv Imaging, 2023, 104(7/8): 373-383. DOI: 10.1016/j.diii.2023.03.008.
[32]
ZHANG N, DONAHUE J, GIRSHICK R, et al. Part-based R-CNNs for fine-grained category detection[C]//European Conference on Computer Vision. Cham: Springer, 2014: 834-849. DOI: 10.1007/978-3-319-10590-1_54
[33]
LEE K H, CHOI S T, LEE G Y, et al. Method for diagnosing the bone marrow edema of sacroiliac joint in patients with axial spondyloarthritis using magnetic resonance image analysis based on deep learning[J/OL]. Diagnostics, 2021, 11(7): 1156 [2023-12-17]. https://pubmed.ncbi.nlm.nih.gov/34202607/. DOI: 10.3390/diagnostics11071156.
[34]
SHETTY A K, SAHA I, SANGHVI R M, et al. A review: object detection models[C]//2021 6th International Conference for Convergence in Technology (I2CT). Maharashtra, India. IEEE, 2021: 1-8. DOI: 10.1109/I2CT51068.2021.9417895.
[35]
ZOU Z X, CHEN K Y, SHI Z W, et al. Object detection in 20 years: a survey[J]. Proc IEEE, 2023, 111(3): 257-276. DOI: 10.1109/JPROC.2023.3238524.
[36]
CHAUDHARI S, MITHAL V, POLATKAN G, et al. An attentive survey of attention models[J/OL]. ACM Trans Intell Syst Technol, 12(5): 53 [2023-12-17]. https://dl.acm.org/doi/10.1145/3465055. DOI: 10.1145/3465055.
[37]
LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: common objects in context[C]//European Conference on Computer Vision. Cham: Springer, 2014: 740-755.10.1007/978-3-319-10602-1_48
[38]
MÅRTENSSON G, FERREIRA D, GRANBERG T, et al. The reliability of a deep learning model in clinical out-of-distribution MRI data: a multicohort study[J/OL]. Med Image Anal, 2020, 66: 101714 [2023-12-17]. https://pubmed.ncbi.nlm.nih.gov/33007638/. DOI: 10.1016/j.media.2020.101714.

上一篇 合成MRI在O-RADS MRI 3~5分卵巢附件肿物良恶性鉴别中的价值
下一篇 胸椎管内恶性色素性神经鞘膜肿瘤一例并文献复习
  
诚聘英才 | 广告合作 | 免责声明 | 版权声明
联系电话:010-67113815
京ICP备19028836号-2