分享:
分享到微信朋友圈
X
临床研究
基于元学习的MRI多模态分类模型鉴别伴滑膜炎的骨关节炎与类风湿关节炎
李生虎 李建华 潘祥 夏鹏

本文引用格式:李生虎, 李建华, 潘祥, 等. 基于元学习的MRI多模态分类模型鉴别伴滑膜炎的骨关节炎与类风湿关节炎[J]. 磁共振成像, 2025, 16(11): 163-169, 183. DOI:10.12015/issn.1674-8034.2025.11.024.


[摘要] 目的 本研究整合MRI影像组学与深度学习技术构建分类模型,实现对存在滑膜炎的骨关节炎(osteoarthritis, OA)与类风湿关节炎(rheumatoid arthritis, RA)的精准预测。材料与方法 通过回顾性分析2018年1月至2024年12月在无锡市中医医院完成膝关节MRI检查并被诊断为OA或RA的患者数据,依据纳入与排除标准筛选出符合条件的MRI数据并建立数据集。针对医学影像小样本学习挑战,构建基于模型无关元学习(model-agnostic meta-learning, MAML)的改进ResNet3D-18模型,通过MAML实现小样本场景下的快速任务适应,提升分类性能。运用三维梯度加权类激活映射(gradient-weighted class activation mapping, Grad-CAM)热力图对预测结果进行进一步解释。隐去患者临床信息后,两名医师独立完成MRI人工分类,结果协商统一。使用五折交叉验证评估分类模型性能。结果 纳入56例RA患者(60个膝关节)、56例OA患者(61个膝关节)建立数据集。在有限样本条件下,模型在单模态分类中,T1WI(准确率86.2%、曲线下面积0.914)较T2WI(准确率82.8%、曲线下面积0.875)效果更优;在T1WI和T2WI融合后的多模态分类模型表现出最佳的分类效果(准确率97.5%、曲线下面积0.975),甚至要高于人工分类结果(准确率94.2%、曲线下面积0.932)。Grad-CAM热力图示模型的关注模式与两种疾病临床病理特点高度一致。结论 将MRI影像组学与深度学习相结合,构建的分类模型通过MAML策略有效克服了训练数据不足的限制,能够对膝关节存在滑膜炎的OA与RA进行准确且可靠的预测。为临床早期诊断、个性化治疗及预后评估提供了新的技术支持与理论依据。
[Abstract] Objective This study integrates MRI radiomics with deep learning techniques to construct a classification model for accurate prediction of osteoarthritis (OA) and rheumatoid arthritis (RA) with synovitis.Materials and Methods Through a retrospective analysis of knee MRI data from patients diagnosed with OA or RA between January 2018 and December 2024, eligible scans were selected based on inclusion/exclusion criteria to establish the dataset. To address the challenge of small-sample learning in medical imaging, an improved ResNet3D-18 model based on model-agnostic meta-learning (MAML) was developed, enabling rapid task adaptation in small-sample scenarios to enhance classification performance. Three-dimensional gradient-weighted class activation mapping (Grad-CAM) was employed to interpret prediction results. After anonymizing clinical information, two radiologists independently annotated the MRI scans, with discrepancies resolved by consensus. Model performance was assessed using five-fold cross-validation.Results The dataset comprised 56 RA patients (60 knees) and 56 OA patients (61 knees). Under limited sample conditions, the model demonstrated superior performance in single-modality classification using T1WI (accuracy: 86.2%, AUC: 0.914) compared to T2WI (accuracy: 82.8%, AUC: 0.875). The multimodal model integrating T1WI and T2WI achieved optimal classification (accuracy: 97.5%, AUC: 0.975), outperforming manual classification (accuracy: 94.2%, AUC: 0.932). Grad-CAM heatmaps revealed that the model's attention patterns were highly consistent with the clinical-pathological characteristics of both diseases.Conclusions By integrating MRI radiomics with deep learning, the proposed classification model effectively overcomes the limitation of insufficient training data through the MAML strategy, enabling accurate and reliable prediction of OA and RA with synovitis in the knee joint. This study provides new technical support and a theoretical foundation for early clinical diagnosis, personalized treatment, and prognostic assessment.
[关键词] 类风湿关节炎;人工智能;深度学习;磁共振成像;滑膜炎;元学习;多模态融合
[Keywords] rheumatoid arthritis;artificial intelligence;deep learning;magnetic resonance imaging;synovitis;meta-learning;multimodal fusion

李生虎 1   李建华 1   潘祥 2   夏鹏 1*  

1 无锡市中医医院放射科,无锡 214071

2 江南大学人工智能与计算机学院,无锡 214122

通信作者:夏鹏,E-mail:coatway@sohu.com

作者贡献声明:李生虎起草和撰写稿件,分析、整理并解释本研究数据,获得了无锡市科技计划基金发展资金资助;李建华参与本研究的设计,对文章内容进行修改和补充;潘祥分析本研究数据,为本研究提供深度学习和程序技术支持,并对稿件重要内容进行了修改;夏鹏设计本研究的方案,对稿件中的重要内容进行了修改;全体作者都同意文章的发表,同意对本研究的所有方面负责,确保本研究的准确性和诚信。


基金项目: 无锡市科技发展资金项目 Y20232024
收稿日期:2025-05-11
接受日期:2025-09-10
中图分类号:R445.2  R686.7  R593.22 
文献标识码:A
DOI: 10.12015/issn.1674-8034.2025.11.024
本文引用格式:李生虎, 李建华, 潘祥, 等. 基于元学习的MRI多模态分类模型鉴别伴滑膜炎的骨关节炎与类风湿关节炎[J]. 磁共振成像, 2025, 16(11): 163-169, 183. DOI:10.12015/issn.1674-8034.2025.11.024.

0 引言

       类风湿关节炎(rheumatoid arthritis, RA)是一种慢性、自身免疫性疾病,以滑膜炎症为主要特征,可导致关节疼痛、肿胀、畸形,甚至功能丧失,对患者身心健康和社会经济造成巨大负担[1, 2, 3]。骨关节炎(osteoarthritis, OA)则是一种退行性关节病,主要病理特征为关节软骨退变和骨质增生,滑膜炎通常为继发性表现,其发病率逐年上升,同样对患者的生活质量造成了较大影响[4]。两种疾病病程中均可出现滑膜炎表现,但病理机制、治疗策略及预后截然不同,误诊可能会导致不必要的侵入性干预和不可逆的结构损伤。因此,准确鉴别对临床精准治疗至关重要。

       影像学是OA和RA诊断和鉴别诊断的重要手段,但传统X线、CT等影像学方法在滑膜增生、骨髓水肿等早期病变评估方面存在局限性。磁共振成像(magnetic resonance imaging, MRI)因其优异的软组织分辨率,可清晰显示滑膜增生、骨髓水肿及早期骨侵蚀,是现阶段评估膝关节OA和RA病变的关键影像学技术[5]。然而,在临床工作中,MRI图像主要依赖医生肉眼判读,存在主观性强、观察者间差异大等问题。尤其对于滑膜增生、骨髓水肿等早期病变的定量评估手动分析效率较低,难以满足临床对疾病早期分型、治疗监测及预后预测的精准化需求。

       近年来,MRI影像组学和深度学习技术的兴起,为开发客观、自动化的MRI评估提供了新思路。尤其是深度学习技术的引入,为基于MRI的滑膜炎诊断和评估提供了新的可能性。相较于传统人工判读,该技术可自动提取影像特征并定量分析,显著提高工作效率,同时增强评估结果的客观性和可重复性[6]。影像组学通过高通量提取定量影像特征,可挖掘肉眼难以识别的病理信息;而深度学习能够自动学习影像中的深层模式,提高分类和预测性能。已有研究表明,联合两种方法可显著提升骨骼肌肉系统疾病的诊断、手术规划和预后预测能力[7, 8, 9],但研究未能实现两种方法的深度融合,模型缺乏对小样本场景的适应性设计,导致模型在不同中心、不同扫描参数的数据中泛化能力较差。且目前尚无联合MRI影像组学和深度学习方法来预测OA和RA滑膜病变的相关文献发表。鉴于此,本研究基于多模态膝关节MRI影像组学特征,联合小样本深度学习架构,采用元学习策略,构建端到端的深度学习分类模型,对伴滑膜炎的OA与RA进行预测分类。旨在提高滑膜相关疾病的诊断准确性,为小样本场景下的关节炎亚型鉴别提供客观、高效的影像诊断新范式。从而优化临床治疗方案,减轻医生劳动强度。

1 材料与方法

1.1 研究对象

       本回顾性研究遵守《赫尔辛基宣言》,经我院伦理委员会批准,免除受试者知情同意,批准文号:2024(研)-054-01。收集无锡市中医医院2018年1月至2024年12月经临床确诊的OA和RA患者,依据以下标准及流程(图1)筛选MRI数据用于进一步分析。

1.1.1 纳入标准

       (1)RA诊断符合2010年美国风湿病学会/欧洲抗风湿病联盟(ACR/EULAR)分类标准[10],排除其他原因导致的滑膜炎为前提,对以下四个方面进行评分。①关节累及:1个大关节0分,2~10个大关节1分,1~3个小关节2分,4~10个小关节3分,大于10个关节(至少有一个小关节)5分;②血清学:类风湿因子和抗环瓜氨酸肽抗体阴性0分,类风湿因子或抗环瓜氨酸肽抗体低滴度阳性(正常值上限<低滴度阳性<3倍正常上限)2分,类风湿因子或抗环瓜氨酸肽抗体高滴度阳性3分;③急性期反应物:血沉和超敏C反应蛋白正常0分,血沉或超敏C反应蛋白升高1分;④症状持续时间:<6周0分,≥6周1分;①~④积分之和大于等于6分可诊断为RA。(2)膝骨关节炎符合OA诊治指南2007年版[11]:①近1个月内反复膝关节疼痛;②X线片(站立或负重位)示关节间隙变窄、软骨下骨硬化和(或)囊性变、关节缘骨赘形成;③关节积液(至少2次)清亮、黏稠;④WBC<2000个/mL;⑤中老年患者(≥40岁);⑥晨僵≤30 min,活动时有骨摩擦音(感);综合临床、实验室及X线检查符合①+②条或①+③+⑤+⑥条或①+④+⑤+⑥条,可诊断膝关节OA。

1.1.2 排除标准

       (1)各种原因导致的图像质量差,无法满足诊断要求。(2)缺少研究序列的膝关节MRI,扫描序列需至少包含矢状位T1WI、T2WI、T2WI-频谱衰减反转恢复(T2-weighted imaging with spectral attenuated inversion recovery, T2WI-SPAIR),冠状位或轴位T2WI-SPAIR。(3)MRI无滑膜炎表现,滑膜炎判断标准参照膝关节OA-MRI评分系统[12]和RA-MRI评分系统(2016版)执行[13]:①髌下脂肪垫异常高信号,在T2WI-SPAIR序列矢状面图像中,髌下脂肪垫内出现弥漫性高信号;②关节腔内液性高信号,在T2WI或T2WI-SPAIR序列轴位图像中,关节腔内(含髌上囊、髌后间隙等)出现超出生理量的液性高信号(滑膜增厚与积液的复合改变);③滑膜增厚伴高信号,在矢状位T1WI序列中可见滑膜组织厚度超过正常膝关节滑膜宽度(正常滑膜呈薄层低信号,增厚时轮廓清晰),同时在T2WI-SPAIR序列中,增厚的滑膜区域呈高信号;满足上述①~③中任意一条即为有滑膜炎。(4)有膝关节外伤史、手术史。

图1  MRI筛选流程图。OA为骨关节炎;RA为类风湿关节炎;n1代表患者例数;n2代表单侧膝关节个数。
Fig. 1  Flowchart of MRI screening. OA represents osteoarthritis; RA represents rheumatoid arthritis; n1 represents the number of patients; n2 represents the number of unilateral knee joints.

1.2 成像方法

       膝关节MRI检查采用1.5 T(Philips Achieva,飞利浦公司,荷兰)和3.0 T(Philips Ingenia,飞利浦公司,荷兰)MR扫描仪,配备膝关节相控阵专用线圈。患者仰卧于检查床,身体保持正中位置,头部先进。将膝关节置于线圈中心,足尖朝上,适度屈曲(角度在10°~30°之间)、固定,减少膝关节检查过程中移动。选用矢状位T1WI、T2WI、T2WI-SPAIR,冠状位及轴位T2WI-SPAIR,扫描参数见表1

表1  磁共振成像扫描参数
Table 1  MRI scanning parameters

1.3 数据标注

       由一名具有11年骨骼肌肉系统MRI诊断经验放射科主治医师(医师A)整理记录全部患者的临床信息和影像数据。对满足要求的膝关节MRI数据隐去患者信息后,从日常工作用影像存储与传输系统(picture archiving and communication system, PACS)导出,存储并加载到科研专用影像分析平台3D Slicer(版本5.6.0,开源软件,https://www.slicer.org)进行处理。另邀请两位分别有16年、19年骨骼肌肉系统MRI诊断经验放射科主治医师(医师B)和主任医师(医师C)对于是否存在滑膜炎进行筛选、标注,滑膜评估范围从矢状位MRI髌骨中点水平延伸至髌上滑囊的上缘,髌下脂肪垫范围从髌腱与胫骨粗隆的连接处向上延伸至髌骨中点[14]。OA和RA诊断,采用单盲诊断流程(无法获取患者临床资料),由医师B和C独立完成。对于存在分歧的病例,由两位医师共同讨论、综合分析,直至达成统一结论。

1.4 数据处理

       (1)标准化预处理:鉴于MRI数据来源于不同场强MRI设备,对本研究膝关节MRI图像中T1WI和T2WI序列行标准化预处理。首先,基于事先筛选、标注图像,沿矢状面提取包含滑膜的解剖区域,通过各向同性重采样(体素1 mm×1 mm×1 mm)统一空间分辨率。从膝关节MRI序列中截取中心位置的18个连续切片,确保覆盖髌股关节和胫股关节。随后将筛选的切片通过双线性插值统一调整像素为256×256,其三维尺寸统一像素为256×256×18。

       (2)数据增强策略:为克服有限标注数据(121个膝关节MRI)导致模型过拟合,设计了面向MRI三维特性的数据增强策略。在每个小样本学习任务(episodes)训练时,基于图像物理尺寸对支持集与查询集施加随机组合的仿射变换(平移±10%、旋转±15°、缩放±20%)及水平翻转(概率50%)。这些变换能够模拟不同的扫描体位和解剖变化,进一步扩充数据集。

1.5 模型构建及特征提取

       (1)模型构建。根据RA样本量较少的特点,选用ResNet3D-18为骨干网络,采用元学习(meta-learning)策略,特别是基于模型无关元学习(model-agnostic meta-learning, MAML)的方法,构建具有强泛化能力的改进ResNet3D-18网络分类模型。单模态模型与多模态模型的构建采用相同的元学习框架和网络架构。唯一的区别是前者不需要跨模态特征融合步骤。在训练过程中,采用动态的任务采样机制:每批次生成20个随机任务,每个训练任务(episode)通过分层随机采样形成二分类场景(即设置num_way=2),并为每个类别独立采样样本。任务构建遵循严格的5-shot/15-shot设计原则:每个类别的支持集包含5个样本,用于模型快速适应新任务;查询集则包含15个样本,提供充分的梯度更新信号,两者比例保持在1∶3以平衡表征学习和优化稳定性。在样本选择阶段,通过non_empty_samples机制过滤无效影像数据,确保训练质量,并严格保证支持集与查询集的样本独立性,避免数据泄漏,采用双层优化架构设计。在内循环阶段,使用SGD优化器(学习率0.001,权重衰减1e-3,动量0.9)在支持集上执行少量梯度步(通常1~5步),使模型快速适应特定任务;在外循环阶段,基于查询集损失计算元梯度,通过另一个SGD优化器(学习率0.001,权重衰减1e-3,动量0.9)更新模型的初始化参数,提升跨任务泛化能力。具体网络流程见图2所示。

       (2)数据采样和划分方式。每个小样本学习任务从121例数据中随机抽取N个任务,任务内划分为支持集(5-shot/类)与查询集(15-shot/类),支持集用于模型的训练,查询集用于评估模型在新任务上的适应能力。为确保支持集和查询集中OA和RA两类病变的相对比例与原始数据集整体比例基本一致,避免因划分引入的类别分布偏差,采用分层随机抽样策略按照7:3的比例进行划分。支持集共包含79个膝关节样本,其中OA样本46个,RA样本33个。查询集共包含36个膝关节样本,其中OA样本21个,RA样本15个。

       (3)特征提取。经过数据增强处理后,每个单模态数据分别输入改进的ResNet3D-18网络进行特征提取,其骨干网络经预训练权重初始化,并通过调整输入通道数与首层卷积核尺寸适配医学影像特性。网络输出的多尺度特征图经多尺度空间注意力模块进一步优化。在多模态MRI数据中,关节的解剖结构呈现出不同尺度和不同层次的空间特征。该模块的核心思想是通过多个尺度的空间注意力机制,学习各个尺度上对疾病诊断最有意义的空间区域,从而提高模型对重要结构的关注度。具体而言,通过对不同大小的卷积核进行加权处理,使得网络能够自适应地聚焦于不同尺度下的关节滑膜、软骨、骨及周围组织的变化。对于小尺度特征,模型可以专注于关节软骨的微小变形、滑膜增厚等,而在大尺度特征中,则可能关注骨骼结构的整体形态变化。通过这种方式,模型能够自动地从不同空间尺度中选择重要的局部区域并赋予更高的权重,这种多粒度特征挖掘策略显著提升了小样本条件下的病理表征效率。

       (4)特征融合。在特征提取之后,模型将对来自不同MRI序列的特征进行融合。此时,提取到的空间特征通过通道-主成分注意力(channel-principal component attention, CPCA)机制进一步精细化。该机制通过筛选重要通道信息并剪枝冗余通道,以提升模型效率和特征表达能力。多模态数据中,不同通道(不同的MRI序列)包含了不同类型的生理信息:T1WI序列主要反映软骨下骨硬化与骨赘形成的解剖学信号特征,而T2WI序列更敏感于滑膜增生与血管翳形成的功能学信号属性。CPCA有效抑制冗余特征,通过在每个通道上进行主成分分析,找出最能表征关节疾病(OA/RA)的特征通道,并对这些通道赋予更高的权重。加权后的多模态特征通过全连接层进行分类。

图2  改进ResNet3D-18网络分类模型流程图。2A:基于支持集-查询集的元学习框架;2B:左侧为编码器深度学习模型架构图,右侧为分类器架构图。T1代表经过标准化预处理的T1WI,T2-TSE表示经过标准化预处理的T2WI,fθ0表示初始分类器,fθt表示内训练分类器,fθT表示最终分类器。多尺度空间注意力模块用于对MRI图像特征(包括多模态)行自适应优化,其核心是通过并行处理多尺度特征来增强模型对关键病理区域的定位能力。CPCA为通道-主成分注意力, 主要在于筛选重要通道信息并剪枝冗余通道,提升模型效率和特征表达能力。
Fig. 2  Flowchart of the improved ResNet3D-18 network classification model. 2A: The meta-learning framework based on the support set-query set; 2B: The deep learning encoder model architecture on the left and the classifier architecture on the right. T1 represents the standardized pre-processed T1WI, T2-TSE represents the standardized pre-processed T2WI. fθ0 represents the initial classifier, fθt represents the inner training classifier, fθT represents the final classifier. The multi-scale spatial attention module is used for adaptive optimization of MRI image features (including multimodal), its core function is to enhance the model's localization ability for key pathological regions by processing multi-scale features in parallel. CPCA stands for Channel-Principal Component Attention, primarily used to screen important channel information and prune redundant channels, thereby improving model efficiency and feature expression capability.

1.6 预测结果解释

       为了逆向分析深度学习方法的分类依据,对模型进行了三维梯度加权类激活映射(gradient-weighted class activation mapping, Grad-CAM)分析。具体而言,Grad-CAM首先对目标类别进行反向传播,计算损失函数相对于最后一个卷积层特征图的梯度,接着通过全局平均池化对这些特征图进行降维处理,汇总为一个单一的权重值。这些权重值被用于加权最后一个卷积层的特征图,生成一个加权后的特征图。这些计算结果与原始输入切片进行采样和覆盖,从而生成热力图。

1.7 统计学分析

       统计学分析软件采用Python(版本3.7.12,Python软件基金会,https://www.python.org)。使用五折交叉验证评估分类模型性能。首先根据疾病类别进行分层抽样,确保训练集与测试集中OA与RA的比例与原始数据集一致(61∶60),随后将121例样本随机划分为5个互斥子集,每折包含约24~25例,且每折中OA与RA的病例数比例严格保持61∶60,依次将每一折作为测试集,其余4折作为训练集,重复5次后汇总性能指标。包括准确率、精确率、召回率、F1分数、受试者工作特征曲线(receiver operating characteristic curve, ROC)和曲线下面积(area under thecurve, AUC)。DeLong检验比较多模态深度学习分类模型与人工诊断的AUC值差异。采用Kolmogorov-Smirnov数据正态性检验,满足正态分布采用均数±标准差表示,否则采用中位数。对临床基线特征中RA与OA年龄比较采用Mann-Whitney U检验;性别对比,用Fisher确切概率法。采用Cohen's kappa系数评估两位医师独立标注的一致性,并根据Landis和Koch的标准进行等级划分:0.81~1.00为几乎完美一致;0.61~0.80为高度一致;0.41~0.60为中度一致;0.21~0.40为一般一致;0.00~0.20为轻微一致。人工分类与深度学习分类的准确率显著性检验采用配对卡方检验。本研究采用SHAP值(一种基于博弈论的模型解释方法,通过计算每个特征对模型输出的边际贡献,生成可解释的数值指标)进行特征重要性分析。SHAP值、信噪比显著性比较采用t检验。P<0.05为差异具有统计学意义。

2 结果

2.1 临床基本特征

       本研究共纳入112例患者,OA和RA各56例,其中RA组男7例、女49例,中位年龄61岁,包含膝关节60个;OA组男15例,女41例,中位年龄64岁,包含膝关节61个。OA组和RA组间年龄(Z=1.13,P=0.26)、性别(OR=1.11,P=1.00)差异均无统计学意义。

2.2 人工分类和不同模态分类模型性能评估

       医师B和医师C独立标注结果一致性检验kappa值为0.85(95%置信区间:0.72~0.98)。通过五折交叉验证评估,多模态融合策略相较于单模态显著提升分类性能(表2)。

       单模态下T1WI与T2WI的AUC分别为0.914与0.875,而多模态融合后AUC显著提升至0.975(图3),其准确率、精确率、召回率与F1分数较单模态均提升超过10个百分点。进一步对深度学习各模态与人工分类的准确率差异行显著性检验,T1WI、T2WI单模态深度学习分类模型与人工分类准确率差异显著(χ2=4.05,P=0.04;χ2=6.35,P=0.01),而多模态深度学习分类模型与人工分类差异不显著(χ2=1.13,P=0.29)。采用DeLong检验比较多模态深度学习分类模型与人工分类两组ROC曲线的AUC,结果显示多模态深度学习分类模型的AUC显著高于人工诊断(P>0.05),表明前者具有更优的判别能力。

图3  人工分类、T1WI单模态、T2WI单模态、T1WI+T2WI多模态深度学习分类模型ROC曲线。
Fig. 3  ROC curves of manual classification, T1WI single-modality, T2WI single-modality, and T1WI+T2WI multimodal deep learning classification models.
表2  人工分类及不同模态深度学习模型分类评估结果
Tab. 2  Classification evaluation results of manual and deep learning models with different modalities

2.3 特征可视化及特征重要性分析

       通过三维Grad-CAM热力图(图4)展现的深度模型关注模式与两种疾病临床病理特点高度一致(Dice系数为0.72),表明该深度学习方法构建的模型能够独立提取与病变组织高度相关的图像特征,并在多种特征与诊断之间建立起全面的关联,诊断分类具有可靠性。SHAP分析显示,T2WI模态在滑膜区域的SHAP值(0.15±0.08)高于T1WI模态(0.05±0.03),P<0.001,T2WI在滑膜炎检测中的更高贡献。T2WI-SPAIR比T2WI平均信噪比降低约20%(T2WI:35.2±4.1 vs. T2WI-SPAIR:28.1±3.8;P<0.001)。

图4  RA(4A和4C)和OA(4B和4D)患者MRI深度学习分类模型三维Grad-CAM热力图。热力图中深度学习的关注度用不同颜色来表示,0.8~1.0(最暖色)为高权重区域,表明模型高度关注,是分类决策的主要依据;0.4~0.6(中等色)为中度关注区域;0.0~0.2(冷色)为模型几乎不关注的区域。从热图中可以看出,该模型更多地关注感兴趣区域的中心而非边缘。4A和4C暖色区域集中在关节边缘和滑膜附着处,且中等色范围较广;而4B和4D更多集中在关节承重区,且中等色范围较局限。热力图分布差异与RA和OA的典型病理特征高度一致:RA以滑膜增生、血管翳形成、边缘骨侵蚀为主要特点,而OA以软骨缺损、骨硬化、骨赘形成为主要特征。
Fig. 4  Three-dimensional Grad-CAM heatmaps of the deep learning classification model for MRI in RA (4A and 4C) and OA (4B and 4D) patients. The attention of the deep learning model is represented by different colors in the heatmaps: 0.8 to 1.0 (warmest colors) indicate high-weight regions, showing that the model pays significant attention and these areas are the primary basis for classification decisions; 0.4 to 0.6 (moderate colors) represent moderately attended regions; 0.0 to 0.2 (cool colors) indicate regions that the model hardly attends to. From the heatmaps, it can be observed that the model focuses more on the center of the region of interest rather than the edges. In Figures 4A and 4C, warm-colored areas are concentrated at the joint margins and synovial attachments, with a broader distribution of moderate colors; whereas in Figures 4B and 4D, they are more focused on the weight-bearing areas of the joint, with a more limited distribution of moderate colors. The differences in heatmap distribution are highly consistent with the typical pathological features of RA and OA: RA is characterized primarily by synovial hyperplasia, pannus formation, and marginal bone erosion, while OA is characterized mainly by cartilage defects, bone sclerosis, and osteophyte formation.

3 讨论

       本研究创新性地将元学习策略特别是MAML方法与多模态MRI影像组学相结合,构建了针对膝关节滑膜炎中OA与RA的小样本高效分类模型。通过T1WI与T2WI多模态数据融合,模型准确率达到97.5%,显著优于单一模态(T2WI:82.8%,T1WI:86.2%)及放射科医师人工诊断(94.2%),实现了OA与RA滑膜炎的高精度鉴别。本研究首次将元学习引入滑膜炎分类,突破了传统深度学习对大数据量的依赖,率先证实T1WI和T2WI多模态融合对OA与RA滑膜病变的协同鉴别价值,为小样本场景下的关节炎亚型鉴别提供了客观、高效的影像诊断新范式。

3.1 元学习策略在小样本场景中的应用

       在RA和OA深度学习相关研究中,传统深度学习模型虽展现出一定优势,但也存在明显局限性。有研究利用9280张膝关节MRI构建分类模型,在利用特定图像预测关节间隙狭窄方面优于训练有素的放射科医生,表明深度学习模型在挖掘影像特征和多任务预测方面有一定潜力[15]。另有学者开发的双侧膝关节神经网络(BikNet)在两个测试集中的表现均优于单侧模型ResNext和DenseNet,提升了临床医生预测新发OA的敏感性和特异性[16]。此类传统深度学习模型高度依赖大量标注数据,当面对如RA等病例样本量有限的疾病时,模型泛化能力便会显著降低。如有研究显示深度模型在区分190例血清阳性与135例血清阴性RA时,曲线下面积仅为0.67[17]。归因于RA样本量小且为特征相近的疾病亚型,导致相关模型泛化能力不足,出现预测指标不理想,难以充分利用有限样本挖掘有效信息。WANG等学者[18]采用ResNet18传统深度学习模型对376例MRI膝关节滑膜炎自动分类,通过影像特征与临床特征结合,跨数据集增强模型泛化能力,虽在内部测试集获得86%的准确率,但外部测试集仅79%,提示研究仍然存在样本过拟合问题;其次,研究未提及数据增强策略,可能限制了数据效率的进一步提升。本研究引入基于MAML的元学习和数据增强策略,通过模拟小样本学习任务训练模型快速适应不同数据分布的能力,显著降低了对大规模数据的依赖。实验表明,滑膜炎分类模型在五折交叉验证中表现稳定,分类准确率(97.5%)显著高于传统方法,印证了元学习在稀缺数据场景下的独特优势。这一突破与医学影像领域数据获取成本高、标注难度大的现实需求高度契合,为罕见病或小样本疾病的人工智能诊断提供了方法学参考。

3.2 多模态MRI数据融合对病理特征捕获的协同作用

       多模态数据融合已成为提升模型性能的重要方向[19, 20, 21],逐渐成为医学影像分析领域的研究热点[22, 23]。GAO等[19]在自闭症谱系障碍识别中发现,分层特征提取与多模态深度融合可将分类效能提升15%以上,印证了跨模态信息互补的价值。归因于分层特征提取覆盖了局部细节与全局结构信息;其次,多模态深度融合整合了局部-全局两类特征,让结构图像的局部异常信息与网络分析的全局异常信息形成互补,充分发挥跨模态信息的协同价值,从而显著提升分类效能。同样,多模态数据融合通过整合不同影像模态的互补信息[24],已被证实可显著提升骨骼肌肉系统疾病的诊断精度[25, 26, 27]。这一思路在膝关节疾病研究中同样得到验证:HU等[25]基于多模态MRI构建的DeepKOA模型,通过融合T1WI和质子密度加权成像特征,将OA进展预测的AUC提升至0.89,显著优于单模态模型,提示不同序列的病理信息存在不可替代的互补性。本研究进一步着眼于OA与RA的滑膜炎鉴别,系统比较了T1WI、T2WI单模态及融合模型的性能差异。结果显示,T1WI单模态AUC为0.914,优于T2WI的0.875,这与T1WI对软骨下骨硬化、骨赘等OA特征性结构的高分辨率优势密切相关,正如HUNTER等[12]在MOAKS评分系统中指出,T1WI对骨质结构的显示精度是评估OA进展的关键;而T2WI对滑膜增生、血管翳的效能(AUC=0.875)则与ØSTERGAARD等[13]提出的RA-MRI评分系统中“T2WI是滑膜炎症活动度的核心评估序列”的结论一致。当两种模态融合后,模型AUC显著提升至0.975,准确率、召回率等指标均提升10个百分点以上,其核心机制在于T1WI与T2WI的病理信息形成了精准互补:前者捕捉OA的结构性改变(如软骨退变、骨赘),后者重点分析RA的炎症性特征(如滑膜增厚、积液),这种“结构+功能”的双重表征恰好匹配两种疾病的核心病理差异,OA以退行性结构改变为主,RA以滑膜免疫炎症为驱动[4, 10]。此结果与SONG等[26]在骨肿瘤分类中的发现一致,即“解剖模态+功能模态”的融合可最大化覆盖疾病的异质性特征。值得注意的是,尽管T2WI-SPAIR对软组织水肿的敏感性较高[14],但T2WI-SPAIR的信噪比显著低于T2WI(28.1±3.8 vs. 35.2±4.1,P<0.001),可能引入噪声干扰,这与IQBAL等[28]提出的“高冗余模态可能降低模型稳定性”的观点相符,也是本研究未纳入T2WI-SPAIR序列的主要原因。因此,选择T1WI+T2WI融合在保证效能的同时,兼顾了模型的简洁性与鲁棒性[29, 30]

3.3 本研究的局限性

       本研究也存在一定局限性。第一,本研究为单中心设计,滑膜炎样本量有限。尽管通过五折交叉验证评估了模型性能,但数据量相较于临床实际需求仍显不足。目前研究仍在持续进行中,后续将通过增加外部数据集来扩大样本量,以进一步探究模型对不同中心影像数据(如图像质量、分辨率和特征表现等方面差异)的适应性,从而更准确地评估这些因素对模型泛化能力的影响。第二,滑膜炎疾病覆盖不够全面。仅纳入存在滑膜炎的OA和RA,对于其他类型滑膜炎如痛风性关节炎、色素沉着绒毛结节性滑膜炎等未能涉及。因不同类型滑膜炎病理特征存在差异,特定疾病对模型性能可能会不一致,从而影响模型在大规模临床应用中的普适性,后期研究需要扩大疾病谱范围进一步验证。第三,本研究仅考虑了T1WI和T2WI两种模态,未来可探索加入更多模态,如弥散加权成像或动态增强成像,进一步提升模型的诊断能力。第四,虽然采用MAML在本研究中取得了良好效果,但训练过程中的计算成本较高,如何优化算法以降低计算复杂度也是未来研究的重点。此外,当前研究的模型代码因医院数据隐私政策限制暂未公开,未来将在完成数据脱敏后考虑开源,以促进学术交流与临床转化。

4 结论

       总之,本研究整合影像组学和深度学习,通过创新运用元学习策略中的MAML方法,加入多模态融合策略构建预测模型,在伴有滑膜炎的膝关节OA与RA分类方面取得了良好效果。该模型可作为无创性预测工具,为OA与RA的早期诊断、精准治疗及临床决策提供支持。未来研究需进一步扩充数据集,探索更多模态融合、优化算法,以推动该技术逐步应用于临床实践,促进滑膜病变精准定量诊断。

[1]
DI MATTEO A, BATHON J M, EMERY P. Rheumatoid arthritis[J]. Lancet, 2023, 402(10416): 2019-2033. DOI: 10.1016/S0140-6736(23)01525-8.
[2]
FINCKH A, GILBERT B, HODKINSON B, et al. Global epidemiology of rheumatoid arthritis[J]. Nat Rev Rheumatol, 2022, 18(10): 591-602. DOI: 10.1038/s41584-022-00827-y.
[3]
TIAN X P, WANG Q, JIANG N, et al. Chinese guidelines for the diagnosis and treatment of rheumatoid arthritis: 2024 update[J]. Rheumatol Immunol Res, 2025, 5(4): 189-208. DOI: 10.1515/rir-2024-0028.
[4]
COURTIES A, KOUKI I, SOLIMAN N, et al. Osteoarthritis year in review 2024: epidemiology and therapy[J]. Osteoarthr Cartil, 2024, 32(11): 1397-1404. DOI: 10.1016/j.joca.2024.07.014.
[5]
CHOUDHURY S R, PRAKASH M, SHARMA M, et al. Magnetic resonance imaging of knee arthropathies: A pictorial review[J/OL]. J Clin Orthop Trauma, 2024, 61: 102872 [2025-05-05]. https://pubmed.ncbi.nlm.nih.gov/39816717/. DOI: 10.1016/j.jcot.2024.102872.
[6]
李生虎, 王莉莉. 人工智能在类风湿性关节炎影像评估中的研究进展[J]. 磁共振成像, 2024, 15(8): 229-234. DOI: 10.12015/issn.1674-8034.2024.08.037.
LI S H, WANG L L. Research progress of artificial intelligence in imaging evaluation of rheumatoid arthritis[J]. Chin J Magn Reson Imag, 2024, 15(8): 229-234. DOI: 10.12015/issn.1674-8034.2024.08.037.
[7]
LI S F, CAO P H, LI J, et al. Integrating radiomics and neural networks for knee osteoarthritis incidence prediction[J]. Arthritis Rheumatol, 2024, 76(9): 1377-1386. DOI: 10.1002/art.42915.
[8]
FEIERABEND M, WOLFGART J M, PRASTER M, et al. Applications of machine learning and deep learning in musculoskeletal medicine: a narrative review[J/OL]. Eur J Med Res, 2025, 30(1): 386 [2025-06-12]. https://pubmed.ncbi.nlm.nih.gov/40375335/. DOI: 10.1186/s40001-025-02511-9.
[9]
NOZAKI T, HASHIMOTO M, UEDA D, et al. Recent topics in musculoskeletal imaging focused on clinical applications of AI: How should radiologists approach and use AI [J]. Radiol Med, 2025, 130(5): 587-597. DOI: 10.1007/s11547-024-01947-z.
[10]
ALETAHA D, NEOGI T, SILMAN A J, et al. 2010 Rheumatoid arthritis classification criteria: an American College of Rheumatology/European League Against Rheumatism collaborative initiative[J]. Arthritis Rheum, 2010, 62(9): 2569-2581. DOI: 10.1002/art.27584.
[11]
中华医学会骨科学分会. 骨关节炎诊治指南(2007年版)[J]. 中国临床医生杂志, 2008, 36(1): 28-30. DOI: 10.3760/j.issn:0253-2352.2007.10.016.
Chinese Medical Association Orthopaedic Surgery Branch. Guidelines for diagnosis and treatment of osteoarthritis (2007 edition)[J]. Chin J Clin, 2008, 36(1): 28-30. DOI: 10.3760/j.issn:0253-2352.2007.10.016.
[12]
HUNTER D J, GUERMAZI A, LO G H, et al. Evolution of semi-quantitative whole joint assessment of knee OA: MOAKS (MRI Osteoarthritis Knee Score)[J]. Osteoarthritis Cartilage, 2011, 19(8): 990-1002. DOI: 10.1016/j.joca.2011.05.004.
[13]
ØSTERGAARD M, PETERFY C G, BIRD P, et al. The OMERACT rheumatoid arthritis magnetic resonance imaging (MRI) scoring system: updated recommendations by the OMERACT MRI in arthritis working group[J]. J Rheumatol, 2017, 44(11): 1706-1712. DOI: 10.3899/jrheum.161433.
[14]
TAN H, KANG W L, FAN Q J, et al. Intravoxel incoherent motion diffusion-weighted MR imaging findings of infrapatellar fat pad signal abnormalities: comparison between symptomatic and asymptomatic knee osteoarthritis[J]. Acad Radiol, 2023, 30(7): 1374-1383. DOI: 10.1016/j.acra.2022.11.010.
[15]
SCHIRATTI J B, DUBOIS R, HERENT P, et al. A deep learning method for predicting knee osteoarthritis radiographic progression from MRI[J/OL]. Arthritis Res Ther, 2021, 23(1): 262 [2025-06-15]. https://pubmed.ncbi.nlm.nih.gov/34663440/. DOI: 10.1186/s13075-021-02634-4.
[16]
YIN R, CHEN H, TAO T Q, et al. Expanding from unilateral to bilateral: a robust deep learning-based approach for predicting radiographic osteoarthritis progression[J]. Osteoarthritis Cartilage, 2024, 32(3): 338-347. DOI: 10.1016/j.joca.2023.11.022.
[17]
FOLLE L, BAYAT S, KLEYER A, et al. Advanced neural networks for classification of MRI in psoriatic arthritis, seronegative, and seropositive rheumatoid arthritis[J]. Rheumatology (Oxford), 2022, 61(12): 4945-4951. DOI: 10.1093/rheumatology/keac197.
[18]
WANG Q Z, YAO M Y, SONG X H, et al. Automated segmentation and classification of knee synovitis based on MRI using deep learning[J]. Acad Radiol, 2024, 31(4): 1518-1527. DOI: 10.1016/j.acra.2023.10.036.
[19]
GAO J, SONG S. A hierarchical feature extraction and multimodal deep feature integration-based model for autism spectrum disorder identification[J]. IEEE J Biomed Health Inform, 2025, 29(7): 4920-4931. DOI: 10.1109/jbhi.2025.3540894.
[20]
LI Y H, EL HABIB DAHO M, CONZE P H, et al. A review of deep learning-based information fusion techniques for multimodal medical image classification[J/OL]. Comput Biol Med, 2024, 177: 108635 [2025-05-17]. https://pubmed.ncbi.nlm.nih.gov/38796881/. DOI: 10.1016/j.compbiomed.2024.108635.
[21]
SUI J, ZHI D M, CALHOUN V D. Data-driven multimodal fusion: approaches and applications in psychiatric research[J/OL]. Psychoradiology, 2023, 3: kkad026 [2025-05-17]. https://pubmed.ncbi.nlm.nih.gov/38143530/. DOI: 10.1093/psyrad/kkad026.
[22]
ALI G, ANWAR M, NAUMAN M, et al. Lyme rashes disease classification using deep feature fusion technique[J/OL]. Skin Res Technol, 2023, 29(11): e13519 [2025-05-17]. https://pubmed.ncbi.nlm.nih.gov/38009027/. DOI: 10.1111/srt.13519.
[23]
CAO C, SONG J, SU R, et al. Structure-constrained deep feature fusion for chronic otitis media and cholesteatoma identification[J/OL]. Multimed Tools Appl, 2023: 1-21 [2025-05-17]. https://pubmed.ncbi.nlm.nih.gov/37362730/. DOI: 10.1007/s11042-023-15425-7.
[24]
GUPTA P, JAIN N. Segmentation-based fusion of CT and MR images[J]. J Imaging Inform Med, 2024, 37(5): 2635-2648. DOI: 10.1007/s10278-024-01078-x.
[25]
HU J P, ZHENG C Y, YU Q L, et al. DeepKOA: a deep-learning model for predicting progression in knee osteoarthritis using multimodal magnetic resonance images from the osteoarthritis initiative[J]. Quant Imaging Med Surg, 2023, 13(8): 4852-4866. DOI: 10.21037/qims-22-1251.
[26]
SONG L W, LI C P, TAN L L, et al. A deep learning model to enhance the classification of primary bone tumors based on incomplete multimodal images in X-ray, CT, and MRI[J/OL]. Cancer Imaging, 2024, 24(1): 135 [2025-05-05]. https://pubmed.ncbi.nlm.nih.gov/39390604/. DOI: 10.1186/s40644-024-00784-7.
[27]
ZHANG D, LI Y N, LI C L, et al. Multimodal radiomics and deep learning models for predicting early femoral head deformity in LCPD[J/OL]. Eur J Radiol, 2024, 181: 111793 [2020-05-05]. https://pubmed.ncbi.nlm.nih.gov/39454426/. DOI: 10.1016/j.ejrad.2024.111793.
[28]
IQBAL S, QURESHI A N, ALHUSSEIN M, et al. Hybrid deep spatial and statistical feature fusion for accurate MRI brain tumor classification[J/OL]. Front Comput Neurosci, 2024, 18: 1423051 [2025-05-17]. https://pubmed.ncbi.nlm.nih.gov/38978524/. DOI: 10.3389/fncom.2024.1423051.
[29]
YOU S H, CHO Y, KIM B, et al. Synthetic temporal bone CT generation from UTE-MRI using a cycleGAN-based deep learning model: advancing beyond CT-MR imaging fusion[J]. Eur Radiol, 2025, 35(1): 38-48. DOI: 10.1007/s00330-024-10967-2.
[30]
HUMBERT-VIDAN L, PATEL V, KING A P, et al. Comparison of deep-learning multimodality data fusion strategies in mandibular osteoradionecrosis NTCP modelling using clinical variables and radiation dose distribution volumes[J/OL]. Phys Med Biol, 2024, 69(20) [2025-05-10]. https://pubmed.ncbi.nlm.nih.gov/39357529/. DOI: 10.1088/1361-6560/ad8290.

上一篇 基于磁共振成像Delta影像组学术前评估宫颈癌患者新辅助化疗术后复发风险分层
下一篇 磁共振多b值扩散加权成像不同模型诊断代谢相关脂肪性肝炎的实验研究
  
诚聘英才 | 广告合作 | 免责声明 | 版权声明
联系电话:010-67113815
京ICP备19028836号-2