分享:
分享到微信朋友圈
X
基础研究
基于Logistic回归建立磁共振成像临床效果评价评分模型的方法研究
郑佳 李琦 孟燕 于夫尧 高月 李乐义 梁译丹 陈志安 富西湖 赵古月 潘诗农 郑黎强

郑佳,李琦,孟燕,等.基于Logistic回归建立磁共振成像临床效果评价评分模型的方法研究.磁共振成像, 2018, 9(2): 122-126. DOI:10.12015/issn.1674-8034.2018.02.009.


[摘要] 目的 磁共振成像(magnetic resonance imaging,MRI)临床应用广泛,但国内没有相应的临床效果评价标准,本研究通过Logistic回归模型建立一套标准化的临床效果评价标准,从而促进MR产业健康发展。材料与方法 临床收集165张MR图像,评价每张图像中影响腰椎患者T2抑脂序列MRI质量的10个指标及MRI质量,通过Logistic回归科学建模,并采用H-L卡方检验和受试者工作特征曲线下面积(the area under the receiver-operating characteristic curve,AUC)检验模型的标定能力和区分能力。结果 模型显示当总分低于3分时,MRI质量好的最高概率为0.02,认为MRI质量较差,不能应用于临床诊断,建议患者需重新拍摄MR图像;当总分在5~ 6分时,对应概率为0.22~ 0.52,认为MRI质量一般,勉强应用于临床诊断;当总分在8~ 9时,对应概率为0.94~ 0.98,认为MRI质量非常好,可很好地应用于临床诊断。H-L χ2值为1.457 (P=0.962),AUC为0.878 (95% CI:0.814~ 0.941)。结论 基于Logistic回归建立的MRI临床效果评价模型,具有很好的标定能力和区分能力,可很好地应用于临床。
[Abstract] Objective: MRI clinical application is extensive, but there is no corresponding clinical evaluation criteria. In this study, a set of standardized clinical efficacy evaluation criteria was established by Logistic regression model to promote the healthy development of MR industry.Materials and Methods: We collected 165 clinical MRI and ten factors influencing the T2 lipid suppression sequence in lumbar vertebrae were collected of each image. The 10 variables of MRI mass were analyzed and the MRI quality was evaluated as the dependent variable. Logistic regression was used to scientifically model and evaluate the clinical effect of MRI. We used the H-L χ2 test and the AUC (the area under the receiver-operating characteristic curve) value to test the calibration and discrimination of the model.Results: The model shows that when the total score was less than 3 points, the highest probability of good MRI was 0.02, that MRI quality was poor, didn't be used in clinical diagnosis, it was recommended that patients need to re-shoot MRI. When the total score of 5—6 points, the corresponding probability was 0.22—0.52, that the general quality of MRI, barely applied to clinical diagnosis. When the total score of 8—9, that the MRI quality was very good, can be very accurate for clinical diagnosis. The H-L value was 1.457 (P=0.962). The AUC value was 0.878 (95% CI: 0.814-0.941).Conclusions: Based on Logistic regression, the evaluation model has good calibration ability and distinguishing ability, which can be used in clinical practice to establish a standardized standard of clinical evaluation of MRI.
[关键词] Logistic回归;评价模型;磁共振成像;临床评价
[Keywords] Logistic regression;Evaluation model;Magnetic resonance imaging;Clinical evaluation

郑佳 中国医科大学附属盛京医院临床流行病学教研室,沈阳 110004

李琦 辽宁省电力医院放射科,沈阳 110000

孟燕 中国医科大学附属盛京医院放射科,沈阳 110004

于夫尧 中国医科大学附属盛京医院放射科,沈阳 110004

高月 中国医科大学附属盛京医院放射科,沈阳 110004

李乐义 辽宁省金秋医院放射科,沈阳 110004

梁译丹 辽宁省金秋医院放射科,沈阳 110004

陈志安 中国医科大学附属盛京医院放射科,沈阳 110004

富西湖 中国医科大学附属盛京医院放射科,沈阳 110004

赵古月 中国医科大学附属盛京医院放射科,沈阳 110004

潘诗农* 中国医科大学附属盛京医院放射科,沈阳 110004

郑黎强* 中国医科大学附属盛京医院图书馆,沈阳 110004

通讯作者:郑黎强,E-mail:zhenglq@sj-hospital.org; 潘诗农,E-mail:18940256901@vip.163.com


基金项目: 国家重点研发计划数字诊疗装备研发专项课题基金项目 编号:2016YFC0107102
收稿日期:2017-10-09
接受日期:2017-11-24
中图分类号:R445.2; R-331 
文献标识码:A
DOI: 10.12015/issn.1674-8034.2018.02.009
郑佳,李琦,孟燕,等.基于Logistic回归建立磁共振成像临床效果评价评分模型的方法研究.磁共振成像, 2018, 9(2): 122-126. DOI:10.12015/issn.1674-8034.2018.02.009.

       磁共振影像学检查在临床诊断中已经广泛应用,但目前国内磁共振成像(magnetic resonance imaging,MRI)扫描及评价标准仍为主观性评价,或基于美国放射学会(American College of Radiology,ACR)的评价标准进行评价,目前国内缺乏一个符合我国国情的标准化的评价体系。ACR评价MRI质量的主要指标有扫描范围、影像对比、扫描时间、解剖评价标准、信号均匀性、伪影、相位方向分辨率、频率方向分辨率、层厚、间距等[1],但上述10个指标对于MRI质量评价结构所占权重未知,为建立一个MRI质量标准化评价体系,笔者采用"预测模型"解决此问题。"预测模型"是用尽可能简单、抽象的方式来描述预测对象,它能说明预测对象与其相关因素的联系、依存、变化和运动的关系[2]。在医学研究中常用预测模型有Logistic回归、Cox回归和Weibull回归等。其中Logistic回归属于概率型非线性回归,是研究二分类或多分类观察结果与影响因素之间关系的一种多变量分析方法[3],根据本研究数据特点采用Logistic回归建立模型分析MRI质量与以上10个指标之间的关系并明确不同指标对研究结果影响程度大小,以此推动MRI扫描标准化及临床效果评价科学化,同时推动国产MR设备的健康发展。

1 材料与方法

1.1 研究对象

       本研究在中国医科大学附属盛京医院南湖院区、沈北院区2个院区及辽宁省金秋医院3个中心于2017年9月1日-9月11日连续性收集165例前来进行腰椎MRI检查患者的影像图像。收集其MRI中矢状位T2抑脂序列的10个特征(扫描范围、影像对比强度、采集时间、解剖评价标准、信号均匀性、伪影、相位方向分辨率、频率方向分辨率、层厚、间距)并评价MRI质量。

1.2 MRI检查注意事项

       参照美国ACR标准[1]及国内骨肌系统影像检查指南[4]对患者进行检查前准备、确定仪器线圈及固定患者扫描体位。

1.3 质量控制

       为排除其他混杂因素影响,本研究严格限制仪器设备,在不同医院采用相同型号MRI仪器。扫描部位均为腰椎。评价图像质量标准:选取3位经验丰富的临床影像专家在互不影响的情况下独立对165张MRI质量进行评价,评价指标为图像质量好坏即能否用于临床诊断;只有当3位影像学专家一致认为图像能够用于临床诊断时判定此图像质量好,此过程由统计专业人员合并完成。

1.4 统计方法

       由于评价指标中前3项(扫描范围、影像对比强度、采集时间)为MRI扫描必要条件,此3项不纳入Logistic回归分析模型中,故不进行初步赋分。其次进行变量赋值:解剖评价标准程度(非常清晰=4,清晰=3,尚可=2,欠清=1,不清=0);信号均匀性程度(非常好=4,良好=3,一般=2,略差=1,差=0);伪影程度(未见伪影=4,轻度伪影= 3,可见伪影=2,较多伪影=1,明显伪影=0);相位方向分辨率(mm)程度(≤1.0=2,1.0<分辨率≤ 1.2=1,>1.2=0);频率方向分辨率(mm)程度(≤1.0=2,1.0<分辨率≤1.2=1,>1.2=0);层厚(mm)(≤4.0=2,4.0<层厚≤5.0=1,>5.0=0);间距(mm)(≤0.8=2,0.8<间距≤1.0=1,>1.0=0)。以P<0.05为差异有统计学意义。利用统计软件SPSS 22.0完成如下操作。

1.4.1 因子分析

       由于本研究自变量间存在相关性,故在建模之前进行因子分析,提取主因子。

1.4.2 建立简易评分系统[2,5,6]

       根据Logistic回归模型得出每个危险因素的偏回归系数βi (i代表第i个变量)。根据自变量的偏回归系数βi计算出每组对应于参考值的系数Wij (ij代表变量i的第j组)。设置一个常量B。根据系数Wij和常数B为变量的各组进行赋值(评分),即Wij/B并四舍五入取整数,并将某一具体情况下的各个评分加和。根据Logistic预测模型计算每个评分对应的绝对发病概率。这一项与个体对应,故

       在此总分下对应概率预测值为:

1.4.3 模型的检验

       评价一个模型的优劣主要有两个方面:标定能力(calibration)和区分能力(discrimination)。标定能力是指人群的平均预测概率(predictive value)与实际观察到的概率(observed value)的一致程度,采用H-L卡方检验两者的符合程度,有统计学意义说明预测概率和实际发病率之间有显著性差异,标定能力较差[7,8]。区分能力是指正确地把患者和非患者区分开的能力,如果实际发生事件者的预测发病概率均高于未发生事件者,此时模型的区分能力为最佳,通常反映区分能力的方法是采用受试者工作特征曲线下面积(the area under the receiver-operating characteristic curve,AUC)进行计算和检验,AUC值越大说明模型的区分能力越强[8,9]

2 结果

2.1 简易评分系统结果

       首先将上述7个指标纳入Logistic回归中分析。结果显示只有解剖评价标准和信号均匀性纳入回归模型(解剖评价标准:β=2.128,P< 0.001,信号均匀性:β=1.838, P=0.001)。结合临床影像学知识,其他指标也应该为MRI质量评价指标,考虑7个指标间可能存在相关性,采用因子分析法分析数据间相关性[10],结果显示,将7个指标主要分为两个因子(因子1:解剖评价标准、信号均匀性、伪影;因子2:间距、层厚、频率分辨率、相位分辨率),其KMO值为0.673,巴特利特球型检验P值小于0.05,认为指标间存在相关性。故将两个因子重新赋分,赋分原则为:因子1=,因子2=,再次纳入Logistic回归分析,结果见表1

       建立精细模型(即预测方程)为:

       建立简易评分系统模型,见图1

图1  基于Logistic回归分析构建简易模型
Fig.1  Logistic regression analysis about the simple model.
表1  将两个因子纳入Logistic回归分析结果
Tab. 1  Two factors included Logistic regression analysis results

2.2 模型检验

       首先根据AUC值评价模型区分能力,模型区分能力检验结果见图2。由两模型检验结果可知,简易模型AUC值(95% CI)为0.878(0.814~ 0.941),精细模型AUC(95%CI)值为0.904(0.849~ 0.960),二者P值均小于0.001。采用组内相关系数(intro-class correlation coefficient,ICC)检验方法[11]进一步进行一致性检验,ICC=0.948(95% CI:0.930~ 0.962)>0.8,认为两模型区分能力一致性较高,简易模型与精细模型预测值相近,简易模型可以代替精细模型应用于临床实践。其次利用H-L χ2检验来评价预测模型的标定能力(χ2=1.457,P=0.962),精细模型标定能力见图3

图2  简易模型和精细模型区分度检验结果
Fig.2  Test results of discrimination.
图3  精细模型标定能力检验结果
Fig.3  Test results of fine model calibration capability.

3 讨论

       近些年来,我国MRI医疗设备发展迅速,为推进我国MR产业健康发展,促进我国医学磁共振应用水平的提高[12],急需建立一套科学严谨的MRI评价系统。美国ACR提出了一套针对MRI临床效果评价的指标,共10个指标,但并没有表明这10个指标中哪些指标对于图像质量评价更重要,即指标间权重未知。也即现有一套适用于临床MRI效果评价的指标,却没有一套科学的评价标准,那么在ACR真正应用于临床时由于主观因素等影响将不能达到预想的效果。

       因此,本研究在ACR标准之上,应用Logistic回归分析原理,建立科学的精细模型和适用于临床的简易模型。简易模型预测结果概率时使用的危险因素水平是基于分组计算得出,所以不及精细模型得出的准确,但简易模型最大的优点是简单易行,实施性及可操作性强,非常适合于临床应用。区分能力是在临床诊断中非常重要的应用指标,本研究经模型检验显示,简易模型和精细模型两模型区分能力均很强,差异性检验结果为二者具有一致性,这对于将简易模型应用于临床是非常有利的证据。对于本研究中因变量的评价是否需要结合临床病理检查,笔者认为,首先,病理检查结果很难收集,会加大本研究的难度;其次,并不是所有可用MRI诊断的疾病都有病理学金标准诊断;最后,如果结合病理学检查和影像学医生诊断结果会加入一个不可控因素即影像学医生的诊断能力,相当于又增加了一个混杂因素,而本研究的目的是通过直接评价MRI质量促进MRI诊断标准化进而推进我国MR产业健康发展,故采用影像学医生直接评价图像质量结果作为因变量是比较妥当的选择。

       本模型结果显示,当总分低于3分时,MRI质量好的最高概率为0.02,即一张MRI最高有0.02的概率为一张优秀合格的图像,这个概率过于低,笔者认为此MRI质量较差,不能应用于临床诊断,建议患者需重新拍摄MRI;当总分置于5~6分时,对应概率为0.22~ 0.52,认为MRI质量一般,勉强应用于临床诊断;当总分置于8~9分时,对应概率为0.94~ 0.98,认为MRI质量非常好,可很好地应用于临床诊断。

       模型检验结果,首先根据AUC值评价模型区分能力,AUC值范围在0.5~ 1.0,1.0表示可将MRI质量的好坏完全区分开,0.5表示将MRI质量的好坏区分只靠偶然概率(如同掷硬币)。通常0.7~ 0.8被认为模型可以接受,0.8~ 0.9被认为模型非常好。由结果可知两模型区分能力均大于0.8,区分能力强。其次,利用H-L χ2检验来评价预测模型的标定能力,P<0.05代表模型的标定能力较差。根据精细模型预测概率值将其用十分位数分成10组,然后比较每组的预测概率和实际观察概率,采用卡方检验检验两种预测概率的差异性。经统计,χ2值为1.457,P>0.05,认为此精细模型标定能力强,能够完美预测MRI质量的好坏。由此可知本模型非常适用于临床,对推动MRI临床应用效果评价发展起到重要作用。

       本研究的主要创新点有:(1)解决了临床影像学图像评价的过于主观化,采用科学建模的方式使MRI临床效果评价更加客观,推动MRI临床应用;(2)通过对MRI的评价反推MR仪器设备质量,提高国产仪器使用率;(3)本模型采用因子分析解决了仪器参数中的共线性问题,使评价结果更加真实可靠。

       本研究的不足之处有:(1)由于收集到质量不良的图像数据量较少,对于结果可能存在一定程度影响,应考虑扩大样本量。(2)除以上质控措施外应考虑增加以下两方面质控措施:根据专家共识统一对3位影像学专家进行培训,使临床评价结果具有可重复性;考虑给MR仪器增加智能扫描设备,以排除MR仪器操作者及其他混杂因素的影响。(3)MRI临床疾病的确诊需要多序列的结合应用,应考虑在其他序列建立模型,共同评价疾病,同时应该考虑在其他部位即推广到腰椎以外部位进行模型验证。

       综上所述,本研究应用Logistic回归建立评分模型,可科学评价MRI质量,使MRI临床应用标准化,弥补了国内无标准化的MRI临床效果评价指标的空缺;同时应用此标准可反推MR图像及设备质量,为指导磁共振医生及科研人员准确应用MRI起到促进作用;为评价我国MR仪器质量提供了证明手段,进而为促进我国MR产业健康发展起到重要作用。

[1]
Safety EPOM, Kanal E, Barkovich AJ, et al. ACR guidance document on MR safe practices: 2013. J Magn Reson Imaging, 2013, 37(3): 501-530.
[2]
Zheng LQ. Validation and construction a hypertension risk prediction model in rural areas of fuxin county with the high incidence of hypertension:results from Liaoning province. Shenyang: China Medical University, 2014.郑黎强.辽宁省阜新县农村社会环境高血压高发区高血压发病风险预测模型的验证与建立.沈阳:中国医科大学, 2014.
[3]
Fang JQ. Health statistics. Beijing: People's Health Publishing House, 2012: 390.方积乾.卫生统计学.北京:人民卫生出版社, 2012: 390.
[4]
Yuan HS, Xu WJ. Guidance on bone muscle system imaging. Beijing: Tsinghua University Press, 2016.袁慧书,徐文坚.骨肌系统影像检查指南.北京:清华大学出版社, 2016.
[5]
Sullivan LM, Massaro JM, Sr DR. Presentation of multivariate data for clinical use: The Framingham Study risk score functions. Statistics in Medicine, 2004, 23(10): 1631-1660.
[6]
Wu Y, Liu X, Li X, et al. Estimation of 10-year risk of fatal and nonfatal ischemic cardiovascular diseases in Chinese adults. Circulation, 2006, 114(21): 2217.
[7]
Cox MAA, Plackett RL. A note on a goodness of fit test for the logistic regression model. Biometrika, 1980, 67(1): 250-251.
[8]
Zheng LQ, Zhang R. Research progress on evaluation method of risk degree of disease risk prediction model. Chin J Health Statis, 2015, 32(3): 544-546.郑黎强,张蕊.疾病发病风险预测模型拟合度评价方法的研究进展.中国卫生统计, 2015, 32(3): 544-546.
[9]
Hanley JA, Mcneil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 1982, 143(1): 29.
[10]
Zhang WT, Dong W. SPSS statistical analysis advanced course. Beijing: Higher Education Press, 2013.张文彤,董伟. SPSS统计分析高级教程.北京:高等教育出版社, 2013.
[11]
Yu HM, Luo YH, Sa J, et al. Group correlation coefficient and software implementation. Chin J Health Statis, 2011, 28(5): 497-500.余红梅,罗艳虹,萨建,等.组内相关系数及其软件实现.中国卫生统计, 2011, 28(5): 497-500.
[12]
He GJ, Zhao DD, Wei Y. New journey of domestic medical magnetic resonance device: visit to the industry leaders of domestic magnetic resonance in RSNA 2014. Chin J Magn Reson Imag, 2015, 6(6): 405-410.贺光军,赵丹丹,魏燕.国产医用磁共振设备新征程——访参加RSNA 2014的国内磁共振产业领袖.磁共振成像, 2015, 6(6): 405-410.

上一篇 磁共振常规图像诊断腰椎间盘突出的不足:与手术结果对比研究
下一篇 磁共振扩散峰度成像预测急性脑梗死预后的初步研究
  
诚聘英才 | 广告合作 | 免责声明 | 版权声明
联系电话:010-67113815
京ICP备19028836号-2