分享:
分享到微信朋友圈
X
综述
深度学习在脑胶质母细胞瘤的研究进展
郑飞 陈绪珠

Cite this article as: Zheng F, Chen XZ. Research progress of deep learning in glioblastoma[J]. Chin J Magn Reson Imaging, 2022, 13(3): 115-117.本文引用格式:郑飞, 陈绪珠. 深度学习在脑胶质母细胞瘤的研究进展[J]. 磁共振成像, 2022, 13(3): 115-117. DOI:10.12015/issn.1674-8034.2022.03.028.


[摘要] 深度学习作为人工智能的一种方法,近几年才应用于胶质母细胞瘤(glioblastoma, GBM)的研究。大体上,该方法在GBM的应用主要分临床、病理及自身效果比较这三个方面。进一步细分,深度学习在GBM的临床应用又分为患者的预后判断、病变的诊断与鉴别诊断以及肿瘤的放疗三个方向;在GBM的病理应用分为分子及基因表达状态的判断、病理组织的识别。在深度学习方法上,用的最多的是卷积神经网络,其他的研究尚包括不同深度学习模型间的效果比较,源自不同MRI序列的深度模型建立等。本文就深度学习在GBM的应用展开综述。
[Abstract] Deep learning, a method of artificial intelligence, has been used for glioblastoma (GBM) in recent years. This method is mainly used in the clinical, pathological, and methodological aspects of GBM. The clinical usage includes the prediction of patient prognosis, differential diagnosis, and tumor radiotherapy. The pathological studies includes the prediction of tumor molecular and genetic expression status, and the identification of pathological tissue. As for the method itself, the most frequently used algorithm is convolutional neural network. Other studies included the comparison among different deep learning models and establishment of deep learning models based on different MRI sequences. This paper is to review the application of deep learning in GBM in detail.
[关键词] 胶质母细胞瘤;人工智能;深度学习;磁共振成像;影像组学
[Keywords] glioblastoma;artificial intelligence;deep learning;magnetic resonance imaging;machine learning

郑飞    陈绪珠 *  

首都医科大学附属北京天坛医院放射科,北京 100070

陈绪珠,E-mail:radiology888@aliyun.com

作者利益冲突声明:全体作者均声明无利益冲突。


基金项目: 国家自然科学基金面上项目 81772005 北京市科委协同创新重大专项子课题 Z191100006619088
收稿日期:2021-07-26
接受日期:2022-02-14
中图分类号:R445.2  R739.41 
文献标识码:A
DOI: 10.12015/issn.1674-8034.2022.03.028
本文引用格式:郑飞, 陈绪珠. 深度学习在脑胶质母细胞瘤的研究进展[J]. 磁共振成像, 2022, 13(3): 115-117. DOI:10.12015/issn.1674-8034.2022.03.028.

       深度学习(deep learning)是一种计算方法,无需指定明确的规则,通过从显示预期行为的大量范例进行学习来编写自己的程序,从而能够实现算法的自我编程[1]。它是人工智能的一个发展阶段,在医学影像中的应用晚于影像组学和机器学习。胶质母细胞瘤(glioblastoma,GBM)是最具侵袭性的脑内肿瘤之一,其病理机制是脑胶质瘤中最复杂的,治疗也极具挑战性,如何将先进的人工智能技术更好地应用于GBM是当前的挑战和热点之一。本文就深度学习在脑GBM的研究进行综述,所用资料为PubMed输入检索词“glioblastoma”和“deep learning”截至2021年6月的相关文献。

1 深度学习在GBM应用中的可行性研究

       相较于机器学习,深度学习起步较晚,在GBM的应用也处于起始阶段。因此,有必要对其可行性和可靠性进行验证。不同的研究团队分别在这方面开展了不同方向的研究。

       颅骨去除是人工智能分析脑部图像一个重要的预处理步骤,直接影响后续分析。因此,Thakur等[2]于2019年利用深度学习DeepMedic对GBM患者的MRI数据进行这方面的研究。该研究比较了语义分割最常见的三种深度学习架构在这方面的应用效果,结果表明DeepMedic方法好于3D U-Net和全卷积网络(fully convolutional neural network,FCN)。

       图像分割是影像组学分析的重要环节, 后续的特征提取与筛选都是以此为基础进行的,这个过程常由人工完成,耗时、烦琐。因此,用人工智能的方法自动分割具有强烈的现实需求。Lindner等[3]开发了以U-Net为基础的分割网络,对GBM图像进行肿瘤分割并对分割结果进行验证。结果表明,这种人工智能方法是可靠的,有望取代手工操作。

       对GBM的自动识别是人工智能的挑战之一。卷积神经网络Resnet50能完成此项任务,该模型能自动识别有无肿瘤,并在有肿瘤的情况下判断该肿瘤是否为GBM,这就给医生在临床工作中提供极大的便利[4]

       GBM体积的量化是肿瘤定性分析的一个重要指标,常见的测量方式是手工借助图像存储与传输系统(picture archiving and communication system,PACS)进行径线测量,再根据公式计算出肿瘤体积。这个过程烦琐且结果不够精确。有必要建立一套自动化测量系统,以实现快速、准确的肿瘤体积测量。因此,一种3D深度学习算法U-Net architecture应运而生[5]。该自动化测量结果与人工测量结果有很高的一致性,表明自动化算法在GBM评估中具有很好的应用价值。

       从更广的层面看,不同机构来源的数据对深度学习分析的效果是否有影响也是需要考虑的问题。这个问题在AlBadawy等[6]的研究中给出了答案。该研究对来自2个不同机构的GBM 影像学数据进行了可视化卷积神经网络比较,结果表明当数据来源于不同的机构时,对可视化卷积神经网络的性能有非常大的影响。这就强调了数据均一化的重要性,同时也表明这种算法的普适性有待提高。

2 深度学习在GBM的临床应用

2.1 深度学习对GBM患者的预后判断

       GBM患者的总生存期中位数为18个月左右,但个体间差异较大[7]。如何做出准确的前瞻性预测一直是GBM研究的方向之一。不同的深度学习方法都对这一问题进行了研究。

       基于迁移学习的方法提取影像组学特征后,再结合GBM患者的临床因素建立综合的深度学习模型能很好地预测患者总生存期,效果好于单纯根据患者临床因素做出的判断[8]。利用深度学习方法提取影像组学特征后,构建多层感知网络的深度学习模型,该模型对GBM患者的总生存期进行预测,预测结果好于惩罚回归模型—机器学习模型之一[9]。但本研究样本量较小(49例GBM患者),仍需在较大样本的数据中进一步验证。多任务卷积神经网络也能很好地实现GBM患者总生存期的预测,且其预测效果好于单任务卷积神经网络、随机森林算法的影像组学分析[10]。该网络也能通过预测GBM的基因状态从而判断患者的总生存期[11]。利用Cox-PASNet,一种稀疏深神经网络,能识别影响GBM患者预后的基因和临床因素[12]

       总体而言,目前的深度学习对GMB患者的预后判断,大部分是将深度学习模型与其他因素相结合,形成综合模型完成的。单独应用深度学习模型进行GBM患者预后判断的研究相对较少。估计与深度学习模型的自身局限性有关,未来尚需进一步优化以提高其自身的判断效能。

2.2 深度学习对GBM的鉴别诊断

       GBM 的鉴别诊断一直是影像学研究的热点之一。大部分的鉴别在GBM、单发脑转移瘤之间展开,也有文献将GBM与淋巴瘤和瘤样脱髓鞘相鉴别。在GBM与单发脑转移瘤的深度学习鉴别方面,采用的算法有Inception V3[13]、ResNet-50[14]及机器学习模型和深度学习模型的组合[15]。在GBM与原发性中枢神经系统淋巴瘤的深度学习鉴别上,采用的算法为多参数卷积神经网络[16]

       以上的鉴别都是针对单发病变的情况下。而实际上,GBM也可为多灶性,淋巴瘤及瘤样脱髓鞘也可多发,这种情况下的鉴别更加困难。这就需要开发更好的深度学习方法以实现对上述病变多发情况下的鉴别诊断。

2.3 深度学习在GBM放疗中的应用

       GBM的治疗是综合性的,多采用手术切除加术后放化疗的治疗方案。放疗的第一步是确定靶区。基于弥散张量成像图像(p和q映射)和常规MRI序列(T2-FLAIR和T1WI增强)图像的改良卷积神经网络能实现对放疗靶区的精准、自动化识别[17]。利用深度学习的人工神经网络(artificial neural network,ANN)可实现GBM放疗靶区的个体化定制[18]。GBM放疗靶区体积的准确测量也是深度学习的应用场景,深度学习的全卷积密集连接架构可实现这一任务,该方法也能自动分割手术残腔[19]

       在制定放疗计划时,需要考虑GBM 残腔周围的水肿区有无肿瘤复发,若有复发,需要适当增加放疗剂量和扩大靶区面积。为解决这一问题,基于自由水抑制的各向异性图(fractional-anisotropy maps with free-water suppression,FWC-FA)的深度学习神经网络得以建立,从而解决上述疑难问题[20]

       以上研究都是针对GBM的MRI数据进行的,基于CT数据的研究相对较少。2020年1月,Koike等[21]在15例GBM患者的数据中采用580对CT和MR图像,利用深度学习的对抗式网络(adversarial network )从多序列MRI (T1WI、T2WI及FLAIR)中生成合成CT (synthetic computed tomography,sCT),以评估sCT在脑放疗计划的可行性。结果表明,该方法所需的治疗剂量相比真实CT的治疗剂量仅有微小的、临床上可以忽略的差异,从而支持使用对抗网络自多序列MRI中生成sCT图像用于放疗的可行性。

3 深度学习在GBM病理的应用

3.1 深度学习对脑GBM分子、基因表达状态的判断

       胶质瘤表达的分子、基因种类繁多,功能各异。如何准确判断它们的表达状态具有重要的临床意义,也因此成为近几年神经外科的关注焦点之一。通常情况下,这些分子、基因表达状态的确定是先通过手术切除或活检得到肿瘤组织学标本,再进行标本的病理学检查完成的,因此具有创伤性和滞后性。而借助于术前影像学检查进行判断,为无创的和前瞻性的,成为近几年的影像学研究热点。

       目前利用深度学习方法术前预判GBM 分子和基因表达的研究并不多。具体来说,在GBM基因的深度学习预判方面,目前的文献仅有针对异柠檬酸脱氢酶同工酶(isocitric acid dehydrogenase isoenzymes, IDH)表达和O6-甲基鸟嘌呤-DNA甲基转移酶(O6-methylguanine DNA-methyltransferase,MGMT)启动子甲基化状态的研究。前者系Pasquini等[22]于2021年完成的。该研究利用深度学习的卷积神经网络,着重比较了MPRAGE、T1WI、T2WI、FLAIR、灌注成像(perfusion-weighted imaging,PWI)及表观扩散系数(apparent diffusion coefficient,ADC)这几种不同MRI序列的判断效果。结果表明,PWI的局部脑血容量(reginal cerebral blood volume,rCBV)判断准确率最高,这可能是由于IDH和新血管生成之间通过缺氧诱导因子相关联。这就提示我们,对于肿瘤的人工智能研究,数据的来源会影响算法的判断效果,选择恰当的图像作为数据来源,对后续的分析影响很大。这就更进一步提示医工交叉的重要性。基于深度学习对GBM的MGMT启动子甲基化状态的判断系Han等[23]利用深度学习的卷积递归神经网络(convolutional neural networks,CNNs)于2018年完成的。该研究的预测准确率在实验组和验证组分别为62%和67%,不是非常高,仍有很大的提升空间。难能可贵的是,该研究的深度学习模型能根据患者的临床特征自动判断肿瘤MGMT启动子甲基化状态的状态,而不需像其他的模型一样,需要手工操作或对影像组学特征进行预定义。

       在分子层面上,对GBM分子表达的深度学习研究,相关的文献也不多。截至2021年6月,在PubMed输入检索词“glioblastoma”和“deep learning”得到的文献仅有Hedyehzadeh等[24]于2020年发表的文章。该研究的重点是比较不同深度学习算法在GBM表皮生长因子受体(epithermal growth factor receptor,EGFR)表达状态判断的效果。该研究将深度卷积神经网络(deep convolutional neural network,DCNN)、深度神经网络(deep neural network)及其他三种常见的回归方法(LASSO回归、弹性网络回归和没有正则化的线性回归)进行比较,结果表明,DCNN的预测效果最好。该研究的最大缺点是数据的计算成本较高,优点是不需数据预处理,也不需手工操作及预定义肿瘤的形状和纹理等组学特征。但截至作者发稿,本研究系首次利用深度学习对GBM的EGFR表达状态进行判断,从这个意义上说,该研究也具有开创性。

3.2 深度学习在GBM组织病理的应用

       胶质瘤是异质性肿瘤,GBM尤其突出,同一个病变不同区域成分不一样,其病理意义和临床价值也有差别。具体来说,肿瘤实性部分瘤细胞活跃,是治疗和检测的重点区域;而坏死区存活的瘤细胞少;瘤周水肿区既有正常脑组织又有肿瘤细胞。因此,如何准确识别上述区域具有重要的现实意义。通常情况下,对于GBM上述病理组织不同区域的识别是由人在显微镜等设备下观察做出的主观判断,而由人工智能做出判断是未来的趋势。

       有鉴于此,Yonekura等[25]于2018年对这一问题进行了研究。该研究使用4种深度学习模型(DCNN、LeNet、ZFNet及VGGNet)同时提取特征并进行分类,得到了96.5%的平均准确率,交叉验证后准确率也达到了98.0%。该研究表明在组织病理学图像中应用DCNN对GBM组织标本的智能识别是可行的,而且非常有前途。DCNN也能用于GBM不同病理组织的识别,在GBM病理切片上,该方法能识别肿瘤坏死带、坏死外围的假栅栏等7个不同病理区域[26]

       除了对GBM病理组织的不同区域进行识别外,对GBM的细胞生物学行为进行判断也是深度学习在GBM病理的研究方向之一。应用卷积神经网络开发出从荧光图像中识别细胞培养参数的方法,并将这种方法应用于GBM的体外研究[27]。这项技术可实时预测每个特定患者的肿瘤进化情况。

       以上是基于GBM 的病理组织学图像进行的人工智能研究。而根据肿瘤的术前MRI影像,准确识别肿瘤组织的不同病理生理区域则是另外一个研究方向。2021年5月,Chiu等[28]对54例GBM的MRI数据进行机器学习和深度学习分析,基于多参数MRI (T1WI增强、T2WI、FLAIR及ADC)影像组学模型实现了对GBM肿瘤亚区的有效分类。结果显示,随机森林算法的识别结果最好(坏死区域、实体部分、瘤周组织及瘤周水肿的平均识别准确率分别为93.6%、90.4%、95.8%及90.4%)。该研究相较于前面的基于肿瘤组织学图像的研究更具前瞻性,因为不需获得实际的病理标本就可完成识别,而且无创。因此,这种研究前景更广阔。

4 小结

       目前深度学习在GBM的研究文献多为回顾性病例分析,且大部分无外部验证数据,而仅将一组数据分为实验组和内部验证组,这种深度学习模式是不完整的。未来尚需大样本、前瞻性研究以及带有外部验证数据的完整算法以进一步拓展该方法的应用效果。虽然深度学习技术本身有局限性,典型的是黑匣子问题,导致其重复性不佳,但在GBM的研究中已经取得了一定的成果,展现出良好的前景。另外,随着深度学习自身的不断发展,在GBM的应用会更加有深度和广度,效果也会更好。

[1]
Gulshan V, Peng L, Coram M, et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs[J]. JAMA, 2016, 316(22): 2402-2410. DOI: 10.1001/jama.2016.17216.
[2]
Thakur SP, Doshi J, Pati S, et al. Skull-stripping of glioblastoma MRI scans using 3D deep learning[J]. Brainlesion, 2019, 11992: 57-68. DOI: 10.1007/978-3-030-46640-4_6.
[3]
Lindner L, Narnhofer D, Weber M, et al. Using synthetic training data for deep learning-based GBM segmentation[J]. Annu Int Conf IEEE Eng Med Biol Soc, 2019, 2019: 6724-6729. DOI: 10.1109/EMBC.2019.8856297.
[4]
Windisch P, Weber P, Fürweger C, et al. Implementation of model explainability for a basic brain tumor detection using convolutional neural networks on MRI slices[J]. Neuroradiology, 2020, 62(11): 1515-1518. DOI: 10.1007/s00234-020-02465-1.
[5]
Chang K, Beers AL, Bai HX, et al. Automatic assessment of glioma burden: a deep learning algorithm for fully automated volumetric and bidimensional measurement[J]. Neuro Oncol, 2019, 21(11): 1412-1422. DOI: 10.1093/neuonc/noz106.
[6]
AlBadawy EA, Saha A, Mazurowski MA. Deep learning for segmentation of brain tumors: Impact of cross-institutional training and testing[J]. Med Phys, 2018, 45(3): 1150-1158. DOI: 10.1002/mp.12752.
[7]
Madhugiri VS, Moiyadi AV, Shetty P, et al. Analysis of factors associated with long-term survival in patients with glioblastoma[J]. World Neurosurg, 2021, 149: e758-e765. DOI: 10.1016/j.wneu.2021.01.103.
[8]
Lao J, Chen Y, Li ZC, et al. A Deep learning-based radiomics model for prediction of survival in glioblastoma multiforme[J]. Sci Rep, 2017, 7(1): 10353. DOI: 10.1038/s41598-017-10649-8.
[9]
Wong KK, Rostomily R, Wong STC. Prognostic gene discovery in glioblastoma patients using deep learning[J]. Cancers (Basel), 2019, 11(1): 53. DOI: 10.3390/cancers11010053.
[10]
Tang Z, Xu Y, Jiao Z, et al. Pre-operative overall survival time prediction for glioblastoma patients using deep learning on both imaging phenotype and genotype[J]. Med Image Comput Comput Assist Interv, 2019, 11764: 415-422. DOI: 10.1007/978-3-030-32239-7_46.
[11]
Tang Z, Xu Y, Jin L, et al. Deep learning of imaging phenotype and genotype for predicting overall survival time of glioblastoma patients[J]. IEEE Trans Med Imaging, 2020, 39(6): 2100-2109. DOI: 10.1109/TMI.2020.2964310.
[12]
Hao J, Kim Y, Mallavarapu T, et al. Interpretable deep neural network for cancer survival analysis by integrating genomic and clinical data[J]. BMC Med Genomics, 2019, 12(Suppl 10): 189. DOI: 10.1186/s12920-019-0624-2.
[13]
Cepeda S, García-García S, Arrese I, et al. Comparison of intraoperative ultrasound B-mode and strain elastography for the differentiation of glioblastomas from solitary brain metastases. An automated deep learning approach for image analysis[J]. Front Oncol, 2021, 10: 590756. DOI: 10.3389/fonc.2020.590756.
[14]
Shin I, Kim H, Ahn SS, et al. Development and validation of a deep learning-based model to distinguish glioblastoma from solitary brain metastasis using conventional MR images[J]. AJNR Am J Neuroradiol, 2021, 42(5): 838-844. DOI: 10.3174/ajnr.A7003.
[15]
Liu Z, Jiang Z, Meng L, et al. Handcrafted and deep learning-based radiomic models can distinguish GBM from brain metastasis[J]. J Oncol, 2021, 2021: 5518717. DOI: 10.1155/2021/5518717.
[16]
Xia W, Hu B, Li H, et al. Deep learning for automatic differential diagnosis of primary central nervous system lymphoma and glioblastoma: multi-parametric magnetic resonance imaging based convolutional neural network model[J]. J Magn Reson Imaging. 2021, 54(3): 880-887. DOI: 10.1002/jmri.27592.
[17]
Rahmat R, Saednia K, Haji Hosseini Khani MR, et al. Multi-scale segmentation in GBM treatment using diffusion tensor imaging[J]. Comput Biol Med, 2020, 123: 103815. DOI: 10.1016/j.compbiomed.2020.103815.
[18]
Peeken JC, Molina-Romero M, Diehl C, et al. Deep learning derived tumor infiltration maps for personalized target definition in glioblastoma radiotherapy[J]. Radiother Oncol, 2019, 138:166-172. DOI: 10.1016/j.radonc.2019.06.031.
[19]
Ermiş E, Jungo A, Poel R, et al. Fully automated brain resection cavity delineation for radiation target volume definition in glioblastoma patients using deep learning[J]. Radiat Oncol, 2020, 15(1): 100. DOI: 10.1186/s13014-020-01553-z.
[20]
Metz MC, Molina-Romero M, Lipkova J, et al. Predicting glioblastoma recurrence from preoperative MR scans using fractional-anisotropy maps with free-water suppression[J]. Cancers (Basel), 2020, 12(3): 728. DOI: 10.3390/cancers12030728.
[21]
Koike Y, Akino Y, Sumida I, et al. Feasibility of synthetic computed tomography generated with an adversarial network for multi-sequence magnetic resonance-based brain radiotherapy[J]. J Radiat Res, 2020, 61(1): 92-103. DOI: 10.1093/jrr/rrz063.
[22]
Pasquini L, Napolitano A, Tagliente E, et al. Deep learning can differentiate IDH-mutant from IDH-wild GBM[J]. J Pers Med, 2021, 11(4): 290. DOI: 10.3390/jpm11040290.
[23]
Han L, Kamdar MR. MRI to MGMT: predicting methylation status in glioblastoma patients using convolutional recurrent neural networks[J]. Pac Symp Biocomput, 2018, 23: 331-342.
[24]
Hedyehzadeh M, Maghooli K, MomenGharibvand M, et al. A comparison of the efficiency of using a deep CNN approach with other common regression methods for the prediction of EGFR expression in glioblastoma patients[J]. J Digit Imaging, 2020, 33(2): 391-398. DOI: 10.1007/s10278-019-00290-4.
[25]
Yonekura A, Kawanaka H, Prasath VBS, et al. Automatic disease stage classification of glioblastoma multiforme histopathological images using deep convolutional neural network[J]. Biomed Eng Lett, 2018, 8(3): 321-327. DOI: 10.1007/s13534-018-0077-0.
[26]
Zadeh Shirazi A, McDonnell MD, Fornaciari E, et al. A deep convolutional neural network for segmentation of whole-slide pathology images identifies novel tumour cell-perivascular niche interactions that are associated with poor survival in glioblastoma[J]. Br J Cancer, 2021, 125(3): 337-350. DOI: 10.1038/s41416-021-01394-x.
[27]
Pérez-Aliacar M, Doweidar MH, Doblaré M, et al. Predicting cell behaviour parameters from glioblastoma on a chip images. A deep learning approach[J]. Comput Biol Med, 2021, 135: 104547. DOI: 10.1016/j.compbiomed.2021.104547.
[28]
Chiu FY, Le NQK, Chen CY. A multiparametric MRI-based radiomics analysis to efficiently classify tumor subregions of glioblastoma: A pilot study in machine learning[J]. J Clin Med, 2021, 10(9): 2030. DOI: 10.3390/jcm10092030.

上一篇 第107届北美放射学会年会亮点:人工智能
下一篇 磁共振血管壁成像对颅内动脉粥样硬化斑块易损性及疗效评估的研究进展
  
诚聘英才 | 广告合作 | 免责声明 | 版权声明
联系电话:010-67113815
京ICP备19028836号-2