垂体腺瘤已经成为颅内第二常见的肿瘤，流行学发病率高达1/[2]。根据其是否分泌垂体激素分为，功能型和非功能型垂体腺瘤。功能性垂体瘤常分泌相应的激素，诱发相应的症状，易于早期诊断和治疗。如泌乳素腺瘤引起的高泌乳素血症诱发月经不调和不孕不育、生长激素（GH）腺瘤分泌过量的GH引起肢端肥大面容、促肾上腺皮质激素（ACTH）腺瘤相关的皮质醇增高诱发库欣综合征等。而非功能型垂体腺瘤，不分泌垂体激素，缺乏可靠的肿瘤标记物；发病非常隐匿，约三分之二的患者在诊断时已发展为大腺瘤或侵袭性垂体瘤。患者主要表现为视力下降、头痛以及垂体功能低下等压迫。
目前，垂体腺瘤的临床诊断主要依据临床表现、影像学、生化指标和病理学结果。其中，颅脑核磁共振成像（MagneticResonanceImaging,MRI）是垂体腺瘤主要的影像学诊断方式。但由于垂体腺瘤的高发病率以及繁多的分类，一方面，影像学检查的诊断结果易受到影像科医生业务能力、读片工作量等主客观因素的干扰，出现一定程度的漏诊和误诊；另一方面，垂体腺瘤的准确诊断必须基于检验结果。医院目前仍然缺乏完善的垂体激素检测能力，从而影响患者的及时治疗。近年来，基于深度学习的计算机辅助诊断逐渐被应用到肺癌、甲状腺癌、乳腺癌等诊断中。研究表明计算机辅助诊断能够有效地提升医生对疾病的诊治效率和质量。为了实现垂体腺瘤的自动分割任务，作者收集了来自于中山大学肿医院的例垂体瘤病人多模态的核磁共振影像数据，构建了如图1（A）所示Unet网络结构的自动分割模型。在进行预测时，作者采用了如图2所示的多视角融合的方式将基于轴位、冠状位和矢状位核磁影像训练得到的三个不同视角的模型的预测结果进行整合。这种多视角融合的方式充分利用了核磁影像数据的三维特性，使得自动分割模型得到的最终分割结果更为精准。在内部验证数据集上，作者提出的分割模型取得了优越的性能(0.的DICE系数和6.mm的豪斯多夫距离)。在来自重庆第三军医大学的17例垂体腺瘤病人构成的外部独立测试集上，自动分割模型依旧取得了良好的性能（0.的DICE系数和9.mm的豪斯多夫距离）。考虑到垂体腺瘤功能型与非功能型的分类模型也需要从核磁影像数据中学习到类似于分割任务一样能用于分类任务的影像学特征。作者认为基于垂体腺瘤核磁影像的分割和分类模型能够共享一部分模型的参数。因此作者采用了如图1（B）所示的基于参数的迁移学习方法。通过将已经训练完成的分割模型的一部分参数（图1A中的Encoder部分）作为分类模型的初始化参数。为了能进一步地提升分类模型的性能，作者在迁移的分割模型的结构上融入了注意力机制（如图1（C）所示）。类似于分割模型的预测流程，在进行分类预测时作者也采用了多视角融合的方式将基于轴位、冠状位和矢状位影像训练得到的三个不同视角的分类模型的预测结果进行了整合。在4折和10折交叉验证下，基于注意力机制的多视角融合的分类模型都取得了稳定且良好的性能（4fold-AUC=0.;10fold-AUC=0.）。基于注意力机制的分类模型不论是在内部验证数据集还是在外院独立测试集上都取得了优良的性能（图3Validation_AUC=0.,Validation_Acc=0.；Testing_AUC=0.,Testing_Acc=0.，图4）。这项研究的评估结果表明基于深度学习的垂体腺瘤分析模型不仅可以通过自动分割肿瘤区域完成辅助手术方案制定的目标，还可以在术前以无创的方式预测得到患者的垂体瘤类型从而达到辅助医生进行更精准的垂体腺瘤诊断的目的。这些对完善垂体腺瘤的规范化诊疗具有重要的的临床价值和社会意义。图1基于迁移学习的垂体腺瘤自动分割与分类模型。(A)分割模型网络结构；(B)基于迁移学习的分类模型网络结构；(C)注意力模块。
图2基于多视角融合的方式得到最终分割结果
图3分类模型在内部验证数据集和外部独立测试集上的性能评估。
图4.分类模型注意力掩码（AttentionMask）的可视化结果。(A-B)无功能型垂体腺瘤病人的T1增强影像以及对应的注意力掩码；（C-D）功能型垂体腺瘤病人的T1增强影像以及对应的注意力掩码；
参考文献
1. Li,H.,etal.,Image-drivenclassificationoffunctioningandnonfunctioningpituitaryadenomabydeepconvolutionalneuralnetworks.ComputationalandStructuralBiotechnologyJournal,.19:p.-.
2.Ostrom,Q.T.,etal.,CBTRUSStatisticalReport:PrimaryBrainandOtherCentralNervousSystemTumorsDiagnosedintheUnitedStatesin-.NeuroOncol,.20(suppl_4):p.iv1-iv86.
作者/红鱼审核/编辑/Zinky