英语原文共 20 页，剩余内容已隐藏，支付完成后下载完整资料
多任务深度学习在乳腺癌组织病理图像细粒度分类和分级中的应用
摘要
乳腺癌组织病理图像的细粒度分类和分级具有重要的临床应用价值。然而，BC组织病理图像的自动分类和分级因为以下问题而复杂:(1)BC组织病理图像存在较小的类间差异和较大的类内差异，(2)从不同放大倍数的相似图像中提取的组织病理特征存在较大差异。针对这些问题，提出了一种改进的深度卷积神经网络模型，该模型可分为三个主要阶段。首先，在表示学习过程中，将多类识别任务与图像对的验证任务相结合。其次，在特征抽取过程中建立先验知识，即“不同子类之间的特征输出差异相对较大，而同一子类之间的差异相对较小”；此外，在特征提取过程中加入了不同放大倍数组织病理图像属于同一子类的先验信息，降低了图像放大倍数的敏感性。基于三组不同组织病理图像数据的实验结果表明，该方法性能优于现有方法，具有较好的稳定性和推广能力。
关键词：多任务深度学习、组织病理图像分类、细粒度、卷积神经网络、乳腺癌
1引言
癌症是现代社会最致命的疾病之一。乳腺癌(BC)具有不同的亚型和危险分层，是妇女最常见的癌症。根据国际癌症研究中心(IARC)2014年公布的数据，BC是第二大癌症死亡原因，其发病率在年轻人中逐年增加[35]。检测和诊断胆囊癌可以通过成像程序，如乳腺摄影，磁共振成像(MRI)和超声。然而，数字化病理图像的分析是 BC 最终诊断的重要标准，而病理图像的准确分类是医生制定治疗方案的重要依据。因此，对BC病理图像进行自动分类具有重要的临床意义。组织病理学影像学分析是一项费时费力的工作，诊断结果易受多种主观因素的影响。借助于CAD系统，病理图像的自动分类不仅可以提高诊断效率，而且可以为医生提供更准确、客观的诊断结果[44,46]。值得注意的是，病理图像的细粒度分类和分级[8,15,16]比二值图像[12,13,32-34]更为重要。它们将帮助患者获得准确的诊断，指导医生制定更科学合理的治疗方案，减少治疗不足或过度治疗。此外，早期发现和干预可改善预后效。
BC病理图像的自动分类是一项具有挑战性的任务。损伤原因主要包括三个方面：1）组织准备、固定等步骤由不同技术和熟练程度的人员进行，而不同的染色程序导致病理切片外观变化的多样性；2）乳腺病理图像拥有属性间变异小，类内变异大，给细粒度分类带来了特殊的困难；3）相似病理图像的特征提取方法差异较大，给分类器的设计带来困难。因此，分类器应该具有多尺度属性，并且与放大率无关。图1和图2显示了BC病理图像的一些细节。在图1中，样本(a)-(e)是导管癌。样本(f)为叶状肿瘤。虽然样品(a)-(e)都属于DC，但细胞的色调和形状有许多不同。同时，样品(e)和样品(f)在颜色和细胞形态上有很大的相似性，但属于不同的类别。
图 1乳腺癌组织病理学图像
，标本a-e为导管癌(DC)，f为叶状肿瘤。图片来自BreaKHis数据库，放大倍数为400倍。
具有不同放大因子的病理图像如图2所示。虽然它们都是DC，而且来自同一个病人，但我们可以看到不同放大图像之间的视觉特征差异是巨大的。
图 2乳腺导管癌不同放大倍数的切片:40x、b100x、c200x、d400x。图片来自BreaKHis数据库
Spanhol等人[33]介绍了一个叫BreaKHis 的BC病理图像数据集。基于数据集，采用6种特征描述符，包括局部二值模式、灰度共生矩阵和4种分类器，如支持向量机分类器和随机森林，对数据进行分类。二值分类的准确率约为80-85%，说明还有改进的余地。同时，对放大因子的完整性进行了有益的探索。Bayramoglu等人[2]提出了两种不同的结构(单任务CNN和多任务CNN)来同时检测图像放大水平和区分良恶性肿瘤。然而，细粒度的分类对于准确的诊断和个性化的治疗是非常重要的。Janowczyk等人[16]为数字病理图像分析提出了一个深度学习的框架。该框架在7个不同的任务上都取得了良好的性能，但是由于采用了基于补丁的方式和通过五步流水线获得的性能，计算代价较大。
上述方法的一个局限性是，它们只使用类标签来驱动图像的细粒度分类，而如果嵌入类相似性约束会更好。暹罗网络[6]定义了不同的和相似的图像对，并指定了不同图像对之间的距离应大于某一阈值，而相似图像对之间的距离较小。这种相似性约束可以有效地获得多种任务的特征表征学习过程中的特征。一个直观的改进是将分类和相似性约束结合起来，以获得更好的性能。因此，除了单独使用分类约束(如softmax)外，对比约束被嵌入到病理图像的特征表示学习过程中。由于对比约束增加了训练模型的先验知识，从而改进了传统的CNN模型。
在这项工作中，我们提出了一种新的细粒度分类和分级方法适用于大规模复杂病理图像。主要贡献有三个方面。首先，我们提出了一种改进的深层卷积神经网络模型， 以实现乳腺癌病理图像的精确分类或分级。同时，采用在线数据增强和迁移学习策略，有效地避免了模型过拟合。其次，在表征学习过程中将图像对的多类识别任务和验证任务相结合，建立先验知识，即“不同子类之间的特征输出差异相对较大， 而同一子类之间的差异相对较小”，有效地克服了难以解决的问题(类间方差小，类内方差大)。同时，验证任务只涉及病理图像的类别，与放大率无关，也就是说，在特征提取过程中嵌入了先验信息(不同放大率的病理图像属于同一子类)。它有助于降低图像放大的灵敏度。最后，基于三个病理图像数据集的实验结果表明，该方法的性能优于现有方法，具有较好的稳定性和泛化能力。
其余的内容如下：最近有关BC病理图像分类方法或算法将在第二节进行回顾，第三节详细阐述了我们的方法学贡献，而实验结果和与最近发表的方法的比较在第四节中描述，第五部分对本文进行了总结。
2相关方案
关于BC病理图像自动分类的研究已经取得了很大的进展。它主要包括两大类：1）基于人类特征工程和经典机器学习的分类算法[21,24,25,39]；2）最近兴起的基于深度学习的分类算法。
2.1经典分类算法
Gupta等人[11]提出了一个多倍放大的框架用于BC组织病理图像分类。作者利用颜色-纹理联合特征和分类器证明了其中一些特征和分类器的确是有效的。Kowal等人[17]提出了四种不同的细胞核分割方法，并将它们部署在一个医疗决策系统中用于BC诊断。50例患者的500张医学图像的分类准确率为96-100%。在文献[12,13]中，大量的实验表明，在给定有效特征和集成分类器的情况下，该分类器不需要进行染色标准化，并且具有放大不变性。Zhang等人[45]提出了用于医学图像分类的一类KPCA集成模型，对361例BC病理图像的回归分类准确率约为92%。Wang等人[40]提出了一个细胞核分割和BC病理图像分类的框架。在分类步骤中，提取了4个基于形状的特征和138个基于颜色空间的纹理特征。采用链式智能体遗传算法，利用支持向量机获得最优特征集，该方法在68例乳腺细胞组织病理学图像上取得了良好的效果。Dimitropoulos等人[8]发表了一个数据集，其中有300张带注释的1、2和3级乳腺癌图像，并提出了浸润性乳腺癌分级的多种学习模型。
值得注意的是，上述分类方法缺乏统一的比较标准，精度指标之间没有可比性。更重要的是，这些算法都是基于人工特征提取方法，不仅需要领域知识，而且需要大量的时间和精力来完成，另外，关键问题是高质量的鉴别特征的提取仍然是一个挑战[18-20]。
2.2深度学习方法
深度学习可以从数据中自动学习特征，避免了传统算法的复杂性和局限性。卷积神经网络是深度学习家族的一员，在机器翻译、目标检测、视觉跟踪和图像分类等领域有着广泛的应用[5,22,23,26,27]。这些成功的案例为CNN在乳腺病理图像分类方面提供了一些参考[4,41,47]。Spanhol等人[32,34]使用AlexNet 提取深层特征，并结合不同的特征融合策略进行BC识别。该模型的性能明显优于传统模型。魏等人[42]提出了一种基于深层细胞神经网络，BiCNN)的二类BC病理图像分类方法。该模型将BC的类标签和子类标签作为先验知识，可以抑制不同BC路径图像特征之间的距离。Garud等人[10]提出了一个基于GoogLeNet体系结构的分类模型，用于使用显微镜高倍多视图诊断细胞样本。韩等人[15]采用GoogLeNet作为基本网络，提出了BC多分类方法。结构化模型在大规模数据集上取得了显著的效果，为临床环境中的BC多分类提供了一个潜在的工具。在起始模块[37]的启发下，Akbar等人[1]提出了一种正则化技术——转换模块，它有利于模型的泛化能力和网络规模的逐渐减小。Zhi等人[48]研究使用卷积神经网络(VGGNet和自定义模型)的传递学习来从组织病理学图像中诊断BC。Song等人[30,31]将传统的病理学图像分类方法与费舍尔矢量图(FV)相结合，设计了一种新的适应层，以进一步提高组织病理学图像分类的判别力和分类精度，现有的乳腺病理图像分类方法大多基于二值分类。所以，病理图像的细粒度分类具有更重要的意义。
3建议方法
本文提出了一种改进的基于Xception网络的细粒度病理图像分类模型。Xception是Google提出的一种改进的深度学习模型，在大规模图像数据集(imageet，JFT)中表现出了良好的分类性能，深度可分离卷积用于替换Inception V3的原始卷积操作。然而，医学图像(病理图像)的数量往往远远小于自然图像。小数据量不能支持大容量模型，而大容量模型容易过拟合，不能获得良好的分类性能。为了解决这个问题，我们采取了两个方案来提高了病理图像的分类性能。首先，将网络节点的部分信息从Xception 网络中提取出来，形成一个新的模型，用于病理图像特征的提取。在特征提取过程中嵌入了两个先验知识，即从不同子类中提取的特征相对距离较大，而同一子类中的特征相对距离较小，且不同放大倍数的病理图像属于同一子类，这有利于获得病理图像细粒度分类的判别模型。其次，采用迁移学习方法对ImageNet 数据集上的训练模型进行优化。详情请参阅3.2部分。
3.1深度卷积神经网络
（a）模型设计
为了防止过拟合，提高训练速度，我们在Xception 网络中选择网络层的部分来提取病理图像的特征。新模型结构主要由输入层、卷积层、深度可分离卷积层、批量归一化层、最大池层和激活函数层组成，如图3所示。
图 3基于Xception的网络体系结构
在特征提取过程中嵌入先验信息，有利于对具有较强鉴别能力的病理图像进行细粒度分类模型的训练。设计了多任务网络模型，如图4所示。
图 4病理图像多任务细粒度分类的网络模型
具体地说，就是病理图像配对的输入条件、对应的标签以及图像是否属于同一类的属性值。基于Xception的网络结构去掉了网络的顶层，并与模型的输出相连接，从而构建了该训练模型。该模型的输出由图像对的softmax概率分布和通过网络结构提取的图像对特征之间的距离组成。交叉熵损失是通过使用softmax概率分布和one hot形式标签作为输入的交叉熵函数获得的，对比以图像对的距离作为输入，通过对比度损失函数得到损失。这两种损失通过加权合并为最终损失，用于训练拟议的模型，如第3.3节所示。
（b）执行细节
实现基于keras，后端是tensorflow。数据集随机分为三部分:20%的验证集、20%的测试集和训练集，它们之间没有重叠。利用训练集进行模型训练和参数学习， 在训练运行过程中利用验证集对模型进行优化和测试，根据给定训练步骤的测试性能自动调整学习率和决定是否提前停止，并利用测试集验证模型的识别和泛化能力。实验结果是5个随机数据集实验的均值和方差。为了验证转移学习的有效性，采用了两种训练策略:随机初始化训练和迁移学习。此外，仅有损失的softmax的结果是与有损失和对比性损失的的softmax组合进行比较，以验证多任务学习的有效性。
3.2数据增强和迁移学习
缺乏大规模的训练数据是将深度卷积神经网络神经网络应用于医学图像分类的主要挑战之一。然而，获得大规模的医学图像是困难的，昂贵的，特别是由专业病理学家标签的。为了克服上述困难，本文采用以下两种方法对三个病理图像数据集进行分类和分级。
数据增强：训练数据集通过仿射变换增强，还应用了一些数据增强技术(如小旋转、缩放、镜像操作、水平翻转和垂直翻转)。在训练过程中，结合上述策略对每一批图像进行在线转换，以达到数据增强的目的。与传统的离线数据增强模式相比，节省了物理存储空间，提高了训练速度。
迁移学习：迁移学习可以利用源数据集的一些基本特征(如颜色和边缘特征)，有利于目标数据集的分类性能。本文将ImageNet中的预训练模型(包括120多万张自然图像和1000多种不同类别的图像)数据集转换为病理图像分类任务，具体操作是冻结浅层参数，对高层参数进行训练。
3.3多任务损失
细胞神经网络建立了一个高度非线性映射之间的输入和输出通过级联的控制层。这种分层表示可以提取网络的简单特征和复杂特征，不同的任务可以共享相同的特征。因此，CNN适合于多任务学习。考虑到这一点，我们设计了一个多任务学习体系结构[49,50]，步骤如下。
首先，从训练数据集生成输入图像对，基本单元包括(xi，xj，yi，yj，yij)。其中，xi和xj表示输入
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[239605]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
