Semi-Automatic Brain Tumor Segmentation Using Support Vector Machines and Interactive Seed Selection
Mustafa Arikan1, Bernhard Frouml;hler1, Torsten Mouml;ller1
1 University of Vienna, Visualization and Data Analysis Research Group
Abstract. Brain tumor segmentation using multi-modal MRI data sets is important for the evaluation of the progression of the disease and the effects of a chosen treatment strategy. In this article we present a semi-automatic segmentation approach using support vector machines trained on a set of interactively selected seeds. Preliminary results on the training data show the importance of senseful selection of seeds for high segmentation accuracy.
Introduction
Gliomas are brain tumors in adults, presumably originating from glial cells and infiltrating the surrounding tissues. Gliomas are divided into Low Grade Gliomas (LGG) and High Grade Gliomas (HGG), which are the more aggressive form of the disease. For both variants the evaluation of the progression of the disease and the effects of a chosen treatment strategy are done using imaging modalities from MRI[1]. The goal of our approach is the segmentation of brain tumor regions in multi- modal MRI data sets. The tumor regions are defined through intensity changes relative to the surrounding normal tissue [1]. Intensities in the MRI modalities do not have a tissue specific value, meaning that the same tissue has a wide range of intensities [2]. The MRI data sets come from different scanners with different configurations, which make the segmentation more challenging.
Method
In a first step, we use an anisotropic diffusion filter for noise reduction. In the next step a bounding box containing the tumor regions is extracted in all modality data sets. In the third step we randomly select a certain number of seeds in the data set. The class labels of these seeds are interactively determined within the user interface. For the purpose of segmentation using support vector machines [3] we use Flair, T1, T1c and T2 modalities and the spatial position of the seeds. The intensity values are scaled between -1 and 1. To find good parameters for the SVM we apply a Latin hypercube sampling strategy [4].
Experiments and Results
Our method is validated on four selected examples from the BRATS 2015 training data sets [5].
Table 1. Dice values for selected examples
|
Training data set |
Dice |
|
|
brats_tcia_pat222_0122 |
0.813332 |
|
|
brats_tcia_pat226_0090 |
0.775794 |
|
|
brats_tcia_pat260_0001 |
0.753066 |
|
|
brats_2013_pat0015_1 |
0.893903 |
|
Fig.1: The four images show the MRI modalities used as input data sets to the SVM model and the selected seeds: green for label 0, yellow for label 1, violet for label 2, red for label 3 and blue for label 4.
Fig.2: The two images show the segmented result (left) and the ground truth (right) for the example brats_2013_pat0015_1.
Conclusion
In this paper, we proposed a brain tumor segmentation method based on support vector machines and interactive seed selection. Our method shows the importance of well selected seed points to achieve high segmentation accuracy. In the future, we intend to extend the method to guide the expert to select the important seed points with constant feedback.
References
- B. H. Menze et al., 'The Multimodal Brain Tumor Image Segmentation Benchmark (BRATS),' in IEEE Transactions on Medical Imaging, vol. 34, no. 10, pp. 1993-2024, Oct. 2015.
- Jansen, M. J. A., Evaluation of intensity normalization methods for MR images, MSc report, University of Twente, 2015
- C.-C. Chang and C.-J. Lin. LIBSVM : a library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2:27:1--27:27, 2011.
- B. Frouml;hler, T. Mouml;ller, C. Heinzl: GEMSe: Visualization-Guided Exploration of Multi- channel Segmentation Algorithms. Computer Graphics Forum, Vol. 35, No. 3, June 2016, 191-200.
- B. Menze, M. Reyes, and K. Van Leemput. The multimodal brain tumor image segmentation benchmark (brats). IEEE Transactions on Medical Imaging, (99), 2014.
Fully Convolutional Neural Networks with Hyperlocal Features for Brain Tumor Segmentation
Peter D. Chang, MD1
1Columbia University Medical Center, Department of Radiology, New York City, New York, USA
Abstract. In this paper, a novel yet simple convolutional neural network archi- tecture is introduced uniquely adapted to the challenges of medical image seg- mentation, employed here in the setting of brain tumors. The network is imple- mented with a fully convolutional architecture, with a dense output classifica- tion matrix equal in size to the input image (240 x 240 voxel predictions for each forward pass). Importantly the network combines activations from the deepest convolutional output layer with hyperlocal features from the original input image just prior to final segmentation. The network is composed of only 130,400 parameters, and given its fully convolutional architecture can complete segmentation for an entire brain volume in less than one second. Despite this simple network design, the model exceeds state-of-the art with complete tumor, core tumor and enhancing tumor validation Dice scores of 0.87, 0.81 and 0.72 respectively.
adfa, p. 1, 2011.
copy; Springer-Verlag Berlin Heidelberg 2011
Introduction
In recent years, convolutional neural networks (CNN) have become the technique of choice for state-of-the-art implementations in various image classif
三维全卷积U-Net方法对脑肿瘤图像的处理分割
卡梅隆·巴克和乔纳森·迪顿斯坦福大学
fcbackes, jdeaton} @stanford.edu
2018年7月2日
摘 要
本项目探讨三维全卷积深度网络在磁共振图像(MRIs)中对脑肿瘤分割任务的应用。我们使用dice系数作为主要性能指标，创建、培训和测试了U-net体系结构的三个变体模型，以评估预测之间的重叠。真实和分割。我们使用2018年脑肿瘤分割(BraTS) 18的数据集来训练和测试我们的模型。挑战，并能够实现个肿瘤的分割性能，如索引的骰子得分，这是与近年来最先进的水平。
1介绍
无创的脑成像方法，最常见的磁共振成像(MRI)，是常规用于识别和定位肿瘤的大脑。目前，脑肿瘤图像分割是一项费时的工作，必须由医学专业人员手工完成。因此，随着最近出现的有效的计算机视觉方法，尤其是卷积神经网络(convolutional neural networks, CNNs)，使用这些工具来自动化和提高对各种医疗应用的分割精度具有重要的社会价值，特别是在医疗人员稀少的地区进行部署。作为2018年脑肿瘤分割(BraTS)挑战的一部分，我们使用3D全卷积U-net架构创建、训练和测试了三个模型，该架构将包含肿瘤的大脑的3D MR图像作为输入，并输出预测的肿瘤分割[3]。我们最好的模型在我们的测试集中平均骰子系数达到0.87，使我们的模型的性能与最近vears的BraTS挑战中最先进的性能相当。
2相关工作
直到最近，区分模型如随机森林和支持向量机(SVMs)，以及图形模型如隐马尔可夫模型(HMMs)是最常用和最有效的语义图像分割方法。然而，在过去的几年里，卷积神经网络已经成为脑肿瘤图像分割的最新技术[5,7,9]，作为dice系数的指标，dice系数是评估预测分割与地面真实分割重叠程度最常用的度量标准。此外，由于全卷积神经网络缺乏密集的、完全连接的输出层，因此使用全卷积神经网络与使用密集的lavers模型相比，计算成本显著降低[7]。在新兴的CNN语义图像分割体系结构中，U-Net体系结构包含同步下采样层来捕获图像上下文，上采样层来捕获精确的特征定位，即使给定少量的图像输入，也能获得优异的分割性能[101]。因此，这种技术特别适合于生物医学图像分割，在生物医学图像分割中，即使是最大的可用数据集通常也有数百到数千个图像，这对于大多数CNNs来说太小了。此外，U-Net体系结构是完全卷积的，因此能够比使用密集层的替代体系结构更有效地执行分割[10]。现有的三维生物医学图像分割方法大多采用CNNs，特别是u - net，采用二维图像切片，而不是将整个三维图像输入合并;然而，当三维模型应用beer时，尽管计算量增加了，但仍获得了较好的[6]结果。
3数据集及特点
2018年的脑肿瘤分割(BraTS)数据集由来自众多机构的医学专业人员收集，其中最著名的是UPenn的生物医学图像计算和分析中心(CBICA)。它包括来自285名脑瘤患者的3D MRI脑部扫描，以及每位患者的年龄和生存信息，以及由专家委员会认证的神经放射学家手工修改的肿瘤体素的基本真实肿瘤分割标签。每个MRI扫描对应一个个体，由4种不同的图像模式组成1. T1-enhanced。T2, T2-FLAIR。对于每种扫描类型，都有一个(240 x 240 x 155)体素三维灰度图像输入，其中每个体素表示我们模型中的一个特征。伴随日渐细分为每一个MRI扫描一个(240 x 240 x 155)图像体素在肿瘤体素标记0和肿瘤体素亚伯1、2和4根据肿瘤的严重程度在这一地区我们随机将数据分为训练集,205张图片,验证集40图片一样,和一个测试集 40图像,把图像转化为有效的加载到TensorFlow TFRecord格式。然后，我们执行了几个数据预处理步骤，以便输入适合于模型。因为我们在做全肿瘤的分割，第一个预处理步骤是将所有的分割标签分别转换为0或1来表示非肿瘤和肿瘤。预处理的其他步骤包括将四种图像模式组合成一个单一的四通道三维体，裁剪每个MRI和分割掩模。此外，我们通过沿所有3个轴对每个图像进行fipping来增加训练数据集，从而将有效数据集的大小扩大了4倍。我们还尝试在图像中添加高斯噪声和高斯模糊以进行额外的增强，但难以应用这些具有适当振幅的变换，最终没有使用它们来训练任何模型。因为我们使用了TensorFlow的Dataset API预处理和增强是与训练并行进行的，因此在训练时更有效地利用了nachine的资源。这也带来了不必将重复的数据存储在磁盘上，而只需存储一次MRIs的优点。压缩TFRecords。
图1 2018年BraTS数据集中MRI公平模式的横截面示例
4方法
我们使用3D U-net架构创建、培训和评估了三个深卷积网络的性能。该模型使用四种图像模式中的每一种的三维卷积作为输入图像通道，类似于Cicek等人的工作[41]。在较高的层次上，每个网络都有三个“下”(卷积)块，它们通过最大池在空间上减少图像，然后是三个“上”(转置卷积)块，它们结合早期“下”块的信息，增加图像的维数，以匹配地面真实分割体积。每个卷积块中的过滤器数量在每个连续的“向下”块中增加。uutil模型在具有64个过滤器的最低层次上达到了最紧凑的表示。然后，过滤器的数量随着每一个连续的“向上”块减少，直到fnal输出只有一个包含分割预测的单一通道。我们使用跳过连接将相关的空间信息从早期的lavers传播到稍后的层。为了检验模型精度和效率之间的权衡，我们训练了三个模型，每个模型都具有“下”和“上”块之间不同的跳过连接。我们的第一个模型使用“down”和“up”块连接作为跳过连接，并且在最终输出之前没有dropout laver。我们的第二个模型使用“down”和“up”块的元素智能求和，而不是用于跳过连接的连接，并包含一个dropout。层，而最终模型既不使用连接也不使用求和。
图2:用于肿瘤分割的深卷积网络U-net架构
在三个“向下”块上的每一层包括两个具有“相同”填充的3D卷积层，以及一个最大池化层，该层将空间维度降低了两倍。每个卷积块使用的内核大小为(3times;3times;3)，并包含一个批处理规范化laver和一个relu激活函数(最后一个卷积块除外)。它使用乙状结肠激活)。“上”块的每个级别都包含一个连接/求和层，该层组合了来自各自的“下”块和前一个“上”块的输出。每个“上”块还包括两个卷积层和一个转置卷积层，卷积层的核为(3times;3times;3)，步长为(2times;2times;2)，它将图像的空间维数扩大了两倍。在最终输出之前，通过在最终卷积层上的dropout对求和模型和非跳跃模型进行正则化，每个节点的drop rate为0.2。卷积层中的过滤器数量分别是8、16、32和64。并在“up”块中镜像。
每个模型的参数都使用Xavier-He初始化进行初始化。使用Adam优化，并使用损失函数，这是一个骰子系数的推导。骰子系数是评估像素组之间重叠程度的常用指标。对于给定的预测/ground-truth分割X和Y，其中每个肿瘤体素标记为1，非肿瘤体素标记为0。骰子系数：
注意，由于骰子系数使用阈值输出分割，它是不可微的，因此不能用于训练模型。为了解决这个问题，我们修改了我们的损失函数，创建了一个可微分的混合从标准骰子系数，这是计算为我们的预测分割输出之间的元素明智的乘法的总和阈值之前，z，和地面真相分割Y:
每个模型在TensorFlow[]中实现，并在p2上训练40个epoch。xlarge EC2实例在Amazon Web Services上使用一个NVIDIA K80 GPU。
5实验结果
讨论为了对这三种模型进行有效的比较，我们使用相同的超参数和优化来运行每一个模型，这些超参数和优化是基于这三种模型的训练和验证集性能来选择的。我们选择Adam优化是因为这三个模型在训练过程中比基本梯度下降更快地收敛到高骰子分数。我们使用的批处理大小为1，因为我们的GPU在连接模型的正向和反向传播期间没有存储多个示例的中间值的内存容量。
由于必须存储大量中间值(例如跳过连接输出)，U-net模型需要大量内存用于培训。特别是，我们在模型1中使用的原始U-net体系结构，它使用连接作为跳过连接，需要的内存比其他方法多得多。因此，在模型2中，我们探索了使用元素智能求和作为跳过连接的方法。可以保存相关的空间信息，同时需要显著降低内存负载，在模型3中，我们放弃了完全跳过连接作为比较的基础。
表1:三种模型的训练、测试和验证集图像的平均骰子系数
表2:最小值和最大值。骰子系数的图像，从训练，测试和验证集为三个模型
模型1和2实现的分割性能测试集,骰子分数.87点和.85(表1、2)。表现最佳模型近年来的小鬼们挑战取得整个肿瘤骰子分数。9到85年间,从而使我们的模型的性能与最先进的持平。我们认为模型1的略微优越的性能是由于连接增强了对重要空间信息的访问。然而，模型2的训练速度比模型1快得多，如果存储和处理能力有限，考虑到其几乎相等的骰子得分，模型2可能是首选的实现。模型3完全不包含跳过连接，其性能明显低于模型1和模型2，这表明跳过连接大大提高了性能，而且求和是传播跳过连接信息的有效方法，显著降低了计算需求。我们相信，我们使用混合风险投资系数作为损失函数，也对模型性能做出了实质性的贡献。这使我们的模型能够优化非常接近骰子得分的度量，这最终是我们感兴趣的性能度量。我们用交叉熵损失函数进行了实验，发现它在训练集和测试集上的骰子得分都要低得多，这主要是因为它对假阳性不敏感。令人惊讶的是，对于我们的任何一个模型来说，对训练数据的过度拟合都不是一个实质性的问题，因为测试和验证集上的骰子平均得分仅略低于训练集。考虑到训练和测试误差之间的相对较小的差异，以及我们的模型当前的骰子得分与相对于地面真值分段的完美骰子得分之间的较大差异，将产生更大的模型改进。由于模型的方差较低，我们选择不实现正则化技术。
6结论
未来的工作我们已经证明，全卷积U-net模型能够在MR图像的全肿瘤分割任务中获得高性能。我们发现具有级联跳过连接的U-net模型具有最高的性能，但是具有求和的跳过连接也可以在减少内存占用的情况下实现高性能。我们还观察到skip-connections U-net模型的关键部件,因为他们的空间信息添加到后层建立在这项工作,我们打算先提高该模型的性能通过更广泛的hyper-parameter搜索,包括增加批量大小,和调整学习速率,回旋的街区,max-pooling内核大小。我们还希望将过去几年的BraTS挑战数据合并到训练集中，并应用更广泛的数据增强，如随机旋转、噪声和模糊。此外，我们想要合并一个后处理步骤，在这个步骤中，我们的模型的输出参数被传递到一个条件随机字段(CRF)中并通过它进行调优。最后，我们有兴趣将这里使用的技术应用于BraTS挑战中的其他任务，如肿瘤核心分割或预期生存期预测任务。
图3:验证集示例的轴向切片，显示专家标记(左)和预测(右)。用蓝色分割。预测节段由级联跳跃连接模型产生。1)预测节段边缘较专家标记的肿瘤边缘光滑，但即使在累及较多的肿瘤中也保持相同的形状和大小。模型表现不佳的例子，如(d)肿瘤通常没有明确的边缘。
7贡献
Jon实现了BraTS数据集加载器，并使用它执行数据预处理，包括将数据集转换为TFRecord。Jon还创建了输入数据管道，该管道使用TensorFlow的Dataset API在训练时并行地进行进一步的预处理、增强、关闭和批处理图像。Jon在TensorFlow中实现了基线UNet模型，并将实时日志配置为TensorBoard，并在每个epoch结束时定期保存模型。Jon实现了评估脚本，该脚本在测试和验证集上恢复和评估保存的模型，生成ground-truth和模型输出分段的并排图像，以及平均骰子得分计算。Cam从美国宾夕法尼亚大学生物医学成像与分析中心获得BraTS数据集，实现了U-net模型，该模型使用元素wise求和作为跳转连接，而模型不使用跳转连接。Cam实现了训练骰子点数和损失函数的实时作图，并通过张量板在整个训练过程中定期测试骰子点数和损失。Cam还对学习率、内核大小、过滤器数量、退出率和批处理规范的实现进行了超参数调优。Cam和Jon都对整个模型设计、实验和分析做出了贡献。
参考文献
[1] 徐蔚波,刘颖,章浩伟.基于区域生长的图像分割研究进展[J]. 北京生物医学工程. 2017(03).
[2]基于灰度共生矩阵的东北虎纹理特征参数[J]. 徐秋景,戚大伟. 东北林业大学学报. 2009(07)
[3]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
