论文导读
“为了充分利用三维医学图像局部区域之间以及连续二维图像序列全局之间的相似性，提出了基于对比学习的全局和局部信息学习方法。实验证明，该方法对模型进行语义分割性能提升显著。”
论文地址：
/abs/.10511
对比学习全局和局部医学图像分割特征
有限的数据资源
摘 要
Abstract
本期分享一篇NeurIPS 的一篇关于医学图像分割论文《Contrastive learning of global and local features for medical image segmentation with limited annotations》。基于深度学习的算法模型往往需要大量的标注数据，相对于自然场景图像来说，医学图像更难获取，且标注数据的成本和难度都更高。自监督学习能够利用未标注的数据进行模型的预训练，然后再利用有限的标注数据进行模型的微调（fine-tune）。一种自监督学习的变种模型“对比学习”，是一种高效的技术，能够学习到图像级别（image-level）的表征。本文提出的策略通过扩展对比学习框架在数据量较为局限（标注数据少）的医学标注数据中，利用半监督学习进行三维医学图像分割。具体来说:①提出了一种全新的对比学习策略，通过利用三维医学图像（特定领域）的结构相似性；②设计了一种局部对比损失以学习独特的局部特征表达，其在像素级图像分割（特定问题）中性能提升显著。作者应用该方法在三个医学数据集上进行了实验验证，实验设定使用较为有限的标注数据上进行训练（限定训练集的大小），与已提出的自监督和半监督学习方法相比，该方法对分割性能有大幅的提升。
01
—
Introduction
利用大量的标注数据,深度学习模型在医学图像分割任务中均能取得不错的成绩。但是,对于医学图像来说,数据不易于获取,并且标注需要经验丰富的专业医师,相对于自然场景的数据来说标注成本高。因此,降低数据需求的模型就显得尤为重要。自监督学习(Self-supervised learning ,SSL)就是一种有希望能解决该问题的方法。它首先利用无标签的数据进行预训练,然后将模型训练的结果(模型的参数),作为常规监督训练模型的初始化参数(即自监督训练参数初始化常规监督训练模型参数), 再利用该初始化参数进行数量有限的带标签数据的监督学习。这种方法在自然图像和医学图像中均取得了不错的成绩。
本文作者重点研究一种自监督学习的变体方法“对比学习”（contrastive learning ）。这个方法提出的“直觉依据”是：同一图像，即使经过不同的图像变换，其变换后的图像之间也应具有相似的特征表达。反之，不同的图像之间的特征表达肯定是不同的。根据这种思想，在实践中人们设计了一种“对比损失”（contrastive loss）来表达这种（同一原始图像）相似和不同（不同的原始图像）,并使用未标注数据，通过最小化对比损失，进行神经网络的优化训练。由此训练得到的神经网络能够提取到对下游任务，如图像分类、目标检测有用的特征表达。这种训练模型参数能够作为后续任务模型的初始化参数，即使利用少量有限的数据，并在此基础上进行fine-tune，也能得到一个精准的模型。
尽管对比学习已取得不错的成绩，但根据现有的文献作者发现有两个重要方向还未进行深入的探索和研究。首先，大量的研究工作聚焦在让模型提取全局特征表达，而忽略了明确地学习每个局部区域的独有特征表达。这也是作者认为可能对像素级图像分割有益的地方。其次，对比学习的策略往往是使用数据增强，（即前文提到的同一图像进行不同图像变换也就是不同的数据增强方法，同一原始图像经变换后相互之间的特征表达相似，不同图像之间的特征表达不同），而没有用到不同数据之间的相似性（注意：作者为什么要在前文摘要中就提出是特定领域domain-specific cue 和特定问题 problem-specific cues。因为MRI/CT是三维数据，每层数据之间是存在相似性的，而自然场景的图像一般是不存在这种相似性）。因此作者利用针对特定领域数据结构（三维数据，本质上就是多个二维数据在新增维度上的堆叠），通过数据结构之间的内在联系，以获取相比传统单个数据源进行数据增强方式更多的性能提升。
思路梳理
读到这里，作者对问题的挖掘，Idea的提出就比较明确了。简单总结一下：以前的方法都是利用同一图像，进行不同图像变换，经过变换后的图像之间，特征提取模型获得的特征表达是相似的，不同图像特征表达不一样。这也就是对比损失的由来。但是针对三维图像数据如MRI/CT，每一层数据之间是相互关联的，具有一定的相似性。那么作者就针对这种特定的数据，设计了类似图像增强的相似度度量方式。其实不难发现，通过在模型训练时设计这样一种配对数据进行相似性（类似数据）/差异性（不同数据）训练，对模型的性能肯定有提升。下面只需要进行试验验证了！
02
—
Related Work
作者主要针对的是自监督学习Self_supervised learning (SSL),并将此类方法粗略的分为两类。
1、运用代理任务的方法，对未标注数据可以设计易于获取的“标签”信息。如图像方向，图像修补等。
2、基于对比学习的方法，设计对比损失以提升模型对相似和不同配对数据间的表达能力。
与上述两类对比学习方法不同的是:①先前的研究都只重点关注应用于图像级别的预测任务中用到的编码器（Encoder）。本文作者设计的方法聚焦像素级预测任务，同时涉及编码器和解码（Decoder）;②图像局部区域的特征表达将同时融合全局和局部特征信息，让局部的特征融入更多的图像级特征表达（即局部区域的特征表达，包含了图像全局信息以及局部信息）,提升解码器区分同一图像不同区域之间的特征表达差异;③针对三维医学图像，设计了一种配对的训练数据以提升模型性能。
03
—
Method
实验方法主要分为两个部分，全局对比损失（Global contrastibe loss）和局部对比损失(Local contrastive loss)。
1、全局对比损失
其中，和分别表示统一原始图像经过不同图像变换后的结果图像。是指Encoder编码器。是指全连接网络。是指尺度缩放参数。指简单的图像变换方法集合。sim(·）指余弦相似度。那么上述公式表达的就是同一图像，经过不同的图像变换（一对）输入编码器，在编码器特征提取完成后接一个浅层的全连接网络。网络的输出结果进行余弦相似度计算并带入上述公式即可,那么每个mini-batch的Loss如下。
其中是指相似图像的集合，是指不同图像的集合。那如何定义上述集合呢？
设定数据集有M个三维图像数据，每个三维图像由D张二维图像组成。由于多个MRI/CT数据对同一解剖面具有相同的模态，可得到部分相同的视野。因此，将D张二维图像划分为S组。表示数据来源于第i个三维数据的第s组。下标s相同，即表示数据具有相同/相似的视野。基于上述方法构建相似/不同的数据集，在训练的时候采用随机选择配对的方式进行训练。
2、局部对比损失
将配对的和经过Enocder后，输入进行Decoder进行解码，获取第L层的feature map。将该feature map切分成K*K份，提取每一份对应的特征块（切分后的），输入进一个全连接层，计算余弦相似度。
其中，和分别表示相似和不同的配对数据集。u,v为切分后feature map 块的块index。其余参数和前面的公式相同。
3、训练
首先使用全局对比损失训练Encoder（需要设置一个全连接层g1）,然后固化Encoder参数，利用局部对比损失训练Deocder的第1层至第L层(需要设置一个全连接层g2)。最后补全Decoder后续部分，该部分采用随机参数进行初始化，并利用标注数据进行微调，完成整个模型的训练。
04
—
Experiments and Results
05
—
Conclusion
作者用实验证明了方法的有效性。对三维医学图像，在缺乏标注数据的情况，充分利用全局和局部特征表达提升语义分割性能。
06
—
结语
数据决定了模型性能的上限。那么充分挖掘数据的特性，针对特定的任务需求，设计出适合这类数据的训练方法，包括但不限于数据采样方式，损失函数，网络结构，训练方法，初始化方法等，在一定程度上均提升模型的性能。
END
备注：医学影像
医学影像处理识别交流群
医学影像CT、MRI、X光处理、分类、检测、分割等技术，
若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
投稿:amos@
网站:
在看，让更多人看到
