清华大学医学院生物医学工程系生物医学影像研究中心灵感实验室（MedicalUltrasoundEngineering Lab, MUSE Lab）与中国人民解放军总医院第一医学中心合作，在基于弱监督深度学习的乳腺超声图像病灶分割领域取得新进展。研究团队针对乳腺超声图像分割中获取像素级标签成本高的问题，提出了一种基于弱监督学习的病灶分割方法，只需要使用具有图像级标签（指示图中有无病灶）的训练数据，就可以完成神经网络的训练，而无需医生精确勾画病灶边界，大大降低了人工标注训练数据的负担。

上述工作近日以Deep weakly-supervised breast tumor segmentation inultrasound images with explicit anatomical constraints为题在医学图像分析领域顶级期刊Medical Image Analysis (IF=8.545)上在线发表（https://doi.org/10.1016/j.media.2021.102315）。清华大学医学院灵感实验室博士生李永帅与中国人民解放军总医院第一医学中心超声诊断科刘愿医师为论文第一作者；中国人民解放军总医院第一医学中心超声诊断科王知力主任医师与清华大学医学院灵感实验室罗建文研究员为论文的通讯作者；论文的作者还包括清华大学医学院灵感实验室博士生黄俐杰。

近年来，深度学习在乳腺超声图像分割领域取得了巨大进步。然而，现有的深度学习方法大多属于有监督学习，通常需要大量的标注训练数据。在超声图像中，对乳腺肿瘤的边界进行人工勾画将耗费医生大量时间和精力，成本昂贵。医生采集的乳腺超声图像，一部分是正常乳腺组织的图像，另一部分是含有乳腺肿瘤的图像。这些乳腺超声图像自然包含了图像级标签，即图像中是否存在肿瘤的信息。因此，本研究使用图像级标签和弱监督学习方法，进行乳腺肿瘤的分割。

图1 CAM-DLS方法示意图

本研究回顾了类激活映射（CAM）技术，并设法提高其定位精度。CAM技术可以利用分类网络对特定类别的目标进行定位，其原理如下：对分类网络最后一层卷积层的输出特征图进行加权平均，得到类激活图（CAMs），然后将数值大于特定阈值的区域作为目标区域（肿瘤）。然而，CAM的定位结果非常粗糙，不能准确识别目标区域的边界。为了获得准确的分割结果，本研究在训练分类网络时，在分类损失的基础上增加了深度水平集（DLS）损失。DLS损失是基于CAMs计算的，并引导CAMs聚焦于乳腺肿瘤的内部区域。该方法被称为CAM-DLS（图1）。

同时，本研究利用乳腺解剖学先验知识来减少乳腺肿瘤的搜索空间。研究团队对乳腺超声图像有三个重要的观察发现。首先，在乳腺超声图像中，乳腺解剖结构是逐层分布的，自上到下分别是皮下脂肪、乳腺腺体、胸部肌肉和胸腔层。其次，乳腺解剖结构之间具有不同的内在纹理。第三，大部分乳腺肿瘤位于乳腺腺体层，部分侵入皮下脂肪层。受上述观察发现的启发，本研究首先将乳腺超声图像分割为四个解剖区域，然后在皮下脂肪和乳腺腺体层进行乳腺肿瘤分割。为了减少额外的标注需求，本研究利用半监督深度学习方法进行乳腺解剖分割。

为了验证上述方法，本研究收集了由三个不同厂家的超声成像系统获取的3062张乳腺超声图像，其中1389张含乳腺肿瘤，1673张无乳腺肿瘤。采用分层随机抽样法将数据分为训练集、验证集和测试集。其中，2142张图像被分为训练集（约占70%），300张图像被分为验证集（约占10%），620张图像被分为测试集（约占20%）。每个肿瘤的所有图像只能被分到其中一个子集中。

实验结果表明：DLS损失的加入，大幅度提高了CAMs的定位精度（如图2所示）；在测试集上，CAM-DLS方法的Dice系数为77.3%，交并比（IoU）为66.0%，该弱监督学习分割方法的效果接近甚至优于现有的半监督学习分割方法；对BI-RADS 3类、4类和5类的乳腺肿瘤，CAM-DLS方法均能准确分割出肿瘤边界（如图2所示）。

图2 部分测试集结果

在医学图像分析领域，像素级标签非常稀缺，并且获取成本很高。因此，基于弱监督或半监督学习的分割方法具有重要意义。本研究提出的CAM-DLS方法是一种通用的弱监督学习分割方法，有望应用于肝脏、甲状腺等超声图像的病灶分割，以及计算机断层扫描（CT）与磁共振图像的病灶分割。本研究中医学图像解剖学先验知识的使用方法，对其他相关研究也有一定的参考价值。

相关工作得到国家自然科学基金和四川省科技计划的资助。