清华大学医学院生物医学工程系生物医学影像研究中心灵感实验室（Medical Ultrasound Engineering Lab, MUSE Lab）在基于无监督深度学习的病理图像配准领域取得重要进展。
多标记的生物显微图像在临床医学和生物学研究等领域应用广泛。通过自动化算法处理多标记的生物显微图像，可以提升临床诊断和生物学实验的精度和效率。在众多的自动化图像处理方法中，图像配准是大部分多标记生物显微图像处理及分析算法的基石。研究团队以多标记生物显微图像的配准算法为主要研究对象，借助深度学习的方法开展算法及应用研究。目前大多数的多标记生物显微图像配准算法是有监督配准，需要专家手动标注训练集，消耗大量时间。研究团队提出了一种基于稠密结构特征和稀疏结构特征的多标记生物显微图像无监督配准算法。
上述工作近日以Unsupervised histological image registration usingstructural feature guided convolutional neural network为题在医学成像领域顶级期刊IEEE Transactions on Medical Imaging(IF = 10.048)上在线发表（https://doi.org/10.1109/TMI.2022.3164088）。清华大学医学院灵感实验室博士生葛琳（2021年毕业）与魏星月为论文第一作者；清华大学医学院灵感实验室罗建文研究员与北京航空航天大学生物与医学工程学院许燕教授为论文的通讯作者；论文的作者还包括清华大学医学院灵感实验室博士生郝亚宇。
本文回顾了多标记的生物显微图像配准的典型算法，基于深度学习的算法可以分为有监督（以及弱监督）和无监督两类，有监督配准算法依赖于专家手动标注的数据集，手动标注需要花费大量时间。无监督算法可以避免对专家手动标注的数据集的依赖，但是和有监督算法比起来，现有的无监督配准算法性能有待提升。此外，相比于自然图像的配准，多标记的生物显微图像的配准存在几个挑战：（1）多重染色导致的图像视觉差异，（2）在均质组织内存在许多重复纹理，（3）在处理生物切片时可能导致局部缺损。
结构特征对强度变化具有鲁棒性，有助于解决多重染色导致的图像视觉差异的难题。此外，在大的视野内低分辨率的结构信息可以克服重复纹理，在小的视野内高分辨率的结构信息可以克服局部缺损的问题。因此，研究团队将低分辨率的结构信息（稀疏结构特征）和高分辨率的结构信息（稠密结构特征）结合起来，设计了结构特征引导的无监督卷积神经网络SFG，以实现更高准确度的图像配准。
该无监督算法的流程图如图1所示，网络的输入是待配准图像和参考图像，输出是位移场。通过增加参考图像和配准后的图像之间的结构一致性来优化位移场。结构一致性约束包含稠密结构分量和稀疏结构分量，前者是图像的SIFT结构特征图谱，后者利用的是SIFT特征自动获取的关键点。
图1. 无监督算法的流程图
研究团队将该算法提交到了生物显微图像配准领域中唯一的公开竞赛官网——ANHIR，ANHIR给出了不同方法的结果排名（https://anhir.grand-challenge.org/evaluation/challenge/leaderboard/），前10名如图2所示，SFG排名第一，并且相对其他方法具有明显优势。详细的定量结果如图3所示（标黄的方法是本文提出的方法）。
图2. ANHIR官网排名结果
图3. 不同方法的定量评价结果（标黄的方法是本文提出的方法）
该无监督算法基于MaskFlownet-S网络框架，分别设计了baseline、 supervised baseline、S-SFG、D-SFG、SFG、supervised SFG等多个网络。其中，baseline不使用任何结构特征，supervised baseline是有监督版本的baseline，在训练过程中使用了ANHIR提供的手动标注信息，S-SFG只使用了稀疏结构特征，D-SFG只使用了稠密结构特征，SFG同时使用了稀疏和稠密结构特征，supervised SFG是有监督版本的SFG。图4显示了文中提出的各个方法获得的图像配准结果，可以发现SFG相比于baseline、 supervised baseline、S-SFG、D-SFG最优，且与supervised SFG结果相近，证明了结构特征在图像配准中的有效性。
图4. 不同方法的图像配准结果
本文的基于结构特征和深度学习的无监督配准算法虽然是针对不同标记的生物显微图像提出的，但是也可以用于包含丰富结构信息的其他图像类型的多模态配准中。目前，多模态图像处理的研究越来越多，新的多模态处理方案也可以和本文提出的算法结合，有望得到更优的结果。
相关工作得到了国家重点研发计划、国家自然科学基金、中央大学基础研究基金、中国111项目基金等项目资助。