清华大学生物医学工程学院生物医学影像研究中心灵感实验（Medical Ultrasound Engineering
Lab, MUSE Lab）在基于无监督深度学习的病理图像配准领域取得重要进展。多染色的病理图像配准有助于临床医生分析组织结构、不同标志物的空间分布和蛋白质抗体的亚细胞分布.
它对随后的图像分析任务（如基因表达分析和疾病诊断等）至关重要。研究团队以多染色的病理图像配准算法为主要研究对象，借助深度学习的方法开展算法及应用研究。研究团队提出了一种基于可学习的深度特征和迭代式训练的无监督病理图像非刚性配准算法，并在ANHIR和ACROBAT两个公开数据集上均排名第一。
上述工作近日以Unsupervised Non-rigid Histological Image Registration Guided by Keypoint
Correspondences Based on Learnable Deep Features with Iterative Training为题在医学成像领域顶级期刊IEEE Transactions on Medical Imaging (IF= 8.9)上在线发表（https://doi.org/10.1109/TMI.2024.3447214）。清华大学生物医学工程学院灵感实验室博士生魏星月为论文第一作者；清华大学生物医学工程学院灵感实验室罗建文教授与北京航空航天大学生物与医学工程学院许燕教授为论文的通讯作者；论文的作者还包括清华大学生物医学工程学院灵感实验室博士生葛琳（已毕业）和黄俐杰（已毕业）。
本研究回顾了多染色的病理图像配准的常见算法，基于深度学习的无监督算法不需要耗时耗力的手动标注，吸引了更多的关注。由于多染色的病理图像存在巨大的外观差异，采用传统相似性度量作为损失函数的无监督深度学习配准方法在处理此类配准任务时效果不尽如人意，因为传统相似性度量依赖于图像的强度分布，多染色的病理图像的强度分布差异较大。为此，研究人员引入了结构信息，如轮廓、线和关键点，以指导网络的训练。最常用的结构信息是关键点，因为它们容易提取和匹配。由关键点引导的无监督配准算法的核心步骤是匹配关键点，而关键点特征描述子的质量直接决定了关键点匹配的准确性。传统的手工描述符（如SIFT等）依赖于先验知识，且可能忽略数据中的固有模式，因此并不十分鲁棒。深度学习网络可以学习低维和高维的深度特征，深度特征比手工特征更具竞争力，原因如下：1）深度特征能够揭示复杂的高维非线性关系，具有很高的分辨力和鲁棒性；2）它们可以快速有效地获得。更重要的是，深度特征是数据驱动的，当在特定数据集和特定任务上训练或微调网络时，深度特征可以被进一步地优化。同时，可学习的范式允许深度特征学习特定数据集和任务中特有的特征表示。因此，研究团队将可学习的深度特征引入到病理图像配准中作为关键点的描述符，以获得更多更准确的匹配关键点，从而引导无监督配准网络实现精确配准。同时，研究团队引入了迭代式训练策略，该策略可以递进式地训练无监督配准网络并优化可学习的深度特征。该算法（IKCG）可以解决病理图像制作过程中因为撕裂导致的局部大位移问题。算法的框架图如图1所示，对预处理后的固定图像和运动图像对，首先采用ORB算法进行关键点检测。然后利用预训练的VGG-16模型提取固定深度特征作为关键点的描述符，并利用其相似性建立关键点的对应关系（固定图像中的红点和运动图像中的蓝点）。匹配关键点之间的距离被用作损失函数来训练无监督配准网络。网络训练至收敛后，可以生成可学习的深度特征，建立更丰富的关键点对应关系并用来重新训练网络。重复可学习的深度特征提取、建立关键点对应关系和无监督网络训练这三个步骤即可实现迭代式训练。
图1. 无监督算法的流程图
研究团队将IKCG提交到了多染色的病理图像配准领域中两个主流的公开竞赛网站——ANHIR和ACROBAT，与其他配准算法进行公开比较（https://anhir.grand-challenge.org/evaluation/challenge/leaderboard/；https://acrobat.grand-challenge.org/evaluation/model-development/leaderboard/ ），如图2、图3所示，IKCG均排名第一，并且相对其他方法具有明显优势，详细的定量结果如图4、图5所示。图6显示了所提出的算法对于大位移问题的处理效果，可以发现IKCG可以很好地配准局部撕裂处，解决大位移问题。
图2. ANHIR官网排名结果
图3. ACROBAT官网排名结果
图4. ANHIR数据集不同方法的定量评价结果，加粗的方法是研究团队所提出的方法
图5. ACROBAT数据集不同方法的定量评价结果，加粗的方法是研究团队所提出的方法
图6. 不同算法对于大位移问题的效果图
除了病理图像的配准，研究团队所提出的方法可望用于其他图像的配准，如多模态医学影像的配准。类似地，目前多模态图像处理的研究越来越多，新的多模态处理方案也可以和研究团队所提出的算法结合，有望得到更优的结果。相关工作得到了国家自然科学基金、北京市自然科学基金海淀区联合基金、北京市自然科学基金、清华大学春风基金、中国肿瘤基金会北京希望运行专项基金的资助。