清华大学医学院生物医学影像研究中心与厦门大学计算机科学与技术系合作,在基于压缩感知的高质量超声成像方法研究方面取得新进展。合作研究团队基于影像中心先前的成果——压缩感知-合成发射孔径(CS-STA)成像方法(DOI: 10.1109/TMI.2016.2644654)开展进一步研究,在国内外率先提出将深度学习框架与CS-STA方法相结合的高质量、高帧频数据采集和重建方法,在进一步提升图像质量的同时,显著地减少了重建时间,为高帧频、高质量的超声图像重建提供了新思路和新方法。
上述工作近日以ApodNet: Learning for High FrameRate Synthetic Transmit Aperture Ultrasound Imaging为题在医学成像领域的顶级期刊IEEE Transactions on Medical Imaging(IF = 6.685)上在线发表(https://ieeexplore.ieee.org/document/9443173,DOI: 10.1109/TMI.2021.3084821)。厦门大学信息学院计算机科学与技术系陈胤燃助理教授(影像中心2019届博士毕业生)为本文第一作者,厦门大学信息学院计算机科学与技术系罗雄彪教授与清华大学医学院生物医学工程系生物医学影像研究中心罗建文研究员为论文的通讯作者,论文的作者还包括深圳迈瑞生物医疗电子股份有限公司系统研究工程师刘敬博士(影像中心2018届博士毕业生)。
在超声成像中,采用平面波发射能够实现超高帧频成像,但是因为缺少发射聚焦,平面波的图像质量(如横向分辨率、对比度等)较低。合成发射孔径成像(STA)能够在较低帧频的情况下实现全域的发射与接收动态聚焦,理论上在横向分辨率和对比度上具有较好的表现,但其成像帧频较低,且在实践中受到单阵元发射模式的影响,其对比度、信噪比与穿透深度也相对较低。CS-STA基于平面波成像的通道数据与合成发射孔径成像的通道数据(又称完备数据集)之间的线性关系,以随机矩阵以及改进的部分哈达玛(Hadamard)矩阵作为少次数平面波的发射变迹系数进行高帧频的通道数据采集,并采用压缩感知重建的方法从通道数据中恢复出完备数据集,最后通过延时-叠加算法进行图像重建,从而降低了超声成像的采集时间,提高了成像帧频,同时获得了高的时间分辨率、空间分辨率、对比度、信噪比和穿透力。研究表明,CS-STA适用于线阵、凸阵、相控阵、二维面阵等不同超声探头,具有一般性。相关的前期工作发表于IEEE Transactions on Medical Imaging(DOI:10.1109/TMI.2016.2644654)、IEEE Transactions onUltrasonics, Ferroelectrics, and Frequency Control(DOI:10.1109/TUFFC.2017.2682180;DOI: 10.1109/TUFFC.2018.2832058)与Physics in Medicine and Biology(DOI:10.1088/1361-6560/aaf5f1),并获得中国发明专利、国际PCT优先权与欧盟发明专利授权。
但是,CS-STA仍存在着待改进的环节。例如,在发射环节,发射变迹系数的选择可以进一步优化;在完备数据集重建环节,压缩感知重建的计算耗时较长,一定程度上制约了其在产业化和临床应用的前景。
研究团队对CS-STA开展深入分析,结合深度学习框架,发现CS-STA的高帧频数据采集和完备数据集重建可以很好地通过基于全连接架构的神经网络进行表达。为此,研究团队提出了一个以二值化网络BinaryConnect和多层降噪自动编码器(stacked denoisingautoencoder, SDA)相结合的自监督深度学习框架——ApodNet。该网络只采用仿体数据进行自监督训练即可实现快速收敛,并且可以用于在体数据的采集和重建,在一定程度上解决了超声成像深度学习中数据量不足的问题。经过训练的框架在实际成像过程中被拆分为两部分——编码器ApodNet-Encoder中的二值化(+1和-1)权重系数被用于平面波的变迹系数进行高帧频数据采集;解码器ApodNet-Decoder则用于重建完备数据集。
图1 ApodNet训练和使用示意
实验结果表明,相比之前的方法,该方法在数据采集环节和完备数据集重建环节均实现了性能上的提升,ApodNet-Encoder所训练的变迹系数能够在少次数的平面波发射中获取更多的有效信息用于完备数据集重建;ApodNet-Decoder相比传统的压缩感知重建能够达到更高的准确度,并且大幅度缩短了计算时间。最终重建的超声图像不仅保持了和STA一致的高横向分辨率,相比CS-STA还显著提升了图像的对比度。
图2 部分在体实验结果
超声成像的研究主要包括发射/接收序列、图像重建算法与图像后处理算法等方面。近年来,深度学习在超声成像领域得到越来越多的应用。目前的相关研究主要集中于超声图像后处理,也有部分研究将深度学习方法应用于超声图像重建,例如,影像中心师生近期提出的基于自监督学习的平面波图像重建算法发表于医学影像分析领域的顶级期刊Medical Image Analysis(DOI:10.1016/j.media.2021.102018)。上述工作中的ApodNet-Encoder是第一个将深度学习应用于超声成像前端发射/接收环节的深度学习网络,ApodNet-Decoder是将深度学习网络应用于超声图像重建环节,完整的ApodNet则是第一个同时考虑超声发射/接收与图像重建环节的深度学习网络。
上述工作所提出的研究思路和方法,不仅能够应用于超声成像,还具备很高的扩展潜力。压缩感知理论和技术在学术界和工业界均受到广泛关注,在计算机断层成像(CT)、磁共振成像(MRI)、核医学成像、光声成像等方面均有相关的研究和应用,甚至在自然图像和视频处理方面也有重要的应用。上述工作所提出的ApodNet框架本质上是对压缩感知的编码和解码环节进行建模,并结合深度学习进行训练,因此,在其他医学影像模态甚至自然图像处理的相关研究领域都具有很高的研究价值和应用潜力。
相关工作得到了国家自然科学基金、福建省自然科学基金、中央高校基本科研业务费专项资金的资助。