基于语义的医学图像融合方法2019-10-26

2023-01-08

本文主要是 基于语义的医学图像融合方法2019-10-26 相关的知识问答，如果你也了解，请帮忙补充。

参考知识1 论文原文： A Semantic-based Medical Image Fusion Approach

医学图像融合对临床诊断有着很重要的作用。但是目前存在的医学图像融合方法忽略了图像的语义信息，试融合后的图像难以理解。（本来融合就是要更多的保留不同模态之间的互补信息来辅助诊断的。因此语义信息当让重要了。）在本文中提出了一种基于语义的医学图像融合方法。Fusion W-Net（FW-Net）。大大的减少了语义信息的损失。并且与先进方法一样有较好的视觉效果，在临床应用上有很大潜力。

低成本的融合方法大致采用这样策略：把不同域的图像转换成不同尺度的参数，然后采用人工设计的规则来优化融合他们，但是这些方法忽视了不同模态之间的语义冲突。例如：骨组织在CT中试比较亮的，但是在MR-T2图像中试安的（这是由不同模态图像的成像原理决定的）因此这些存在的方法有如下两个弊端：
1）现存方法忽视语义冲突。从而导致融合图像的于一损失，如，CT中亮的是密度的组织，MR中量的部分代表组织的流动性和磁性。所以不容模态之间图像嗯待亮的部分的语义完全不同。
2）不考虑亮度语义的融合方法会导致某些脑组织边界模糊。在图1 (b)的绿色框架中，我们可以清楚地看到额窦的炎症区域，这也是临床医生关注的重点。但由于图1 (a)对应部分为亮部，融合时额窦边界(c)(d)和(e)变得模糊。

在本文中我们提出了基于语义的融合方法：先提取不同模态的图像的语义特征，然后把他们映射到新的语义空间，然后再新的于一空间生成出融合的医学图像。采用的FW-Ne由两个U-net组成。

两种方式：1）任务中有目标域的情况（目标域是其中一个源域）：这种一般是把另一个域的图像融合进这个域。通过像素级或者结构级的回归来实现。2）目标域不在任务中通常训练一个度量来生成图片。

底层保留了细粒度信息，高层保留了语义和高频信息。这再图像融合中是有益的。

1）从源域提取信息，包括结构信息和语义信息
2）把不同域的信息映射到相同的空间，
3）再相同空间内融合重建图像。
自动编码器中编码器用力拍提取特征，解码器用来进行重构，通过最小化生成图像和源图像之间的均方误差(MSE）来进行学习和训练。

编码器和解码器都使用U-Net。第一U-Net用于生成融合图像从两个源域到目标域，第二U-Net用于重建源图像。最后，通过最小化重构误差得到融合后的图像。传统的自编码器框架是完全连接的，因此编码器的矢量输出不能保证与源图像在空间上保持一致，而U-Net采用局部连接结构，使得输出矢量在空间上保持一致，从而得到视觉融合的图像。

前两项是重构的语义损失，个人感觉类似于cycle的损失。只不过cycle的损失还有对抗损失这里没有用到鉴别器。
KL散度的目的是是图像平滑，是图像平滑和显著性之间的权衡。
最后一项是正则化，防止模型过拟合

为了评估语义损失，为每个方法训练一个编码器，再训练过程中用来优化

训练之后采用下式来计算语义 损失

1)在编码器和解码器的每一层都加入了batchnorm 加速收敛，提升效果

CT and MR-T2 http://www.med.harvard.edu/AANLIB/home.html

Q_MI 互信息
QAB/F 衡量边缘信息保留成都
SSIM 结构相似性
Q_D 视觉不同行
SL 语义损失

SSIM一个很高，一个很低。作者得解释是因为融合后得图像比较好的保留了CT得信息，又因为是通过语义相似性约束得，不同模态之间得语义相似性相差很大，所以才一个0.8一个0.3.

红色是钙化得组织。再临床上应该重点关注。所以融合得话这个信息应该保留。所以相比本文方法其他方法都对这部分有了一定得模糊效果。
黄色脑室 黄色箭头指得点再MR中有体现，再融合图中也有体现。说明确实是融合了两个图得信息。
蓝色为头外骨。

思考：
总觉得语义相似性有点怪怪得，但说不出哪里有毛病。