论文题目：基于图像分解去纠缠与边缘引导的遥感影像语义分割算法研究

录用期刊：遥感学报（CCF A）

作者列表：

1） 连远锋 中国天天色天天（北京）人工智能学院 智能科学与技术系教师

2） 李科科 中国天天色天天（北京）人工智能学院 计算机科学与技术专业 硕23

 

摘要: 

遥感图像具有目标尺寸差异显著、背景复杂多变的特点，存在地物光谱混淆和特征边界不清晰等现象，这增加了语义分割任务的难度。针对不同光照条件下遥感图像目标由于特征相互依赖而导致的语义分割困难问题，本文提出了一种基于去纠缠的遥感图像语义分割模型，该模型由光照反射去纠缠网络（LRD-Net）和多模态语义分割网络（MSS-Net）构成。首先，基于Retinex理论设计LRD-Net网络用于分解光学图像中的光照和反射特征，通过权重共享Transformer（WS-Transformer）提取目标的全局和局部特征；其次，引入多尺度噪声模块对光照分量进行自适应增强以提高模型的去纠缠能力，通过显著特征强化模块（SE）突出不同分量特征之间的差异信息；最后，使用边缘特征提取模块（EE）提高遥感目标的边缘识别能力，并通过多模态语义分割网络（MSS-Net）融合光照特征和反射特征提升语义分割性能。实验结果表明，本文提出的模型在遥感图像语义分割任务中优于其他模型。

背景与动机: 

在城市环境中，当光照条件的显著变化时，遥感图像的语义分割面临目标尺度不平衡和同物异谱及异物同谱等问题。因此，研究如何在不同光照条件下对复杂城市背景中目标进行精确分割具有重要的意义。

设计与实现: 

本文提出遥感图像语义分割模型的整体框架如图1所示，主要由光照反射去纠缠模块、光照反射增强模块和语义分割模块3部分组成。模型将遥感光照图像作为光照反射去纠缠模块的输入。其中 LRD-Net是双分支结构，分别提取光学图像的光照信息和反射信息。同时该模块采用WS-Transformer，将光照反射去纠缠模块中提取的光照信息和反射信息在特征提取的不同阶段进行多次融合。在光照反射增强模块中，LRD-Net对多尺度噪声模块增强的光照特征进行再分解。SE模块从全局上提取分解后的高层特征，获取更多语义信息。最后语义分割网络MSS-Net利用EE模块对深层信息进行边缘提取，得到语义分割结果。

 

图1  整体框架结构图

实验结果及分析:

在ISPRS Vaihingen和ISPRS Potsdam数据集上，本模型的特征去纠缠效果如图2所示。相较于输入的原图像，本模型通过分解输出的反射特征与光照特征，精确地实现了光照分量与不变反射率的有效去纠缠。 针对本模型在特定场景下的性能评估，所展示的输入原图像场景均存在细节丰富的识别物种类，如复杂的城市建筑、多样的地表覆盖等，然而在本模型所提取的光照特征热力图中阴影变化与光照强度的分布被准确捕捉。

(a)ISPRS Vaihingen 数据集

(b)ISPRS Potsdam 数据集

图2  特征分解效果对比图

为了更好地展示对比，图3和图4展示了本文方法与和其他语义分割模型的实验结果。可以看出，在ISPRS Vaihingen和ISPRS Potsdam测试集上，本文方法的性能优于其他方法，证明本文方法具有更强的鲁棒性。

图3  不同模型在ISPRS Vaihingen数据集上的分割结果对比

图4  不同模型在ISPRS Potsdam数据集上的分割结果对比

结论:

本文提出一种基于物理过程去纠缠的遥感图像检测模型。该模型基于去纠缠理论和Retinex理论设计了基于物理过程的LRD-Net生成遥感图像中的光照特征和反射特征，并基于权重共享模块实现了WS-Transformer提取全局和局部特征，引入SE模块进一步对特征进行融合。最后使用MSS-Net融合去纠缠后的特征，引入EE模块提升分割精度。在ISPRS Vaihingen和ISPRS Potsdam数据集上的实验表明，所提模型提升了遥感图像语义分割的精度，能够通过对遥感图像光照和反射的去纠缠解决不同光照条件下遥感图像识别精度下降的问题。未来考虑融合遥感大模型和去纠缠理论提高遥感图像的分割精度。

作者简介:

连远锋，教授。研究方向为图像处理与虚拟现实、机器视觉与机器人、深度学习与数字孪生。