Search
E-mail
RSS

Online submission Editor-in-chief Peer review Staff Login

Journal of Tropical Oceanography >

2017 , Vol. 36 >Issue 2: 79 - 85

DOI: https://doi.org/10.11978/2016055

Orginal Article

A fusion method of high-resolution full polarimetric SAR and moderate-resolution optical image

  • WAN Jianhua , 1 ,
  • ZANG Jinxia , 1 ,
  • LIU Shanwei 1 ,
  • REN Guangbo 2
Expand
  • 1. School of Geosciences in China University of Petroleum, Qingdao 266580, China
  • 2. The First Institute of Oceanography, State Oceanic Administration, Qingdao 266061, China
Corresponding author: ZANG Jinxia. E-mail:

Received date: 2016-06-03

  Request revised date: 2016-11-07

  Online published: 2017-04-06

Supported by

Natural Science Foundation of Shandong Province of China (ZR2016DM16)

Coastal Zone Remote Sensing Monitoring and Application Demonstration of High Resolution Earth Observation System Major Projects

A Application Study on Aerial Survey and Remote Sensing Technology in Detection of Pipeline

Copyright

热带海洋学报编辑部
Fold

Abstract

A method was proposed to solve the fusion problem of full polarimetric synthetic aperture radar (SAR) and moderate-resolution optical remote sensing image, based on principal components analysis (PCA) and HSV transform, where HSV stands for hue, saturation, and value. First, the four bands of full polarization SAR went through principal component analysis, and the first principal component was extracted. Second, moderate-resolution optical image was transformed into the HSV space, and the V component was replaced by the first principal component. Finally, the desired image was obtained by using inverse IHS transform. The experiment was performed using Radarsat-2 full polarimetric SAR and TM/ETM+ moderate-resolution optical image. A comparison of the proposed method with the fusion of single polarimetric SAR and optical image based on a traditional method (PCA transform, HSV transform, or wavelet transform) showed that the proposed method made effective use of the texture information of full polarimetric SAR and improved the capability of image interpretation.

Key words： full polarimetric synthetic aperture radar; moderate-resolution optical image; image fusion; principal component analysis; HSV transformation

Cite this article

WAN Jianhua , ZANG Jinxia , LIU Shanwei , REN Guangbo . A fusion method of high-resolution full polarimetric SAR and moderate-resolution optical image[J]. Journal of Tropical Oceanography, 2017 , 36(2) : 79 -85 . DOI: 10.11978/2016055

热带区域多受云雾影响, 云雾遮挡严重, 不易获取高分辨率卫星光学影像。合成孔径雷达技术(synthetic aperture radar, SAR)能够穿透云雾, 不受天气影响, 成为海岸带遥感监测的重要数据源, 但缺乏光谱信息。中等分辨率光学卫星影像相对易于获取, 能够提供地物的光谱信息, 但空间分辨率低, 细节纹理信息不足。因此, 研究SAR与中分光学影像融合方法, 通过优势互补代替高分光学影像, 对海岸带的常态化业务监测具有重要意义。
随着SAR技术的发展, SAR与光学影像融合逐渐成为研究热点。曹银璇等(2007)基于机载SAR与光学SPOT(Systeme Probatoire d’Observation de la Terre, 地球观测系统)影像, 评价了主成分(PCA)变换、IHS(intensity, hue, saturation; 强度、色调、饱和度)变换和乘法复合变换3种融合方法, 发现不同的方法对特定地物解译具有显著优势。Luciano Alparone等(2004)提出基于亮度调制的多光谱和SAR图像融合方法, 使融合影像在保持光谱信息、提高空间分辨率和增强纹理信息方面都取得了较好的效果。徐赣等(2008)对几种典型的小波融合方法进行对比分析, 并使用各种评价标准对各融合效果进行定量评价, 发现光学图像和SAR图像融合中, 基于小波变换的融合是相当有效的一种方法, 基于邻域特征的小波融合方法效果相对更好。Hong等人(2014)将MODIS数据和Radarsat-2数据融合, 可有效区分草原区的草地和苜蓿地。目前, 国内外影像融合方法众多, 但大多针对光学与全色影像融合或光学与单极化SAR影像融合。
近年来, 全极化SAR技术迅速发展, 较单极化和多极化SAR相比, 全极化SAR包含了地物的全部散射信息, 有利于深入分析地物特性(吴永辉 等, 2008), 因此利用全极化SAR影像进行地物分析更具优势。目前针对全极化SAR与中分光学影像的融合研究不多,吴祥(2013)分别开展了基于IHS变换、PCA变换、Brovey变换和小波变换的全极化SAR与光学影像融合实验, 但其融合算法单一。本文提出了一种基于PCA变换和HSV(hue, saturation, value; 色调、饱和度、明度)变换的全极化SAR与中分光学影像融合方法, 综合利用PCA变换与HSV变换两种算法的优势, 并与单极化SAR与中分光学影像融合结果进行对比分析。

1 方法

1.1 基于PCA变换的遥感影像融合

PCA(principal component analysis)即主成分分析, 通过线性变换将原始数据变换为一组各维度线性无关的表示, 可用于提取数据的主要特征分量, 是一种降维技术。主成分分析不仅对高维数据实现降维, 更重要的是经过降维去除噪声, 发现数据中的模式。变换过程如下:
假设一个样本有n个特征: X=(x1, x2, …, xn)T
1) 求出X的协方差矩阵C;
2) 求出C的全部特征值λ1,λ2, …,λn和特征向量u1, u2, …, un将特征值按从大到小顺序排序, 相应的特征向量也要跟着变动;
3) 求出n个新特征向量Y=(y1, y2, …, yn)T满足Y=UTX。其中, U=(u1, u2, …, un) ; y1, y2, …, yn分别为第1, 2, …, n个主分量, y1为第一主成分, 包含最大的数据方差百分比, 第二主成分包含第二大的方差, 以此类推, 最后的主成分波段由于包含很小的方差(大多数由原始波谱的噪声引起), 因此显示为噪声。
利用PCA变换进行单极化SAR与中分光学影像融合的基本思想是: 首先对中分光学影像进行主成分变换, 然后将SAR影像与第一主成分做直方图匹配, 匹配后的SAR影像代替第一主成分进行逆主成分变换, 得到融合影像。

1.2 基于HSV变换的遥感影像融合

彩色空间模型中应用最广泛的是RGB(红、绿、蓝)模型, 但三基色表色系统不符合人们对颜色的理解和认识习惯, 通常对颜色的认知基于颜色的3个特征: 色调、饱和度和强度。色调H决定光谱主波长, 代表颜色属性; 饱和度S表示光谱主波长在强度中的比例, 即颜色的鲜艳度; 强度V表示光谱的亮度大小。将影像从RGB空间变换到HSV空间后, 色调、饱和度、强度3种成分间的相关性变低, 可对3个变量单独处理(张艳宁 等,2014)。在RGB空间中的灰度线是彩色立方体的对角线, 而在HSV空间中是垂直中轴。根据三角直角坐标系的旋转变换, 得到HSV正变换公式如下:
(1)
其中, R、G、B分别代表红、绿、蓝三种颜色亮度值, 公式(2)~(4)给出了I、v1、v2与H、S、V的关系。
(2)
(3)
(4)
相应的反变换公式为:
(5)
利用HSV变换进行单极化SAR与中分光学影像融合的基本思想是: 首先对中分光学影像进行HSV变换, 然后将SAR影像与V分量做直方图匹配, 匹配后的SAR影像代替V分量进行逆HSV变换, 得到融合影像。

1.3 基于主成分分析与HSV变换的遥感影像融合

主成分分析融合方法是基于数学统计方法的融合, 变换后的第一主成分包含主要的地物空间信息, 实现了降维与数据压缩, 并抑制噪声, 起到图像增强的效果。HSV变换融合方法是基于彩色空间的融合, 将高分辨率影像波段替代亮度值波段, 能够提高结果影像的纹理特征, 增强其空间细节表现能力。综合两种方法的优点, 本文提出了一种基于PCA与HSV变换的全极化SAR与中分光学影像融合方法。该方法具体步骤如下:
1) 全极化SAR数据预处理: 首先对4个极化波段的SAR影像进行滤波和几何校正, 然后进行归一化处理;
2) 对全极化SAR影像进行PCA变换, 得到第一主成分;
3) 将中分光学影像变换到HSV空间;
4) 全极化SAR影像的PCA第一主成分与V分量进行直方图匹配;
5) 匹配后的全极化SAR影像的PCA第一主成分代替V分量, 得到新的亮度分量V °;
6) 将新的亮度分量V °与H、S逆变换到RGB空间, 得到融合影像。
通过PCA第一主分量提取全极化SAR四个波段的主要地物信息, 能够充分利用不同极化波段的地物散射信息, 并能降低影像的噪声。将第一主分量代替中分光学影像经过HSV变换后的V分量, 能够显著增强融合影像的细节表现能力。技术流程如图1所示。
Fig. 1 Technique flow chart

图1 技术流程图

2 实验

2.1 数据

实验数据为Radarsat-2卫星全极化精细模式SAR影像、Landsat-5 TM432波段中分光学影像和Landsat8 ETM+ 543波段中分光学影像, 覆盖区域为山东黄河三角洲地区(图2)。全极化SAR影像空间分辨率为8m, 成像时间分别为2009年7月和2015年9月; TM影像和ETM+多光谱影像空间分辨率为30m, 成像时间分别为2010年9月和2015年6月。图2c和图2d伪彩色显示对应波段为: R—VV; G— (HV+VH)/2; B—HH。
Fig. 2 The original image: a. 2010 TM image; b. 2015ETM+image; c. 2009 full polarimetric SAR false-color image; d. 2015 full polarimetric SAR false-color image; e. 2009 HV polarization SAR image; and f. 2015 HV polarization SAR image

图2 原始影像图
a. 2010年TM影像; b. 2015年ETM+影像; c. 2009年全极化SAR伪彩色影像; d. 2015年全极化SAR伪彩色影像; e. 2009年HV极化SAR影像; f. 2015年HV极化SAR影像

2.2 实验

为对融合结果进行精确验证, 排除偶然因素影响, 本文采用两组数据进行实验。由于融合影像范围较大, 本文截取地物类型多、细节纹理信息丰富、色彩突出的两组小区域进行展示。图3a和图4a为原始光学影像局部区域图, 图3b和图4b为基于PCA变换后的第一主成分SAR影像局部图, 图3c和图4c为本文方法的融合结果。
Fig. 3 TM image, SAR image and fusion image in 2009 and 2010: a. 2010 TM image; b. 2009 PCA first component SAR image; c. PCA+HSV fusion image; d. PCA fusion image; and e. HSV fusion image

图3 2009年和2010年TM影像、SAR影像、融合影像
a.2010年TM影像; b.2009年PCA第一主成分SAR影像; c.PCA+HSV融合影像; d.PCA融合影像; e.HSV融合影像

Fig. 4 ETM+ image, SAR image and fusion image in 2015: a. 2015 ETM+ image; b. 2015 PCA first component SAR image; c. PCA+HSV fusion image; d. PCA fusion image; and e. HSV fusion image

图4 2015年ETM+影像、SAR影像、融合影像
a.2015年ETM+影像; b.2015年PCA第一主成分SAR影像; c.PCA+HSV融合影像; d.PCA融合影像; e.HSV融合影像

另外, 根据王霄鹏等(2014)提出Radarsat-2四个极化分量中HV分量与TM影像融合效果最好的结论, 分别开展了基于PCA变换的HV分量与TM影像和基于HSV变换的HV分量与TM影像融合实验。图3d和图4d为HV极化SAR影像与中分光学影像基于传统PCA变换的融合结果, 图3e和图4e为HV极化SAR影像与中分光学影像基于HSV变换的融合结果。

2.3 结果分析

融合结果评价采取定性评价与定量评价相结合的方法。定性评价主要从视觉对图像纹理与色彩的感知方面做出直观评价, 体现融合影像的地物目视解译可识别能力(Ray, 2004); 定量评价则利用图像的统计参数进行判定, 常用于衡量信息量的统计参数有均值、方差、熵、联合熵、平均梯度、偏差指数、相关系数等(翁永玲 等, 2003), 是客观评价。
2.3.1 定性评价
从融合影像结果的视觉效果分析, 本文方法所得的融合影像(图3c、图4c) 与原始光学影像(图3a、图4a)对比, 较好地保留了光学影像的色彩信息, 且色彩对比更加明显, 细节纹理信息更加丰富, 与SAR影像(图3b、图4b)相比, 保留其纹理信息, 并增加光谱信息, 从实地地物来看, 养殖区边界能够清晰辨别, 根据色彩对比可以清晰地区分养殖区与植被区, 影像整体识别精度大大提高。
基于PCA变换的单极化SAR与光学影像的融合影像(图3d、图4d)纹理信息略有增强, 但与本文方法相比, 其纹理信息不足, 小面积区域边界模糊, 不易区分, 从色彩上看, 与原始光学影像色彩差异大。基于HSV变换的单极化SAR与光学影像的融合影像(图3e、图4e)比基于PCA变换的单极化SAR与光学影像的融合影像纹理信息更丰富, 但与本文方法相比, 不能较好地保留全极化SAR影像中的细节纹理信息, 且色彩在一定程度上失真。综合来看, 两种传统方法得到的融合影像的识别精度与解译能力均不如本文方法得到的融合影像。
2.3.2 定量评价
本文选取了均值、熵和平均梯度来进行融合影像的定量评价(李弼程 等, 2004)。均值为图像中所有像元亮度值的算术平均值, 遥感影像中反映了地物的平均反射强度, 表示了地物的平均反射率。熵是衡量图像信息丰富程度的一个重要指标, 融合图像的熵值大小能反映图像所包含信息量的多少。平均梯度反映了图像中微小细节反差的表达能力和纹理变化特征, 同时也反映了图像的清晰度。定量评价数据如表1所示。
Tab. 1 Quantitative evaluation of the fusion results

表1 融合结果定量评价表

遥感影像 均值 熵 平均梯度
2009、2010年遥感影像 TM影像 117.891 5.675 16.686
HH极化 124.750 5.726 16.095
HV极化 125.578 5.738 14.170
VH极化 122.281 5.688 14.257
VV极化 128.422 5.719 13.999
PCA第一主成分 139.093 5.769 17.792
本文方法 123.125 5.750 17.241
PCA变换法 127.000 5.738 14.119
HSV变换法 129.828 5.813 15.655
2015年遥感影像 ETM+影像 125.516 5.633 13.828
HH极化 125.141 5.813 16.040
HV极化 119.656 5.781 16.787
VH极化 123.375 5.844 15.657
VV极化 134.936 5.781 14.783
PCA第一主成分 136.641 5.856 16.836
本文方法 127.672 5.832 16.166
PCA变换法 132.156 5.770 15.164
HSV变换法 142.016 5.847 16.208
从表1可以看出, 全极化SAR影像经过PCA变换后, 第一主成分的均值、熵及平均梯度值均比原始4个极化波段高, 4个极化波段的信息有效集中在第一主成分, 第一主成分影像的地物反射强度增强, 地物信息与细节纹理特征明显提高。
从融合影像评价结果来看, 3种方法的融合影像均值均高于原始光学影像, 其中HSV变换的融合影像与原始光学影像相差最大, 说明HSV变换融合影像对原始TM影像的光谱信息保留较少, 像元亮度值差异大, 视觉效果差; PCA变换法得到的融合影像的平均梯度最低, 说明融合影像细节反差小, 纹理特征不明显; 本文方法得到的融合影像均值与原始光学影像均值相差最小, 较好地保持了原始光学影像的光谱信息。从熵值对比分析中发现, 本文方法得到的融合影像信息量比原始光学影像有明显提高, 提高了影像解译能力, 从平均梯度来看, 本文方法平均梯度值较高, 说明本文方法能够增强图像纹理特征和细节反差, 提高影像的可识别能力。
综上所述, 定性评价与定量评价结果基本一致, 本文方法既减少了融合过程中的损失和畸变, 又显著增强了融合影像的纹理特征和细节反差, 提高了影像的解译能力, 明显优于传统的融合方法。

3 结论

1) 通过对全极化SAR影像进行PCA变换, 有效地将全极化SAR四个波段信息集中在第一主成分, 第一主成分影像的地物反射强度增强, 地物信息与细节纹理特征明显提高, 达到图像增强的目的。
2) 基于PCA变换与HSV变换相结合的高分全极化SAR与中分光学影像融合方法, 与分别基于两种传统融合方法的单极化SAR与中分光学影像融合对比, 从定性和定量两方面评价, 得出本文方法融合效果明显优于其他两种方法。本文方法既能减轻融合过程中的损失和畸变, 又显著增强了融合影像的细节纹理特征和色彩反差, 提高了融合影像的地物解译能力。

The authors have declared that no competing interests exist.

References

Publishing order | Descend order by publishing year | Descend order by cited within
1
曹银璇, 燕琴, 赵争, 等, 2007. SAR与光学遥感影像融合在土地资源监测中的应用[J]. 测绘通报, (8): 23-25.

CAO YINXUAN, YAN QIN, ZHAO ZHENG, et al, 2007. An application of fusing SAR with optical remote sensing in monitoring land resources[J]. Bulletin of Surveying and Mapping, (8): 23-25 (in Chinese).

2
李弼程, 魏俊, 彭天强, 2004. 遥感影象融合效果的客观分析与评价[J]. 计算机工程与科学, 26(1): 42-46.

LI BICHENG, WEI JUN, PENG TIANQIANG, 2004. Objective analysis and evaluation of remote sensing image fusion effect[J]. Computer Engineering & Science, 26(1): 42-46 (in Chinese).

3
王霄鹏, 张杰, 马毅, 等, 2014. 不同极化方式SAR与TM融合影像滨海湿地分类精度比较[J]. 海洋学研究, 32(1): 40-46.

WANG XIAOPENG, ZHANG JIE, MA YI, et al, 2014. Comparison of coastal wetland classification accuracy using fused images of different-polarization SAR and TM images[J]. Journal of Marine Sciences, 32(1): 40-46 (in Chinese).

4
翁永玲, 田庆久, 2003. 遥感数据融合方法分析与评价综述[J]. 遥感信息, (3): 49-54.

WENG YONGLING, TIAN YONGJIU, 2003. Analysis and evaluation of method on remote sensing data fusion[J]. Remote Sensing Information, (3): 49-54 (in Chinese).

5
吴祥, 2013. 极化SAR与可见光遥感影像融合算法研究[D]. 杭州: 杭州电子科技大学: 1-64.

WU XIANG, 2013. Research on the algorithm of PolSAR and the visible in remote sensing image fusion[D]. Hangzhou: Hangzhou Dianzi University: 1-64 (in Chinese).

6
吴永辉, 计科峰, 郁文贤, 2008. 利用SVM的全极化、双极化与单极化SAR图像分类性能的比较[J]. 遥感学报, 12(1): 46-53.

WU YONGHUI, JI KEFENG, YU WENXIAN, 2008. Comparison of classification performance of full-, dual- and single-polarization SAR images using SVM[J]. Journal of Remote Sensing, 12(1): 46-53 (in Chinese).

7
徐赣, 尤红建, 2008. 小波的SAR和光学图像融合方法比较研究[J]. 测绘科学, 33(1): 109-112.

XU GAN, YOU HONGJIAN, 2008. Comparison of image fusion of SAR and optical image based on wavelet transform[J]. Science of Surveying and Mapping, 33(1): 109-112 (in Chinese).

8
张艳宁, 李映, 2014. SAR图像处理的关键技术[M]. 北京: 电子工业出版社: 116-118.

9
ALPARONE L, BARONTI S, GARZELLI A, et al, 2004. Andrea G. Landsat ETM+ and SAR image fusion based on generalized intensity modulation[J]. IEEE Transactions on Geoscience and Remote Sensing, 42(12): 2832-2839.

10
HONG GANG, ZHANG AINING, ZHANG FUQUN, et al, 2014. Integration of optical and synthetic aperture radar (SAR) images to differentiate grassland and alfalfa in Prairie area[J]. International Journal of Applied Earth Observation and Geoinformation, 28: 12-19.

11
RAY S S, 2004. Merging of IRS LISS III and PAN data- evaluation of various methods for a predominantly agricultural area[J]. International Journal of Remote Sensing, 25(13): 2657-2664.

Options
Outlines

/

〈 〉