一種基于導(dǎo)向?yàn)V波的遙感圖像融合方法與流程

本發(fā)明涉及遙感圖像的可視化增強(qiáng)處理技術(shù)，尤其是針對(duì)星載多光譜圖像和全色光圖像的圖像融合方法。

背景技術(shù)：

由于傳感器自身的物理局限性以及數(shù)據(jù)傳輸技術(shù)的壁壘，使得當(dāng)前星載傳感器僅能提供光譜分辨率高但空間分辨率低的多波段多光譜圖像以及空間分辨率高但光譜分辨率低的單一波段全色光圖像。在軌的星載傳感器，例如quickbird、geoeye-1、worldview-2等能夠同時(shí)提供多波段多光譜遙感圖像和單波段高空間分辨率的全色光圖像。通過(guò)融合多光譜圖像和全色光圖像，可以在保持多光譜圖像光譜信息的同時(shí)提高其空間分辨率，達(dá)到增強(qiáng)可視化的效果。

全色光圖像空間分辨率高于多光譜圖像，因此融合時(shí)首先要將多光譜圖像重采樣放大至與全色光圖像同尺寸，然后再將放大后的多光譜圖像和原始全色光圖像輸入至融合模型，輸出得到融合的多光譜圖像。在對(duì)多光譜圖像的重采樣處理上，目前國(guó)內(nèi)外通用的做法是選用最近鄰插值法、雙線性插值法或者雙三次插值法對(duì)多光譜圖像的各波段獨(dú)立地進(jìn)行插值放大(參見文獻(xiàn)ieeetransactionsongeoscienceandremotesensing,45(10):3012-3021,2007)。事實(shí)上，由上述插值法得到的多光譜圖像會(huì)出現(xiàn)不同程度的光譜失真與空間信息失真，從而進(jìn)一步影響融合圖像的信息保持(參見文獻(xiàn)ieeegeoscienceandremotesensingletters,4(1):27-31,2007；ieeejournalofselectedtopicsinsignalprocessing,5(3):446-453,2011)。

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于導(dǎo)向?yàn)V波的圖像融合方法，通過(guò)導(dǎo)向?yàn)V波聯(lián)合全色光圖像完成對(duì)多光譜圖像的重采樣放大，再利用intensity-hue-saturation(ihs)變換分離光譜信息，最終將全色光圖像的結(jié)構(gòu)信息提取并注入至多光譜圖像中，有效地提高了多光譜圖像的空間分辨率。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案包括以下步驟：

第一步，通過(guò)卷積運(yùn)算對(duì)全色光圖像pan進(jìn)行低通濾波，低通濾波器記為lpf，則輸出圖像pl＝pan*lpf；對(duì)輸出圖像pl作下2抽樣處理，輸出結(jié)果記為p2；

第二步，設(shè)置圖像p2為導(dǎo)向?yàn)V波的指導(dǎo)圖像i，任意第j個(gè)多光譜波段mj為導(dǎo)向?yàn)V波的輸入圖像p，導(dǎo)向?yàn)V波輸出圖像記為q；像素點(diǎn)i位于以像素點(diǎn)k為中心的窗口ωk中，該窗口半徑r≥1，窗口大小為(2r+1)×(2r+1)像素；濾波輸出圖像q在像素點(diǎn)i的濾波輸出值qi由指導(dǎo)圖像i在該點(diǎn)的像素值ii以及i點(diǎn)所在局部窗口的窗口系數(shù)ak和bk共同決定，矩陣形式為q＝a×i+b，其中a和b是窗口系數(shù)矩陣，窗口系數(shù)窗口系數(shù)|ω|為窗口ωk中所有像素的個(gè)數(shù)，pi為輸入圖像p在i處的像素值，μk和σk分別是指導(dǎo)圖像在窗口ωk中的均值和方差，是輸入圖像p在窗口ωk中的均值，ε是規(guī)則化參數(shù)且ε∈(0,1)；

第三步，利用最近鄰插值法對(duì)窗口系數(shù)矩陣a和b重采樣放大，分別得到對(duì)應(yīng)的新窗口系數(shù)和

第四步，利用原始全色光圖像pan和新窗口系數(shù)和計(jì)算大尺寸的輸出圖像該輸出圖像與原始全色光圖像尺寸相同；

第五步，從n波段多光譜圖像中任選三波段多光譜圖像mt1、mt2和mt3；重復(fù)第二步至第四步，計(jì)算出對(duì)應(yīng)的三幅大尺寸輸出圖像和計(jì)算強(qiáng)度分量

第六步，對(duì)所選的三波段多光譜圖像mt1、mt2、mt3進(jìn)行ihs變換，得到利用雙三次插值法對(duì)u、v進(jìn)行重采樣插值，放大至與原始全色光圖像pan同尺寸，記為和

第七步，對(duì)強(qiáng)度分量int以及和進(jìn)行ihs反變換，得到原始彩色空間三波段圖像；與三波段多光譜圖像mt1、mt2、mt3對(duì)應(yīng)的ihs反變換輸出

第八步，計(jì)算空間細(xì)節(jié)d＝pan-int；利用最近鄰插值法對(duì)原始多光譜圖像的所有多光譜波段m1，…，mn進(jìn)行重采樣插值，放大至與全色光圖像pan同尺寸，記為計(jì)算各波段的空間細(xì)節(jié)調(diào)制系數(shù)利用空間細(xì)節(jié)調(diào)制系數(shù)將空間細(xì)節(jié)d調(diào)制后注入三波段多光譜圖像st1、st2、st3中，輸出圖像ft1＝st1+gt1×d、ft2＝st2+gt2×d和ft3＝st3+gt3×d即為融合結(jié)果；

第九步，返回第五步選擇不同的三波段進(jìn)行融合，最終遍歷所有n個(gè)波段，輸出n個(gè)波段的融合結(jié)果。

本發(fā)明的有益效果是：針對(duì)遙感圖像融合技術(shù)在重采樣多光譜圖像過(guò)程中極易引入空間和光譜信息失真的問(wèn)題，通過(guò)利用導(dǎo)向?yàn)V波器的系數(shù)矩陣將全色光圖像的空間結(jié)構(gòu)細(xì)節(jié)導(dǎo)入放大的多光譜圖像中，提高了多光譜圖像的空間分辨率；再利用ihs變換分離多光譜圖像的光譜信息，利用ihs反變換將光譜信息注入至多光譜圖像中，有助于保持原始的光譜信息；最后通過(guò)細(xì)節(jié)的提取調(diào)制與注入，在保持多光譜圖像光譜信息的基礎(chǔ)上進(jìn)一步提升了空間分辨率，得到高質(zhì)量的融合圖像，是一種適用于高分辨率星載多光譜與全色光圖像融合的有效融合方法。

附圖說(shuō)明

圖1是本發(fā)明的原理示意圖；

圖2是本發(fā)明的流程圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說(shuō)明，本發(fā)明包括但不僅限于下述實(shí)施例。

本發(fā)明包括以下步驟：

假設(shè)原始多光譜圖像包含n個(gè)波段(m1，m2，…,mn)，各波段圖像尺寸均為r1行×c1列，原始全色光圖像尺寸為r2行×c2列。

第一步、下采樣全色光圖像：

通過(guò)卷積運(yùn)算對(duì)全色光圖像(pan)進(jìn)行低通濾波，低通濾波器記為lpf，輸出圖像記為pl，*為卷積運(yùn)算符

pl＝pan*lpf(1)

對(duì)pl作下2抽樣處理，即對(duì)像素點(diǎn)隔行取樣和隔列取樣，輸出結(jié)果記為p2，其尺寸減小至原始全色光圖像尺寸的一半(r2/2行×c2/2列)

p2＝(pl)↓2(2)

第二步、導(dǎo)向?yàn)V波

設(shè)置圖像p2為導(dǎo)向?yàn)V波的指導(dǎo)圖像i，任意第j個(gè)多光譜波段(mj)為導(dǎo)向?yàn)V波的輸入圖像p，導(dǎo)向?yàn)V波輸出圖像記為q。按照導(dǎo)向?yàn)V波器的定義(導(dǎo)向?yàn)V波器原理參見ieeetransactionsonpatternanalysisandmachineintelligence,35(6):1397-1409,2013.)，假設(shè)濾波輸出圖像q與指導(dǎo)圖像i之間存在局部線性關(guān)系，即

其中像素點(diǎn)i位于以像素點(diǎn)k為中心的鄰域(或窗口)ωk中，該窗口半徑為r，窗口大小為(2r+1)×(2r+1)像素(通常取半徑r≥1)。ak和bk為窗口系數(shù)，假設(shè)在窗口ωk內(nèi)均為常數(shù)。由此可知，濾波輸出圖像q在像素點(diǎn)i的濾波輸出值qi由指導(dǎo)圖像i在該點(diǎn)的像素值ii以及i點(diǎn)所在局部窗口的窗口系數(shù)ak和bk共同決定。窗口ωk內(nèi)的系數(shù)ak和bk分別由下式計(jì)算：

其中|ω|為窗口ωk中所有像素的個(gè)數(shù)，pi為輸入圖像p在i處的像素值，μk和σk分別是指導(dǎo)圖像在窗口ωk中的均值和方差，是輸入圖像p在窗口ωk中的均值，ε是規(guī)則化參數(shù)且ε∈(0,1)。

由于包含像素點(diǎn)i的鄰域ωk不唯一，同時(shí)存在多個(gè)，因此可采用均值策略計(jì)算輸出圖像q在像素點(diǎn)i的像素值qi，即

因?yàn)檎叫未翱诘膶?duì)稱性，故可以將公式(6)重寫成

其中

將公式(7)表示成矩陣形式，可得

q＝a×i+b(10)

其中a和b是窗口系數(shù)矩陣。

第三步、窗口系數(shù)的重采樣放大

利用最近鄰插值法對(duì)公式(10)的窗口系數(shù)矩陣a和b重采樣放大，分別得到對(duì)應(yīng)的新窗口系數(shù)和

第四步、導(dǎo)向?yàn)V波輸出

利用原始全色光圖像pan和新窗口系數(shù)和計(jì)算大尺寸的輸出圖像

該輸出圖像與原始全色光圖像尺寸相同，尺寸為r2行×c2列。

第五步、計(jì)算強(qiáng)度分量int：

從n波段多光譜圖像中任選三波段(假設(shè)記為mt1、mt2、mt3)進(jìn)行彩色合成，將該三波段分別作為導(dǎo)向?yàn)V波的輸入圖像，并利用第二步至第四步分別計(jì)算出對(duì)應(yīng)的三幅大尺寸輸出圖像，分別記為和取平均計(jì)算出強(qiáng)度分量int

第六步、多光譜圖像的intensity-hue-saturation(ihs)變換

對(duì)所選的三波段多光譜圖像mt1、mt2、mt3進(jìn)行ihs變換，具體如下

利用雙三次插值法對(duì)u、v進(jìn)行重采樣插值，放大至與原始全色光圖像pan同尺寸，記為和

第七步、ihs反變換

對(duì)強(qiáng)度分量int以及和進(jìn)行ihs反變換，得到原始彩色空間三波段圖像。與三波段多光譜圖像mt1、mt2、mt3對(duì)應(yīng)的ihs反變換輸出分別記為st1、st2、st3

第八步、空間細(xì)節(jié)的提取、調(diào)制與注入

空間細(xì)節(jié)d直接由全色光圖像pan和強(qiáng)度分量int的差值計(jì)算

d＝pan-int(18)

利用最近鄰插值法對(duì)所有多光譜波段(m1，…，mn)進(jìn)行重采樣插值，放大至與全色光圖像pan同尺寸，記為

計(jì)算各波段的空間細(xì)節(jié)調(diào)制系數(shù)gj，j＝1,…,n具體如下

利用調(diào)制系數(shù)將空間細(xì)節(jié)d調(diào)制后注入至第七步輸出的三波段多光譜圖像st1、st2、st3中，輸出圖像分別記為ft1、ft2、ft3，即

ft1＝st1+gt1×d(20)

ft2＝st2+gt2×d(21)

ft3＝st3+gt3×d(22)

圖像ft1、ft2、ft3即為輸出的融合結(jié)果。對(duì)于包含n個(gè)波段的多光譜圖像(m1，m2，…,mn)，可以多次選擇其中的三波段進(jìn)行融合，最終遍歷所有n個(gè)波段，輸出n個(gè)波段的融合結(jié)果。

方法實(shí)施例：

采用真實(shí)worldview-2星載遙感多光譜圖像和全色光圖像，多光譜圖像包含八個(gè)波段(m1,m2,…,m8)，全色光圖像(pan)為單波段。多光譜圖像的空間分辨率為2.0m，大小為200行×200列。全色光圖像空間分辨率為0.5m，大小為800行×800列。實(shí)施本發(fā)明包括以下步驟：

第一步、下采樣全色光圖像

由于全色光圖像空間分辨率是多光譜圖像空間分辨率的四倍，因此全色光圖像的尺寸是多光譜圖像的四倍，故需要對(duì)全色光圖像下采樣兩次。這里低通濾波器選擇使用cohen-daubechies-fauveau(cdf)9/7雙正交濾波器組中的低通濾波器cdf9，即lpf＝[0.026748,-0.016864,-0.078223,0.266864,0.602949,0.266846,-0.078223,-0.016864,0.026748]利用公式(1)和(2)完成第一次下采樣處理，得到p2，p2的尺寸縮小至400行×400列。再利用公式(1)和(2)對(duì)p2完成第二次下采樣，即

pl2＝p2*lpf

p4＝(pl2)↓2

輸出得到的p4尺寸縮小至200行×200列，與多光譜圖像尺寸一致。

第二步、導(dǎo)向?yàn)V波

從多光譜圖像中選擇三個(gè)波段(mj，j＝2，3，5)，設(shè)置圖像p4為導(dǎo)向?yàn)V波的指導(dǎo)圖像i，mj為輸入圖像，利用公式(3)-(10)分別對(duì)這三個(gè)波段進(jìn)行導(dǎo)向?yàn)V波，輸出分別記為qj，對(duì)應(yīng)的窗口系數(shù)矩陣記為aj和bj，即

qj＝aj×i+bj,(j＝2,3,5)

這里規(guī)則化參數(shù)ε＝0.01，窗口半徑r＝2，窗口大小為5×5。

第三步、窗口系數(shù)的重采樣放大

利用最近鄰插值法對(duì)窗口系數(shù)矩陣aj和bj重采樣放大四倍，分別得到對(duì)應(yīng)的新窗口系數(shù)和

第四步、導(dǎo)向?yàn)V波輸出

利用全色光圖像pan和新窗口系數(shù)和計(jì)算輸出圖像即

該輸出圖像與原始全色光圖像pan尺寸相同，為800行×800列。

第五步、計(jì)算強(qiáng)度分量int：

按公式(12)對(duì)輸出圖像和取平均，計(jì)算出強(qiáng)度分量int，即

第六步、多光譜圖像的ihs變換

按公式(13)和(14)對(duì)所選的三波段多光譜圖像m2、m3、m5進(jìn)行ihs變換，具體如下

利用雙三次插值法對(duì)u、v進(jìn)行重采樣插值，放大四倍與全色光圖像pan同尺寸，記為和

第七步、ihs反變換

按照公式(15)-(17)對(duì)強(qiáng)度分量int以及和進(jìn)行ihs反變換，得到原始彩色空間三波段圖像，對(duì)應(yīng)三波段輸出分別記為s2、s3、s5，即

第八步、空間細(xì)節(jié)提取、調(diào)制與注入

利用公式(18)提取出空間細(xì)節(jié)d，即

d＝pan-int

利用最近鄰插值法對(duì)所有多光譜波段(m1，…，m8)進(jìn)行重采樣插值，放大四倍至與全色光圖像pan同尺寸，記為尺寸為800行×800列。

利用公式(19)計(jì)算各波段的細(xì)節(jié)調(diào)制系數(shù)gj，j＝1,…,8，即

利用公式(20-22)計(jì)算輸出圖像f2、f3和f5即

f2＝s2+g2×d

f3＝s3+g3×d

f5＝s5+g5×d

f2、f3和f5即為輸出的融合結(jié)果。