基于視頻序列影像的地理場景全景圖快速生成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及地理信息可視化、數(shù)字圖像處理、計算機(jī)視覺等領(lǐng)域，尤其涉及一種基 于視頻序列影像快速生成地理場景全景圖的方法。
【背景技術(shù)】
[0002] 視頻序列由于具有時空屬性、信息量大、分辨率高、表達(dá)直觀等特點(diǎn)，已經(jīng)快速成 為普適化的、社會化的地理信息來源和建模分析與表達(dá)手段。全景圖像讓人們快速獲取周 圍的位置信息，因此將環(huán)繞拍攝的360°視頻序列拼接成視野范圍更大的全景圖像，不僅能 全方位地表達(dá)地理場景的完整性，使人們更直觀的了解視頻序列的整體內(nèi)容，同時能減少 視頻序列的時空冗余度。
[0003] -些商業(yè)公司已開發(fā)了相關(guān)產(chǎn)品，如Google公司開發(fā)的Google Street View，通 過使用特殊的裝置，和已標(biāo)定好的專業(yè)相機(jī)來拍攝街道的多視角視頻，并將其拼接成全景 圖像；Grey Point公司開發(fā)的Ladybug多視角視頻拍攝裝置，同樣采用位置固定且已標(biāo)定 好的專業(yè)相機(jī)，公司配套提供的SDK能將拍攝好的視頻序列拼接生成全景圖像。但是這些 商業(yè)公司所開發(fā)的專業(yè)視頻全景裝置的價格太高，且不利于普通用戶將環(huán)繞拍攝的360° 視頻序列拼接成全景圖像。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明提出了一種基于視頻序列影像的地理場景全景圖快速生成方法，該方法采 用多線程并行方式對視頻序列進(jìn)行格網(wǎng)分塊，建立分塊下關(guān)鍵點(diǎn)的局部搜索策略來控制匹 配搜索區(qū)域，在匹配過程中，通過減少關(guān)鍵點(diǎn)的數(shù)目來提高匹配搜索效率，從而實現(xiàn)視頻序 列的快速配準(zhǔn)與全景圖像的無縫拼接，減少了視頻序列拼接的時間，提高了拼接效率，尤其 對高分辨率視頻序列拼接成全景圖像有很好的效果，能適應(yīng)于普通用戶拍攝的視頻序列拼 接成全景圖像。
[0005] 為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：
[0006] 基于視頻序列影像的地理場景全景圖快速生成方法，包括如下步驟：
[0007] 1)對視頻幀圖像進(jìn)行格網(wǎng)劃分成不同的子圖像，并建立連續(xù)視頻幀之間各子圖像 塊的一一對應(yīng)關(guān)系；
[0008] 2)采用分塊多線程并行策略對各子圖像進(jìn)行關(guān)鍵點(diǎn)檢測，并對檢測的關(guān)鍵點(diǎn)進(jìn)行 過濾，保留少量關(guān)鍵點(diǎn)作為待匹配點(diǎn)；在各關(guān)聯(lián)子圖像間建立匹配搜索，提取各子圖像間的 匹配點(diǎn)對；
[0009] 3)將各子圖像間的匹配點(diǎn)對進(jìn)行合并，利用合并后的匹配點(diǎn)集來計算各視頻幀的 幾何拼接參數(shù)；
[0010] 4)利用各視頻幀的幾何拼接參數(shù)，將視頻序列的各幀圖像進(jìn)行拼接，得到一幅全 景圖像；
[0011] 5)為避免攝像機(jī)在拍攝過程中產(chǎn)生的抖動，構(gòu)建全局旋轉(zhuǎn)矩陣來修正彎曲的全景 圖，使最后輸出的全景圖更符合客觀世界的表達(dá)。
[0012] 所述步驟2)的具體過程如下：
[0013] (2-1)采用分塊多線程并行方式對各子圖像進(jìn)行關(guān)鍵點(diǎn)檢測；
[0014] (2-2)對所有關(guān)鍵點(diǎn)計算其局部信息熵值，并進(jìn)行熵值過濾，保留熵值較大的前η 個關(guān)鍵點(diǎn)用于特征匹配；
[0015] (2-3)在各關(guān)聯(lián)子圖像間提取有效匹配點(diǎn)對，為確保子塊匹配的準(zhǔn)確性，采用對稱 匹配方法進(jìn)行子圖像間匹配；
[0016] (2-4)由于噪聲和移動目標(biāo)存在，匹配集合中會存在誤匹配點(diǎn)，最后采用 RANSAC (Random Sample Consensus，隨機(jī)抽樣一致性）方法剔除誤匹配點(diǎn)；
[0017] (2-5)在各關(guān)聯(lián)子圖像間，對剔除過濾后的關(guān)鍵點(diǎn)建立子圖像對的匹配對應(yīng)關(guān)系， 提取有效匹配點(diǎn)對。
[0018] 所述步驟3)的具體過程如下：
[0019] (3-1)將提取的各子圖像間的匹配點(diǎn)對進(jìn)行合并，作為兩個圖像之間的匹配對；
[0020] (3-2)根據(jù)匹配對，計算圖像間單應(yīng)矩陣變換，估計攝像機(jī)參數(shù)及圖像的旋轉(zhuǎn)變換 與平移。
[0021] 所述步驟4)的具體過程如下：
[0022] (4-1)利用步驟3)所求得的圖像間的幾何拼接參數(shù)，對所有視頻幀圖像進(jìn)行圖像 配準(zhǔn)；
[0023] (4-2)將配準(zhǔn)后的圖像投影至圓柱面上，通過圖像融合來消除圖像間的色調(diào)差異， 最后輸出修正后的全景圖像。
[0024] 相比于現(xiàn)有技術(shù)，本發(fā)明所述的方法具有如下特點(diǎn)：
[0025] 1、對視頻幀圖像進(jìn)行分塊，并建立子圖像間的一一對應(yīng)關(guān)系，嚴(yán)格控制對應(yīng)圖像 間的匹配搜索區(qū)域，并采用圖像分塊多線程并行策略來加快匹配搜索速度；
[0026] 2、通過構(gòu)建全局旋轉(zhuǎn)矩陣，修正波浪狀全景圖像，該方法適合普通用戶拍攝的視 頻拼接成全景圖像。
[0027] 因此，本發(fā)明能適應(yīng)于使用普通手持?jǐn)z像機(jī)對地理場景進(jìn)行旋轉(zhuǎn)拍攝視頻序列拼 接成全景圖像，拼接速度快，對拍攝過程中出現(xiàn)的抖動進(jìn)行了處理，避免拼接后的全景圖產(chǎn) 生變形，是一種適應(yīng)于任意地理場景的通用全景拼接方法。
【附圖說明】
[0028] 圖1是本發(fā)明方法的流程圖；
[0029] 圖2是本發(fā)明實施例的圖像分塊與多線程并行匹配策略；
[0030] 圖3是本發(fā)明實施例的波浪狀全景圖像；
[0031] 圖4是本發(fā)明實施例的柱面投影；
[0032] 圖5是本發(fā)明實施例的修正后的全景圖像。
【具體實施方式】
[0033] 下面結(jié)合附圖和實施例作進(jìn)一步詳細(xì)說明。
[0034] 如
[0035] 圖1所示，基于視頻序列影像的地理場景全景圖快速生成方法，該方法包括以下 四個部分：
[0036] 步驟1對輸入的視頻序列的圖像進(jìn)行格網(wǎng)分塊，建立子圖像間的對應(yīng)關(guān)系后，采 用多線程并行優(yōu)化策略對子圖像進(jìn)行特征提取與匹配；
[0037] 步驟2合并子圖像匹配集合；
[0038] 步驟3根據(jù)匹配特征點(diǎn)對計算圖像拼接幾何參數(shù)；
[0039] 步驟4視頻序列圖像融合；
[0040] 本實施例的具體實施步驟如下：
[0041] 步驟1對輸入的視頻序列的圖像進(jìn)行格網(wǎng)分塊，建立子圖像間的對應(yīng)關(guān)系后進(jìn)行 子圖像的特征提取與匹配；
[0042] (1-1)逐幀讀取視頻序列中連續(xù)兩幀圖像A和B，對A和B進(jìn)行MXN的格網(wǎng)分塊。
[0043] (1-2)采用多線程并行策略（如圖2所示）對各子圖像采用ORB算法進(jìn)行關(guān)鍵點(diǎn) 檢測；
[0044] (1-3)對所有關(guān)鍵點(diǎn)計算其局部信息熵值降序排列，選擇η個熵值較大的關(guān)鍵點(diǎn) 用于圖像特征匹配。計算方法如下：
[0045] (1)為每一個關(guān)鍵點(diǎn)設(shè)置興趣區(qū)域，通常設(shè)置為以關(guān)鍵點(diǎn)為中心的3 X 3或5 X 5鄰 域，為考慮計算速度，將鄰域范圍設(shè)置為3 X 3。
[0046] (2)計算3X3鄰域內(nèi)關(guān)鍵點(diǎn)的局部熵。設(shè)圖像塊的灰度函數(shù)為f(x，y)，且 f(x，y)彡0,則有：
[0047]
[0048]
[0049] 其中：Plj是像素在圖像塊i，j位置的概率。
[0050] (4)重復(fù)2~3直到每個關(guān)鍵點(diǎn)的局部熵計算完為止。
[0051] (1-4)采用對稱匹配方法對子圖像進(jìn)行特征匹配。
[0052] (1-5)由于噪聲和移動目標(biāo)存在，匹配集合中會存在誤匹配點(diǎn)，根據(jù)極線原理，兩 個對應(yīng)的關(guān)鍵點(diǎn)分布在各自的極線上，表