適用于移動終端的戶外增強現(xiàn)實無標(biāo)志點跟蹤注冊方法
【專利摘要】本發(fā)明提供一種適用于移動終端的戶外增強現(xiàn)實無標(biāo)志點跟蹤注冊方法，具體步驟為，在訓(xùn)練準(zhǔn)備階段中針對每一個樣本場景都獲取一用于表達(dá)該場景的樣本圖像，建立各場景樣本圖像的全局特征描述符矩陣的索引表；在跟蹤注冊階段中移動終端采集當(dāng)前場景的待匹配圖像；提取待匹配圖像在不同尺度下的全局特征描述符矩陣；從樣本圖像中選取相似度最高的關(guān)鍵幀圖像；將待匹配圖像局部特征點和關(guān)鍵幀圖像上局部特征點進(jìn)行匹配，并剔除誤匹配的匹配點對；然后基于當(dāng)前剩下的匹配點對計算待匹配圖像相對于關(guān)鍵幀圖像的單應(yīng)矩陣，再利用所述單應(yīng)矩陣計算移動終端的位姿矩陣，基于位姿矩陣實現(xiàn)對關(guān)鍵幀圖像的跟蹤注冊。
【專利說明】適用于移動終端的戶外增強現(xiàn)實無標(biāo)志點跟蹤注冊方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于移動增強現(xiàn)實【技術(shù)領(lǐng)域】，具體涉及ー種適用于移動終端的戶外增強現(xiàn)實無標(biāo)志點跟蹤注冊方法。
【背景技術(shù)】
[0002]增強現(xiàn)實(AugmentedReality,簡稱 A R)是虛擬現(xiàn)實(Virtual Reality,簡稱VR)技術(shù)的ー個重要分支。由于其潛在的廣闊應(yīng)用空間成為近年來國際上的研究熱點。VR技術(shù)強調(diào)使用者在感官效果上的完全浸沉感，即沉浸在由計算機描繪的虛擬環(huán)境中，而新興的AR技術(shù)則是要借助顯示技術(shù)、交互技術(shù)、多種傳感技術(shù)和計算機圖形與多媒體技術(shù)將計算機生成的虛擬環(huán)境與使用者周圍的現(xiàn)實環(huán)境融為一體，使用戶從感官效果上確信虛擬環(huán)境是其周圍真實環(huán)境的組成部分，同時AR技術(shù)也克服了ー些VR技術(shù)對于逼真虛擬環(huán)境的苛刻要求:AR技術(shù)充分利用周圍業(yè)已存在的大量信息，在其基礎(chǔ)上加以擴充，這太大降低了對計算機圖形能力的要求；
[0003]總體地說，增強現(xiàn)實技術(shù)是借助計算機圖形技術(shù)和可視化技術(shù)產(chǎn)生現(xiàn)實環(huán)境不存在的虛擬對象，并通過傳感技術(shù)將虛擬對象準(zhǔn)確“放置”在真實環(huán)境中，借助顯示設(shè)備將虛擬對象與真實環(huán)境融為一體，并呈現(xiàn)給使用者ー個感官效果真實的新環(huán)境；所以增強現(xiàn)實系統(tǒng)具有虛實結(jié)合、實時交互、三維注冊的新特點為實現(xiàn)虛實間的完美結(jié)臺，三維跟蹤注冊(Registration)技術(shù)至關(guān)重要。三維注冊主要是指將計算機產(chǎn)生的虛擬物體與用戶周圍的真實環(huán)境全力位對準(zhǔn)，要求用戶在真實環(huán)境運動的過程中維持正確的對準(zhǔn)關(guān)系，三維跟蹤注冊所要完成的任務(wù)是由計算機視覺系統(tǒng)實時地檢測出用戶頭部的相對位置和視線方向，根據(jù)這些信息確定所要添加的虛擬物體在真實空間坐標(biāo)的映射位置，并將這些信息實時地顯示頭盔顯示器的正確位置。然而目前大多數(shù)增強現(xiàn)實系統(tǒng)的注冊對象均為空間坐標(biāo)位置已知的靜止物體。如筆畫、室外風(fēng)景、建筑物等。采用人為放置標(biāo)志點的方法以簡化圖像處理與識別的計算量。利用3D-2D特征點匹配的方法確定用戶的視點位姿，實現(xiàn)系統(tǒng)的三維注冊，然而在實際生活中，往往需要對運動物體添加增強信息以增強人們對客觀事物的感知和認(rèn)識，例如在機械裝配維修過程中，為運動的機械部件添加注釋性說明文字或圖像，以告訴用戶該部件當(dāng)前的運行狀況等類似的應(yīng)用廣泛存在于醫(yī)學(xué)、軍事、娛樂、教學(xué)等各個方面，因而對運動物體進(jìn)行跟蹤注冊的增強現(xiàn)實系統(tǒng)具有廣闊的應(yīng)用前景和極強的實用性。
[0004]以智能手機為平臺的戶外增強現(xiàn)實應(yīng)用，使得增強現(xiàn)實技術(shù)擺脫了大體積PC平臺的限制，算法的功耗低、所需存儲空間小。一些經(jīng)典的應(yīng)用有增強現(xiàn)實瀏覽器-LayAR，該瀏覽器可運行于Android手機平臺之上，用戶只需要將手機的攝像頭對準(zhǔn)感興趣場景，首先通過GPS定位用戶所在位置，然后利用羅盤判斷攝像頭所面對的方向，用戶就能在手機的屏幕上看到所拍攝的場景相關(guān)信息，甚至還包括周邊房屋出租、酒吧及餐館的打折信息、招聘啟事以及ATM等實用性的信息。Wikitude發(fā)布了兩款針對智能手機的增強現(xiàn)實的應(yīng)用Drive和WorldBrowser。Drive是關(guān)于增強現(xiàn)實實景導(dǎo)航的應(yīng)用，用戶看到的不是地圖，而是前方街道的實時視圖，以及疊加在視頻上方的導(dǎo)航數(shù)據(jù)。現(xiàn)在已經(jīng)在歐洲、澳大利亞、北美市場得到了應(yīng)用。World Browser也是一款另類但是很先進(jìn)導(dǎo)航的軟件，使用時需要開啟GPS定位，以獲得較為準(zhǔn)確的位置。當(dāng)你到一處景點、大樓或者城市的某個角落的時候，打開這個軟件對著你想了解的地方拍照，屏幕上馬上會顯示這個地方的有用信息，比如大樓內(nèi)部的餐館數(shù)量，訂座電話，酒店信息，景點名勝的有用信息，相關(guān)YouTuBe視頻，甚至其他網(wǎng)友發(fā)布上去的有關(guān)信息等等
[0005]以上介紹的戶外增強現(xiàn)實系統(tǒng)均采用GPS、羅盤等技術(shù)對用戶位置進(jìn)行定位，然后實現(xiàn)虛擬物體的顯示。然而物理傳感器通常存在刷新頻率和定位精度較低的問題，定位的準(zhǔn)確性和實時性都存在問題，特別是在天氣比較惡劣的情況下，定位的精度誤差較大，影響了基于位置的增強現(xiàn)實應(yīng)用的整體性能。
【發(fā)明內(nèi)容】
[0006]有鑒于此，本發(fā)明的主要目的針對移動終端處理器的計算能力和存儲器的容量不如PC機的強大，同時戶外環(huán)境范圍大、場景數(shù)量多的特點，提出了一種適用于移動終端的戶外增強現(xiàn)實無標(biāo)志點跟蹤注冊方法。
[0007]實現(xiàn)本發(fā)明的技術(shù)方案如下:
[0008]一種適用于移動終端的戶外增強現(xiàn)實無標(biāo)志點跟蹤注冊方法，主要包括訓(xùn)練準(zhǔn)備階段和跟蹤注冊階段，具體步驟為:
[0009]訓(xùn)練準(zhǔn)備階段:
[0010]①針對每一個樣本場景都獲取一用于表達(dá)該場景的樣本圖像，并獲取樣本圖像對應(yīng)場景的GPS信息和終端采集樣本圖像時的重力方向；
[0011]②提取每一樣本圖像在不同尺度下的全局特征描述符矩陣，并提取樣本圖像上各特征點的梯度主方向；然后將樣本圖像分成多個子區(qū)域，針對每一子區(qū)域計算其梯度方向和重力方向的夾角；
[0012]③以GPS信息為索引，建立各場景樣本圖像的全局特征描述符矩陣的索引表；
[0013]跟蹤注冊階段:
[0014]④移動終端采集當(dāng)前場景的待匹配圖像，并獲取當(dāng)前場景的GPS信息和移動終端采集圖像時的重力方向信息；
[0015]⑤利用邊緣檢測算法對待匹配圖像進(jìn)行特征點檢測，并計算所檢測到的各特征點的梯度主方向；然后針對待匹配圖像，提取其在不同尺度下的全局特征描述符矩陣；
[0016]⑥將待匹配圖像均勻分成多個子區(qū)域，針對每一子區(qū)域計算其邊緣特征點的梯度方向，再基于所述重力方向信息計算重力方向與各梯度方向的夾角；
[0017]⑦從樣本圖像庫索引表中選取與待匹配圖像的GPS信息最近的GPS信息對應(yīng)的鏈表，將待匹配圖像不同尺度的特征描述符矩陣與該鏈表中的樣本圖像不同尺度特征描述符矩陣進(jìn)行匹配，選取相似度最高的樣本圖像，將其定義為關(guān)鍵幀圖像；
[0018]⑧將待匹配圖像局部特征點和關(guān)鍵幀圖像上局部特征點進(jìn)行匹配，并計算所有匹配點對的梯度方向與重力方向夾角的差值，設(shè)定一個閾值為θ α，將夾角的差值小于θ α的匹配點對保留下來；
[0019]⑨對步驟⑧中保留下來的匹配點對，運用PROSAC算法進(jìn)行幾何一致性校驗，剔除誤匹配的匹配點對；然后基于當(dāng)前剩下的匹配點對計算待匹配圖像相對于關(guān)鍵幀圖像的單應(yīng)矩陣，再利用所述單應(yīng)矩陣計算移動終端的位姿矩陣[R It]，基于位姿矩陣[R|t]實現(xiàn)對 關(guān)鍵幀圖像的跟蹤注冊。
[0020]進(jìn)一步地，本發(fā)明在步驟⑤特征點檢測之前，對待匹配圖像進(jìn)行降采樣處理。
[0021]進(jìn)一步地，本發(fā)明在步驟⑤特征點檢測完成后，在待匹配圖像上選取一中心點，計 算中心點的梯度方向，并將待匹配圖像繞中心點逆時針旋轉(zhuǎn)到該梯度方向下；后續(xù)步驟皆 為在旋轉(zhuǎn)后的圖像上進(jìn)行的。
[0022]有益效果
[0023](1)在本發(fā)明中通過在樣本庫的建立過程中，建立樣本圖像不同尺度(相當(dāng)于即金 字塔尺度）矩陣特征描述符和當(dāng)前場景的待匹配圖像的不同尺度空間矩陣特征描述符，然 后將兩者進(jìn)行矩陣匹配，尋找相似圖像，提高了匹配的準(zhǔn)確性和魯棒性。
[0024](2)本發(fā)明中引入了地理位置GPS信息的約束，建立區(qū)域場景的聚類中心坐標(biāo)的 GPS值為鏈表的索引，在很大程度上縮小了基于視覺方法的場景識別的檢索范圍，因此進(jìn)一 步縮短了后續(xù)場景識別過程的處理時間，實現(xiàn)了較高的場景識別率。
[0025](3)本發(fā)明中運用重力方向與邊緣特征的梯度主方向的夾角，對匹配點進(jìn)行過濾， 再利用場景的不同視圖之間的幾何一致性關(guān)系來剔除誤匹配點對，確保了無標(biāo)跟蹤注冊的 魯棒性，又滿足了增強現(xiàn)實對于跟蹤注冊的快速、準(zhǔn)確的要求。
【專利附圖】
【附圖說明】
[0026]圖1為本發(fā)明中移動終端上的戶外增強現(xiàn)實無標(biāo)注冊算法流程圖；
[0027]圖2為本發(fā)明中圖像不同尺度的邊緣特征示意圖；
[0028]圖3為本發(fā)明中邊緣特征的梯度主方向與重力方向的夾角示意圖；
[0029]圖4為本發(fā)明中圖像邊緣特征的全局描述矩陣結(jié)構(gòu)圖；
[0030]圖5為本發(fā)明中室外場景樣本圖像的邊緣特征向量的索引結(jié)構(gòu)圖。
【具體實施方式】
[0031]下面將結(jié)合附圖對本發(fā)明的跟蹤注冊方法做詳細(xì)描述。
[0032]如圖1所示，本發(fā)明適用于移動終端的戶外增強現(xiàn)實無標(biāo)志點跟蹤注冊方法，主 要包括訓(xùn)練準(zhǔn)備階段和跟蹤注冊階段，具體步驟為：
[0033]訓(xùn)練準(zhǔn)備階段：
[0034]①針對每一個樣本場景都獲取一用于表達(dá)該場景的樣本圖像，并獲取樣本圖像對 應(yīng)場景的GPS信息和終端采集樣本圖像時的重力方向；
[0035]一般來說可以按場景獲取圖像，例如從智能手機或者帶GPS、重力傳感的攝像機等 圖像采集設(shè)備實地拍攝，每個場景從不同角度獲取幾幅樣本圖像，場景的GPS信息就是樣 本圖像的GPS信息。
[0036]②提取每一樣本圖像在不同尺度下的全局特征描述符矩陣；為了提高后續(xù)待匹配 圖像與樣本圖像之間匹配的準(zhǔn)確性，在本發(fā)明中，提取樣本圖像上各特征點的梯度主方向； 然后將樣本圖像分成多個子區(qū)域，針對每一子區(qū)域計算其梯度方向和重力方向的夾角；如 圖3所示。將所述各特征點的梯度主方向和所述夾角作為后續(xù)進(jìn)一步匹配的條件，這樣可 以大大提高匹配的準(zhǔn)確性。[0037]③對場景的GPS值進(jìn)行聚類，即找出各場景所屬區(qū)域的GPS信息，建立以GPS信息為索引特征鏈表，將樣本圖像的特征描述符矩陣、夾角及子區(qū)域梯度主方向，存儲到距離自己最近GPS信息的鏈表中，如圖5所示，在圖5的鏈表中，每ー索引節(jié)點對應(yīng)ー個樣本圖像，在每一索引所指向的后續(xù)表格用于存儲樣本圖像的相關(guān)信息，在本發(fā)明中用于存儲樣本圖像的特征描述符矩陣、夾角及子區(qū)域梯度主方向，同時還可以存儲樣本圖像的ID、邊緣特征位置坐標(biāo)等等。
[0038]跟蹤注冊階段:
[0039]SI:用戶打開移動終端(可以為智能手機)的拍攝設(shè)備，移動終端采集當(dāng)前場景的待匹配圖像；再調(diào)用移動終端的GPS傳感器和重力傳感器接ロ，獲取移動終端采集圖像時的重力方向イM息和當(dāng)如場景的GPSイg息。
[0040]S2:為了降低運算量，終端對采集到的待匹配圖像進(jìn)行降采樣處理(即降低圖像分辨率)，將圖像分辨率統(tǒng)ー降為320X240 ;然后采用Sobel邊緣檢測算法對待匹配圖像的進(jìn)行特征點檢測，獲得待匹配圖像的邊緣特征點，并計算各邊緣特征點的梯度主方向。
[0041]戶外環(huán)境中的場景復(fù)雜，不同場景所具有的典型特征各不相同。例如建筑物、車輛等物體的邊緣特征要較 其紋理特征更為明顯。因此若要用紋理特征區(qū)分邊緣特征比較豐富的圖像可能效果欠佳。紋理特征通常用圖像中以特征點為中心的圖像塊來表示。本發(fā)明提取邊緣特征點采用目前較為常用的Sobel邊緣檢測，能有效的抑制噪聲，快速確定邊緣的位置。在使用Sobel邊緣算子時，首先建立圖像的金字塔尺度空間，設(shè)尺度抽樣層的圖像為
I(X，y; O ),在姆ー層使用5x5的高斯核和Sobel算子沿著x和y方向計算圖像ー階近似的梯度VI(x,y; a)，選擇局部梯度值最大的像素，并且滿足該梯度值大于一個閾值Q1的點為邊緣特征點，一般0 !設(shè)為50 ;然后，將同一尺度的邊緣特征，按梯度值進(jìn)行降序排列，邊
緣特征點的梯度主方向設(shè)為0通過arctan 獲得。
[0042]S3:選取一中心點，計算中心點的梯度方向，將待匹配圖像繞中心點旋轉(zhuǎn)到該梯度方向下；中心點選取的原則是:在原始圖像層(原始圖像就是沒有進(jìn)行任何的高斯平滑處理的圖像)中選取邊緣特征點的16 O鄰域內(nèi)存在的其它邊緣特征點的個數(shù)最多的邊緣像素點為中心點，其中0表示高斯平滑的尺度參數(shù)，值越大圖像就越模糊，它模擬了人的眼睛，當(dāng)人離物體越近看到的東西就越清晰，離得越遠(yuǎn)看到的東西就越模糊，O的大小代表了模糊程度。
[0043]S4:針對S3旋轉(zhuǎn)后的待匹配圖像，提取其不同尺度下的全局特征描述符矩陣，如圖2所示。
[0044]本實施例中提取不同尺度下的全局特征描述符矩陣采用現(xiàn)有技術(shù)實現(xiàn)，下面對某一尺度下全局特征描述符矩陣的提取方法進(jìn)行簡單說明:
[0045]將待匹配圖像分割成均勻的子區(qū)域，針對每一子區(qū)域計算梯度值最大的像素點，并計算該像素點的梯度方向；然后將梯度方向量化為8bit的梯度向量，并將所有子區(qū)域?qū)?yīng)的梯度向量鏈接生成全局特征描述符矩陣對待匹配圖像進(jìn)行表示。例如，在圖4所示的待匹配圖像中，一共分割成RXR個子區(qū)域，子區(qū)域大小是SubXSub，圖像區(qū)域大小是RSubXRSub,區(qū)域中心點是(x, y, Orientation)。
[0046]設(shè)梯度方向角為r，量化的位數(shù)為B，C(r)為子區(qū)域的量化的向量并且屬于{0，1}B，Ci (r)為C向量中第i個元素，具體量化公式如下:
【權(quán)利要求】
1.一種適用于移動終端的戶外增強現(xiàn)實無標(biāo)志點跟蹤注冊方法，其特征在于，主要包 括訓(xùn)練準(zhǔn)備階段和跟蹤注冊階段，具體步驟為:訓(xùn)練準(zhǔn)備階段:①針對每一個樣本場景都獲取一用于表達(dá)該場景的樣本圖像，并獲取樣本圖像對應(yīng)場 景的GPS信息和終端采集樣本圖像時的重力方向；②提取每一樣本圖像在不同尺度下的全局特征描述符矩陣，并提取樣本圖像上各特征 點的梯度主方向；然后將樣本圖像分成多個子區(qū)域，針對每一子區(qū)域計算其梯度方向與所 述重力方向的夾角；③以GPS信息為索引，建立各場景樣本圖像的全局特征描述符矩陣的索引表；跟蹤注冊階段:④移動終端采集當(dāng)前場景的待匹配圖像，并獲取當(dāng)前場景的GPS信息和移動終端采集 圖像時的重力方向信息；⑤利用邊緣檢測算法對待匹配圖像進(jìn)行特征點檢測，并計算所檢測到的各特征點的梯 度主方向；然后針對待匹配圖像，提取其在不同尺度下的全局特征描述符矩陣；⑥將待匹配圖像均勻分成多個子區(qū)域，針對每一子區(qū)域計算其邊緣特征點的梯度方 向；再基于所述重力方向信息計算重力方向與各梯度方向的夾角；⑦從樣本圖像庫的索引表中選取與待匹配圖像的GPS信息最近的GPS信息對應(yīng)的鏈 表，將待匹配圖像不同尺度的特征描述符矩陣與該鏈表中的樣本圖像不同尺度的特征描述 符矩陣進(jìn)行匹配，選取相似度最高的樣本圖像，將其定義為關(guān)鍵幀圖像；⑧將待匹配圖像局部特征點和關(guān)鍵幀圖像上局部特征點進(jìn)行匹配，并計算所有匹配點 對的梯度方向與重力方向夾角的差值，設(shè)定一個閾值為9 a，將夾角的差值小于9 a的匹配 點對保留下來；⑨對步驟⑧中保留下來的匹配點對，運用PROSAC算法進(jìn)行幾何一致性校驗，剔除誤匹 配的匹配點對；然后基于當(dāng)前剩下的匹配點對計算待匹配圖像相對于關(guān)鍵幀圖像的單應(yīng)矩 陣，再利用所述單應(yīng)矩陣計算移動終端的位姿矩陣[R It]，基于位姿矩陣[R|t]實現(xiàn)對關(guān)鍵 幀圖像的跟蹤注冊。
2.根據(jù)權(quán)利要求1所述適用于移動終端的戶外增強現(xiàn)實無標(biāo)志點跟蹤注冊方法，其特 征在于，在步驟⑤特征點檢測之前，對待匹配圖像進(jìn)行降采樣處理。
3.根據(jù)權(quán)利要求1或2所述適用于移動終端的戶外增強現(xiàn)實無標(biāo)志點跟蹤注冊方法， 其特征在于，在步驟⑤特征點檢測完成后，在待匹配圖像上選取一中心點，計算中心點的梯 度方向，并將待匹配圖像繞中心點逆時針旋轉(zhuǎn)到該梯度方向下；后續(xù)步驟皆為在旋轉(zhuǎn)后的 圖像上進(jìn)行的。
【文檔編號】G06F17/30GK103530881SQ201310483333
【公開日】2014年1月22日 申請日期:2013年10月16日 優(yōu)先權(quán)日:2013年10月16日
【發(fā)明者】桂振文, 劉越, 王涌天 申請人:北京理工大學(xué)