一種時空域聯(lián)合約束的三視點立體視頻深度提取方法
【專利摘要】本發(fā)明提供一種時空域聯(lián)合約束的三視點立體視頻深度提取方法，針對中心視點圖像，利用從左右視點圖像尋找最佳匹配點；利用BP算法和平面融合方法優(yōu)化基于能量函數(shù)的視差估計過程；利用三視圖視差和遮擋信息迭代優(yōu)化；利用光流法構建相鄰幀時域視差約束關系，定義了光流法置信度，抑制了視差序列時域跳變；利用二項式亞像素估計和聯(lián)合雙邊濾波，消除由于視差值量化帶來的錯誤，并獲取亞像素精度的視差；所求視差經(jīng)量化后得到最終的深度序列。與僅利用單幀進行約束相比，本發(fā)明尋找多參考幀光流，能夠很好地避免空域錯誤在時域上的傳播。因此，本發(fā)明能夠通過三視點圖像來求取時空域上均連續(xù)且準確的深度圖像序列。
【專利說明】一種時空域聯(lián)合約束的三視點立體視頻深度提取方法
【技術領域】
[0001]本發(fā)明涉及的是一種立體視頻深度提取【技術領域】的方法，具體是一種利用時空域聯(lián)合約束提取三視點立體視頻深度信息的方法。
【背景技術】
[0002]深度圖像由于包含場景立體結構信息，在計算機視覺領域，被廣泛的應用于三維建模(3D Modeling)、圖像層次分割(Layer Separation)、基于深度圖像的繪制(DepthImage Based Rendering)及視頻編緝(Video Editing)等。針對立體圖像,應用對應點匹配等技術可以得到立體圖像的視差信息，通過所提取視差的量化得到立體圖像對應的深度信息。因此，深度信息提取作為計算機視覺的一個重要基礎和基本課題，已經(jīng)被進行了廣泛并且深入的研究。一般來說，視差估計將受到遮擋、匹配歧義性(同質(zhì)區(qū)域)、重復性紋理、色彩異常值等因素的影響，使得其成為一個十分具有挑戰(zhàn)性的課題。根據(jù)立體匹配策略的不同，視差估計大致可以分為兩類方法:局部的方法和全局的方法。局部的方法主要根據(jù)某像素的鄰域特征(局部結構特征)來尋找匹配點，如(SAD，MAD等)，該類方法考慮到了像素的結構信息，對色彩異常不敏感，但對同質(zhì)區(qū)域，重復性紋理等結構的魯棒性較差。近年來，全局的方法取得了更為滿意的結果。該類方法通過在馬爾科夫隨機場(Markov Random Field)上定義立體匹配能量函數(shù)，并利用比較流行的優(yōu)化算法如置信傳播(Belief Propagation)或圖割(Graph Cuts)等來進行優(yōu)化。
[0003]經(jīng)過對現(xiàn)有技術文獻的檢索發(fā)現(xiàn)，Jian Sun等于2005年在《Computer Vision andPattern Recognition (計算機視覺與模式識別)》上發(fā)表的“Symmetric Stereo Matchingfor Occlusion Handling (基于對稱立體匹配的遮擋估計)”中提出了對稱立體匹配模型。通過迭代地利用深度信息更新遮擋信息、利用遮擋信息更新深度信息，能夠較魯棒的估計出遮擋區(qū)域。然而相對于三視點立體圖像，由于其采用兩視點的策略，本身缺少遮擋區(qū)域信息，因此，遮擋區(qū)域的深度信息不能得到很好地估計。
[0004]又經(jīng)檢索發(fā)現(xiàn)，GuofengZhang 等于 2009 年在《IEEE Transaction on PatternAnalysis and Machine Learning( IEEE模式分析與機器學習期刊)》上發(fā)表的“ConsistentDepth Maps Recovery from a Video Sequence (基于視頻序列的連續(xù)深度圖像估計)”中提出了捆綁優(yōu)化(Bundle Optimization)深度序列提取方法。該方法利用了空間上的一致性約束，使得深度序列在時域上穩(wěn)定。由于他們的方法是針對視頻序列，因此當輸入的視點數(shù)量較少時，該方法的效果將下降。因此，該方法被限制于靜止場景的深度估計，并且要求攝像機有足夠的運動。

【發(fā)明內(nèi)容】

[0005]針對現(xiàn)有技術中的缺陷，本發(fā)明的目的在于提出一種基于空間域與時間域聯(lián)合約束的三視點深度圖像序列提取方法。該方法通過平面約束、空間域約束與時間域約束，利用置信傳播算法在馬爾科夫隨機場上優(yōu)化約束后的能量函數(shù)，進行視差圖與遮擋區(qū)域的迭代優(yōu)化，由三視點圖像來求取時空域上均連續(xù)且準確的深度圖像序列，可廣泛應用于3D節(jié)目制作、圖像分割、視頻編緝和虛擬現(xiàn)實等領域。
[0006]本發(fā)明是通過以下技術方案實現(xiàn)的，本發(fā)明針對中心視點圖像，利用從左右視點圖像尋找最佳匹配點，以保證視差圖初始化對遮擋區(qū)域的魯棒性；利用BP算法和平面融合方法優(yōu)化基于能量函數(shù)的視差估計過程，以保持所估計視差對平面分割錯誤的魯棒性；利用三視圖視差和遮擋信息迭代優(yōu)化，減小能量函數(shù)陷入局部極小值的可能性，提高了視差估計精度；利用光流法構建相鄰幀時域視差約束關系，定義了光流法置信度，抑制了視差序列時域跳變，保證了最終結果對光流法錯誤保持魯棒；利用二項式亞像素估計和聯(lián)合雙邊濾波，消除由于視差值量化帶來的錯誤，并獲取亞像素精度的視差；所求視差經(jīng)量化后得到最終的深度序列。
[0007]所述方法，具體包括以下步驟:
[0008]第一步，中間視點視差圖像初始化。對于t時刻中間視點圖像It，c，求取其初始匹配能量分布，利用BP算法優(yōu)化能量函數(shù)，并加入Meanshift圖像分割對視差估計加入平面
約束，求得對應的視差圖像 <礙。
[0009]所述求取初始匹配能量分布，包括以下步驟:
[0010]I)對于中間視點圖像It，c中像素χε=(χ，y)和給定視差dx，其在右視點圖像It，K中的對應像素為Χκ= (χ，y-dx)。定義匹配代價函數(shù)為:
【權利要求】
1.一種基于時空域聯(lián)合約束的三視點立體視頻深度提取方法，其特征在于，包括以下步驟: 第一步，視差圖初始化，像素相似性由像素RGB值之差及Census相似性的線性組合決定；初始化能量函數(shù)，針對中間視點圖像It,c:(x。)的點Xe，是從左視點或右視點選取匹配點，以此對于所有Xc都能找到匹配點，該能量函數(shù)由(I)式定義，利用多參數(shù)Meanshift平面分割與平面擬合，引入平面約束； 對于中間視點圖像It,c中像素Xc=U, y)和給定視差dx，其在右視點圖像It，K中的對應像素為Xk= (X，y_dx)，定義匹配代價函數(shù)為:
Costc R(xc, dx) =τ.WXC) 3 ^ (xR)1 + (1- r).Ccensus(/tc(xc), /t；K(xR))
其中第一項表示x。與xK的RGB絕對值之差的平均值，所述C_sus(It，e(x。)，It，K(xK))表示X。與xK的局部結構相似性；所述的τ為加權因子； 定義能量函數(shù)如下:
略"…t,c; Costc>R, CostCiL) = Exc min (p (costc>R(xc, dj) , p (Costc,L(xc, dj)) + 其

咤cOc)⑴中P ((^-。((!、^^(-^(^+。，是一個對于噪聲魯棒的截斷函數(shù)’咕辦^是便于使用BP算法優(yōu)化的平滑項函數(shù)，其定義為:
段C(Xc) = Exc Eyce/v(Xc)^s.A(xc,yc).min(|￡>t,c(xc) - α (νε)|,ηχ)
其中，λ (xc, yc)= ε/( ε+I I It，c(xc)-1t，c(yc) I |2)，N(Xc)表示像素 xc 的鄰域，||.|| 2 為.2范數(shù)，最后，利用BP算法優(yōu)化能量函數(shù)(1)，得到初始視差圖句,f; 所述的取值范圍是:[0.1，0.4]，％的取值是0.01，Od的取值是4.0，1的取值是.2，ε的取值范圍是[5.0, 15.0]； 第二步，利用得到的視差圖像中間視點視差圖與遮擋信息的迭代更新，并利用BP算法對視差圖能量函數(shù)(3)與遮擋區(qū)域能量函數(shù)(2)進行優(yōu)化，利用多參數(shù)平面融合求取中間視點初始視差圖，利用更新好的遮擋信息進行左右視差圖初始化； 遮擋圖像能量函數(shù)定義為:
Eo(P(:,L> Oc R ； DffC) = Xxc Et'c + Ptc + ZycEA/(xc) βο.(IUxC) — Oc I (yc)| +

|^c,k(xc) — ^?(yc) |)(2)Etc (Dt,cm> CostlR, Cost1Cih) = Excw(xc).(O0Xxc)0Cjfi(x(:)/? + (l - Oc^(xc)j (I +0(:,i,(xc)).P (cost^R(xc, dx)) + (I — Oc,L(xc)) (I + Oc,K(xc)).p (co,st^L(xc, dj)) +


KcM (3)
2.如權利要求1所述的一種時空域聯(lián)合約束的三視點立體視頻深度提取方法，其特征在于:利用τ控制顏色信息與Census信息的比重，τ的取值范圍為[0.3，0.7]。
3.如權利要求1所述的一種時空域聯(lián)合約束的三視點立體視頻深度提取方法，其特征在于:所述利用多參數(shù)Meanshift平面分割與平面擬合，引入平面約束，具體為: a)利用Meanshift對中間視點圖像It，c進行圖像分割，得到圖像平面的分割結果sic(i = 1,..,0; b)對于分割得到的每個平面Stc利用視差圖句;^中與該區(qū)域?qū)某跏家暡钪?，將其擬合為空間中的3D平面，即:對于干囬4c及X = 0,y) e S1tc，其深度值由dfaiX+biy+Ci給出，其中Lai匕Ci]為3D平面系數(shù)方程； 所述的擬合過程如下: [1]對于由BP算法優(yōu)化后的視差圖餌f，首先假設對應的3D平面與成像面平行，即假設％=0Λ=0，由與區(qū)域?qū)挠嬎愠鲎钚』芰考茨芰亢瘮?shù)公式(I) Wci，并記錄該區(qū)域能量值； [2]假設每>c對應的3D平面與成像面相交，利用最小二乘法計算出該3D平面系數(shù)，利用平面系數(shù)計算出擬合平面的每個像素視差值d' x ;對于3D平面中每個像素，計算其在[d' x-m，d' x+m]范圍內(nèi)對應能量函數(shù)即公式(I)的最小代價視差，其中，d' x為利用當前3D平面系數(shù)所計算出的像素X的視差值，m為以d' x為中心的搜索范圍，據(jù)此更新得到新的3D擬合平面，并進行最小二乘計算更新3D平面系數(shù)，重復此過程直到3D平面系數(shù)收斂；最后計算對應其余平面能量；所述m的取值范圍為[2，5]； [3]當[2]中擬合平面滿足條件Condition時,利用[2]中所算3D平面系數(shù)更新平面內(nèi)像素點對應視差，否則，利用[I]中所計算的3D平面系數(shù)更新平面內(nèi)各像素點的視差，得到更新后的視差圖像OtiJane; 所述條件Condition為:Ι.[2]中平面能量小于[I]中平面能量；
I1.擬合平面內(nèi)點率InlierRatio大于nr ； 所述L的取值范圍為[0.3，0.6];所述內(nèi)點率InlierRatio為:

4.如權利要求1所述的一種時空域聯(lián)合約束的三視點立體視頻深度提取方法，其特征在于:左右視圖遮擋信息0K，e(xK)，0L；c(xL)的初始化由中間視圖向左右分別映射求取，中間視圖遮擋初始信息Wjx。)^We(Xc)由中間視圖向左右映射，并根據(jù)視差圖大小排序求取。
5.如權利要求1所述的一種時空域聯(lián)合約束的三視點立體視頻深度提取方法，其特征在于:第三步中，對視差圖進行空間一致性約束，其中迭代過程按照中間視差圖中間視圖遮擋信息Oa^ 0QK，左右視圖遮擋信息(\，c，0E,c,左右視差圖Dff的順序進行迭代求取，迭代過程為1-2次。
6.如權利要求1所述的一種時空域聯(lián)合約束的三視點立體視頻深度提取方法，其特征在于:第四步中，對視差圖序列進行時域約束，其中光流置信度定義為:
7.如權利要求1所述的一種時空域聯(lián)合約束的三視點立體視頻深度提取方法，其特征在于:第五步中，亞像素值由下式算出:
【文檔編號】H04N13/00GK103702098SQ201310664540
【公開日】2014年4月2日 申請日期:2013年12月9日 優(yōu)先權日:2013年12月9日
【發(fā)明者】周軍, 徐抗, 孫軍, 馮可 申請人:上海交通大學