專利名稱：用于改進(jìn)的背景－前景分割的使用目標(biāo)分類的增強(qiáng)背景模型的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)系統(tǒng)執(zhí)行的背景-前景分割，特別是涉及在背景-前景分割中使用的改進(jìn)的背景模型的產(chǎn)生和維持。
背景-前景分割是用于在靜止照相機(jī)的取景范圍內(nèi)檢測目標(biāo)的公知的基于計(jì)算機(jī)視覺的技術(shù)。開始，系統(tǒng)在沒有目標(biāo)出現(xiàn)的情況下，在訓(xùn)練階段學(xué)習(xí)場景。在訓(xùn)練階段利用從該場景捕獲的一系列圖像建立該場景的背景模型。此后，在正常的操作期間，將新的圖像與該背景模型進(jìn)行比較。將與背景模型具有顯著區(qū)別的像素位置歸類為前景像素，而將剩余的像素標(biāo)記為背景像素。該算法的輸出通常為二進(jìn)制圖像，該圖像描述在場景中出現(xiàn)的前景目標(biāo)的輪廓。
對于開闊戶外區(qū)域例如停車場、或封閉的大型場所例如倉庫、辦公空間、或地鐵站臺(tái)中的人和其它目標(biāo)，傳統(tǒng)的背景-前景分割技術(shù)可以很好地將它們分割和跟蹤。但是這些場景與通常的家庭中的場景有很大不同。例如，居住環(huán)境通常在很小的區(qū)域內(nèi)包含很多目標(biāo)。另外，居住環(huán)境中的很多目標(biāo)都是軟性的，例如衣服和窗簾，或者是容易變形的，例如家具和百葉窗(或這兩者都是)，而且人們在居住環(huán)境中會(huì)經(jīng)常改變他們的姿勢，例如，在站立、坐下和躺下位置之間改變。
大多數(shù)已知的背景-前景分割技術(shù)都不能在混亂環(huán)境中聚集很多下肢部分，非垂直身體姿勢和大型背景目標(biāo)例如門、椅子和桌子自然運(yùn)動(dòng)的情況下有效工作。因此需要一種方法和裝置來產(chǎn)生和維持用于背景-前景分割的改進(jìn)的背景模型。
通常，公開了一種用于產(chǎn)生和維持在背景-前景分割中使用的改進(jìn)背景模型的方法和裝置。根據(jù)本發(fā)明的一個(gè)方面，使用該增強(qiáng)的背景模型來改進(jìn)背景和前景的分割。根據(jù)本發(fā)明來修改該背景模型，從而包含通常靜止的目標(biāo)的標(biāo)識(shí)。此后，如果一個(gè)目標(biāo)移動(dòng)且已經(jīng)被識(shí)別為通常為靜止的目標(biāo)，則在背景-前景分割期間不會(huì)不必要地將該目標(biāo)識(shí)別為前景的一部分。
在示例性實(shí)施方案中，將運(yùn)動(dòng)目標(biāo)分為兩個(gè)集合。第一集合包括通常獨(dú)立運(yùn)動(dòng)的目標(biāo)，例如人和動(dòng)物，第二集合包括通常靜止的目標(biāo)，例如家具。通常，一旦將一目標(biāo)分到第二(靜止目標(biāo))集合，則即使該目標(biāo)被移動(dòng)(通常該目標(biāo)的運(yùn)動(dòng)會(huì)導(dǎo)致該目標(biāo)變?yōu)榍熬暗囊徊糠?，仍將該目標(biāo)保留在背景中。
可以使用本發(fā)明的增強(qiáng)背景模型來改進(jìn)背景-前景分割。在訓(xùn)練過程中，估計(jì)該背景模型的參數(shù)。當(dāng)檢測到目標(biāo)的運(yùn)動(dòng)時(shí)，將該目標(biāo)歸類為這兩集合中的一集合。在正常操作期間，利用該背景模型對所捕獲圖像的相似概率進(jìn)行估計(jì)。將具有低相似概率且屬于沒有預(yù)先被標(biāo)識(shí)為靜止目標(biāo)的背景場景的像素歸類為前景，而將剩余的像素標(biāo)記為背景。
通過參照下面的詳細(xì)說明和附圖，可以對本發(fā)明以及本發(fā)明的進(jìn)一步特征和優(yōu)點(diǎn)有更完整的理解。


圖1示出根據(jù)本發(fā)明優(yōu)選實(shí)施例用于執(zhí)行背景-前景分割的示例性系統(tǒng)的方塊圖。
圖2示出根據(jù)本發(fā)明優(yōu)選實(shí)施例用于對執(zhí)行背景-前景分割的系統(tǒng)的輸入圖像進(jìn)行分類的方法流程圖。
圖3示出根據(jù)本發(fā)明優(yōu)選實(shí)施例用于訓(xùn)練執(zhí)行背景-前景分割的系統(tǒng)的方法流程圖。
圖4示出用于描述圖1中的背景模型目標(biāo)分類處理的示例性實(shí)施例的流程圖。
現(xiàn)在參照圖1，根據(jù)本發(fā)明優(yōu)選實(shí)施例，所示的視頻處理系統(tǒng)120產(chǎn)生并維持用于背景-前景分割的背景模型。視頻處理系統(tǒng)120通過視頻輸入107、數(shù)字通用光盤(DVD)110和網(wǎng)絡(luò)115與一個(gè)或更多照相機(jī)進(jìn)行互操作。視頻處理系統(tǒng)120包括處理器130、介質(zhì)接口135、網(wǎng)絡(luò)接口140和存儲(chǔ)器145。存儲(chǔ)器145包括圖像抓取器150、輸入圖像155、背景模型產(chǎn)生/維持處理200/300、背景模型目標(biāo)分類處理400、概率表165、全局閾值180、像素閾值195和所分割的圖像190。
在示例性實(shí)施例中，如下所述，背景模型為概率表165集合，該集合包括多個(gè)概率表170-11到170-HW。圖1中所示的一個(gè)概率表170-11包含項(xiàng)目175-11到175-NM。通常背景模型是為每個(gè)照相機(jī)建立的，從而易于快速分割前景和背景。為了防止需要背景模型來檢測每個(gè)目標(biāo)(處理為前景目標(biāo))，根據(jù)本發(fā)明修改背景模型從而使其包含通常為靜止的目標(biāo)標(biāo)識(shí)。此后，如果目標(biāo)運(yùn)動(dòng)且已經(jīng)被標(biāo)識(shí)為通常為靜止的目標(biāo)，則在背景-前景分割期間不會(huì)不必要地將該目標(biāo)變?yōu)榍熬暗囊徊糠帧?br> 在一個(gè)實(shí)施方式中，將運(yùn)動(dòng)目標(biāo)歸類到兩集合中的一集合中。第一集合包括通常獨(dú)立運(yùn)動(dòng)的目標(biāo)，例如人和動(dòng)物。當(dāng)?shù)谝患现械哪繕?biāo)在圖像中運(yùn)動(dòng)時(shí)，該目標(biāo)將變?yōu)榍熬暗囊徊糠?。該第二集合包括通常為靜止的目標(biāo)，例如家具。通常一旦將目標(biāo)歸類為第二集合，則即使該目標(biāo)被移動(dòng)(通常該目標(biāo)的運(yùn)動(dòng)會(huì)導(dǎo)致該目標(biāo)變?yōu)榍熬暗囊徊糠?，也仍將該目標(biāo)保留在背景中。通過這種方式，當(dāng)背景目標(biāo)被移動(dòng)時(shí)，不會(huì)不必要地將該背景目標(biāo)變?yōu)榍熬暗囊徊糠帧?br> 如圖1所示，視頻處理系統(tǒng)120從照相機(jī)105將視頻輸入107耦合到圖像抓取器150中。圖像抓取器150從該視頻輸入107中“抓取”一個(gè)單獨(dú)圖像，并生成輸入圖像155，該輸入圖像通常為多個(gè)像素。很明顯，輸入圖像155包括高度方向的H個(gè)像素和寬度方向的W個(gè)像素，每個(gè)像素具有分別對應(yīng)紅、綠和藍(lán)(RGB)信息的8位，總共為24位的RGB像素?cái)?shù)據(jù)。也可以使用其它系統(tǒng)表現(xiàn)圖像，但通常使用RGB。
該背景-前景分割處理200，300產(chǎn)生背景模型，并執(zhí)行背景-前景分割。背景-前景分割處理200是在視頻處理系統(tǒng)120的正常操作期間使用的，而背景-前景分割處理300是在訓(xùn)練中使用以便產(chǎn)生背景模型。一個(gè)單獨(dú)的處理應(yīng)當(dāng)執(zhí)行處理200和300，該單獨(dú)處理可以簡單被配置到正常操作模式或訓(xùn)練模式。但是，如果需要也可以使用分離處理。
在視頻處理系統(tǒng)120的正常操作期間，背景-前景分割處理200使用概率表165來確定輸入圖像155中的HxW個(gè)像素中每個(gè)像素的似然概率。將每個(gè)似然概率與像素閾值195比較。如果該似然概率低于像素閾值195，則假設(shè)該像素屬于背景。通過背景-前景分割處理200還可能修改概率模型，從而允許視頻處理系統(tǒng)120假設(shè)，如果像素的似然概率大于像素閾值195，則該像素屬于背景。對于視頻處理系統(tǒng)120來說，如果該像素的似然概率在像素閾值范圍內(nèi)，甚至可能將該像素分配給背景。但是，為了簡便起見，在此假設(shè)，如果像素的似然概率低于像素閾值195，則可以假設(shè)該像素屬于背景。
在正常操作期間，背景-前景分割處理200通過使用概率表165和像素閾值195從輸入圖像中確定所分割的圖像190。另外，背景-前景分割處理200可以使用概率模型(未示出)來確定每個(gè)像素的似然概率。下面將詳細(xì)討論優(yōu)選概率模型。這些概率模型在背景-前景分割處理200根據(jù)該模型執(zhí)行一系列步驟的意義上被“置入”背景-前景分割處理200(和300)中。換句話說，背景-前景分割處理200利用一個(gè)或多個(gè)概率模型至少部分限定了它的步驟。為了簡便起見，用于執(zhí)行背景-前景分割的概率模型和背景-前景分割處理將被認(rèn)為可以互換。但是，應(yīng)當(dāng)注意在執(zhí)行根據(jù)模型確定概率的必須的步驟的同時(shí)，背景-前景分割處理還有與根據(jù)模型確定概率不相關(guān)的其它步驟。例如，從輸入圖像155中檢索數(shù)據(jù)并將這些數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)中都是不根據(jù)概率模型執(zhí)行的可能步驟。
在訓(xùn)練期間，背景-前景分割處理300定義和改進(jìn)了概率表170-11到170-HW(在此總的來說“概率表170”)。優(yōu)選地，對輸入圖像155的每個(gè)像素都有一個(gè)概率表。每個(gè)概率表具有一個(gè)MxN矩陣，如對于概率表170-11所示具有項(xiàng)目175-11到175-NM(在此總的來說“項(xiàng)目175”)。每個(gè)像素應(yīng)當(dāng)有M個(gè)全局狀態(tài)和N個(gè)高斯模式。通常，每個(gè)概率表170將以一個(gè)全局狀態(tài)和一個(gè)高斯模式開始，在訓(xùn)練后包含MxN個(gè)項(xiàng)目175。
在訓(xùn)練期間，背景-前景分割處理300使用全局閾值180來確定是否應(yīng)當(dāng)加入一個(gè)狀態(tài)或者修改所選擇狀態(tài)的參數(shù)。在訓(xùn)練期間使用像素閾值195來確定是否應(yīng)當(dāng)加入另一個(gè)高斯模式或是否應(yīng)當(dāng)調(diào)節(jié)所選擇高斯模式的參數(shù)。
應(yīng)當(dāng)注意該示例性背景-前景分割處理300允許訓(xùn)練遞增。該示例性背景-前景分割處理300可以在每次將圖像輸入到模型中或已經(jīng)將預(yù)定數(shù)目圖像輸入到模型之后調(diào)節(jié)該模型的參數(shù)。即使后者是可能的，也優(yōu)選前者。
如本領(lǐng)域公知，本文中所述的方法和裝置可作為一種制造商品銷售，該商品本身包括計(jì)算機(jī)可讀介質(zhì)，該介質(zhì)具有配備在其上的計(jì)算機(jī)可讀代碼裝置。計(jì)算機(jī)可讀程序代碼裝置是可操作的，與例如視頻處理系統(tǒng)120的計(jì)算機(jī)系統(tǒng)結(jié)合實(shí)施全部步驟或其中一部分步驟，從而執(zhí)行在此討論的方法和產(chǎn)生在此討論的裝置。該計(jì)算機(jī)可讀介質(zhì)可以是可記錄介質(zhì)(例如軟盤、硬盤驅(qū)動(dòng)器、壓縮盤例如通過介質(zhì)接口135可訪問的DVD110、或存儲(chǔ)卡)或者可以是傳輸介質(zhì)(例如包括光纖的網(wǎng)絡(luò)115，全球互聯(lián)網(wǎng)，電纜或使用時(shí)分多址、碼分多址的無線信道或其他射頻信道)。任何公知或已有的可以存儲(chǔ)適用于計(jì)算機(jī)系統(tǒng)的信息的介質(zhì)，都可以被使用。該計(jì)算機(jī)可讀代碼裝置是用于使計(jì)算機(jī)讀取指令和數(shù)據(jù)的任何機(jī)構(gòu)，這些指令和數(shù)據(jù)例如是磁介質(zhì)上的磁性變化或例如DVD110的壓縮盤的表面上的高度變化。
存儲(chǔ)器145將配置處理器130來執(zhí)行本文中所述的方法、步驟和功能。該存儲(chǔ)器145可以是分布式或本地存儲(chǔ)器，該處理器130可以為分布式的或單一的。該存儲(chǔ)器145可以為電、磁或光學(xué)存儲(chǔ)器，或這些或其它類型存儲(chǔ)設(shè)備的任何集合。該術(shù)語“存儲(chǔ)器”可以被廣義解釋為包含能夠?qū)μ幚砥?30可訪問的可尋址空間中的地址進(jìn)行任何信息讀寫。利用這個(gè)限定，例如通過網(wǎng)絡(luò)接口140訪問的網(wǎng)絡(luò)115的網(wǎng)絡(luò)上的信息也在視頻處理系統(tǒng)120的存儲(chǔ)器145內(nèi)，因?yàn)樵撎幚砥?30可以從網(wǎng)絡(luò)中得到該信息。還應(yīng)當(dāng)注意，視頻處理系統(tǒng)120的全部或部分都可被實(shí)現(xiàn)為集成電路或例如可編程邏輯電路的其他相似設(shè)備。
上面已經(jīng)說明了系統(tǒng)，下面將說明概率模型，該概率模型可以提供全局和局部像素相關(guān)性和逐步增加的訓(xùn)練。
概率模型在優(yōu)選概率框架中，將圖像(即像素外觀的二維陣列)解釋為從高維隨機(jī)處理中得到的多個(gè)采樣。在該處理中，圖像的像素?cái)?shù)目規(guī)定了維的數(shù)目。正式情況下，假設(shè)I={Tx,y∈ΘWH}]]>表示W(wǎng)xH個(gè)像素的圖像，這些像素在觀察空間Θ中具有值(即，每個(gè)像素24位的RGB值)。
與該隨機(jī)處理P(I|Ω)相聯(lián)系的概率分布可以捕捉與場景和成像系統(tǒng)均有聯(lián)系的基本圖像產(chǎn)生處理。這包括場景中存在的顏色和文理以及圖像變化的多種原因，例如場景中的運(yùn)動(dòng)、光變化、照相機(jī)的自動(dòng)增益控制和其它圖像變化。
大多數(shù)傳統(tǒng)算法都是在假設(shè)每個(gè)像素彼此獨(dú)立的前提下對場景圖像模型化。實(shí)際上，圖像成型處理和典型場景的物理特性導(dǎo)致很多限制，這些限制使得像素在全局意義(即整個(gè)圖像或一系列圖像)和局部意義上(即，圖像中的區(qū)域)具有相當(dāng)大的相關(guān)性。
所提出的示例性模型通過引入隱藏處理ξ來使用場景圖像內(nèi)的多個(gè)像素之間的相關(guān)性，該隱藏處理ξ捕捉該場景觀察的全局狀態(tài)。例如，在場景具有幾個(gè)可能發(fā)光設(shè)置的情況下，離散變量ξ可以將指針表現(xiàn)為幾個(gè)可能的發(fā)光狀態(tài)。
所提出的模型背后的基本思想是對捕捉圖像中多個(gè)像素之間相關(guān)性的模型階段與捕捉每個(gè)像素外觀的模型階段區(qū)分開來，從而使得問題更易處理。即，根據(jù)下面公式便于計(jì)算圖像的似然概率
P(I|Ω)=Σ∀ξP(I|ξ,Ω)P(ξ|Ω),---{1}]]>其中P(ξ|Ω)表示場景的全局狀態(tài)的概率，P(I|ξ，Ω)表示在場景全局狀態(tài)ξ的情況下像素外觀的似然概率。注意由于像素之間的相關(guān)性是由第一階段捕捉到的，因此可以合理假設(shè)，在場景全局狀態(tài)ξ的情況下，圖像I的像素彼此獨(dú)立。因此，可以將等式{1}寫為P(I|Ω)=Σ∀ξP(ξ|Ω)Π∀(x,y)P(Ix,y|ξ,Ω),---{2}]]>其中P(Ix，y|ξ，Ω)表示用于模擬圖像I的像素(x，y)的概率。
根據(jù)用于捕捉場景觀察全局狀態(tài)的模型的復(fù)雜性，即P(ξ|Ω)，所執(zhí)行的處理能夠處理多種應(yīng)用情況中出現(xiàn)的不同類型的成像變化。例如，如果在ξ的表達(dá)式中使用了增益函數(shù)的參數(shù)化表達(dá)式，則由于照相機(jī)的自動(dòng)增益控制易于執(zhí)行對變化的背景-前景分割處理加強(qiáng)。
出于簡化，利用在三維RGB顏色空間中具有全協(xié)方差矩陣的高斯混合分布，可以模擬全局狀態(tài)ξ下的每個(gè)像素值P(Ix，y|ξ，Ω)。較正式的，可以使用下面的等式P(Ix,y|ξ,Ω)=Σ∀αP(αx,y)N(I;I‾α,x,y,Σα,x,y),]]>其中Ia，x，y和∑a，x，y為(x，y)像素的第a個(gè)高斯混合模式的平均值和協(xié)方差距陣。這些參數(shù)是用于表示整個(gè)圖像模型的符號(hào)參數(shù)變量Ω的子集。
注意，前面的研究已經(jīng)表明其它顏色空間優(yōu)選地用于處理例如陰影等問題，如果需要在此可以使用該研究。但是，本說明書的重點(diǎn)在于模擬該場景的全局狀態(tài)。
優(yōu)選地利用離散變量ξ＝{1，2，...，M}來模擬場景觀察的全局狀態(tài)，該變量捕捉該場景中的全局和局部變化，以致等式{2}變?yōu)橄旅婀絇(I|Ω)=Σ∀ξP(αx,y)Π∀(x,y)Σ∀αP(αx,y)N(I;I‾α,x,y,Σα,x,y).---{3}]]>注意上述模型和傳統(tǒng)的高斯混合之間的差別。與獨(dú)立模擬每個(gè)像素的高斯混合分布相反，本發(fā)明的模型使用了高斯分布集合來模擬與全局狀態(tài)相聯(lián)系的每個(gè)像素。
等式3可以如下重寫為
P(I|Ω)=Σ∀ξΠ∀(x,y)Σ∀αG(ξ,αx,y)N(I;I‾α,x,y,Σα,x,y),---{4}]]>其中項(xiàng)G(ξ，ax，y)＝P(ξ|Ω)1/WHP(ax，y)可以簡單地被作為與圖像模型的每個(gè)像素位置相聯(lián)系的MxN矩陣。在該例子中，M為全局狀態(tài)的數(shù)目，N為高斯模式的數(shù)目。在圖1的例子中，MxN矩陣存儲(chǔ)在概率表165中，在該概率表中針對每個(gè)像素有一個(gè)MxN矩陣170。
分割過程假設(shè)從來自一個(gè)場景的一個(gè)圖像觀察集合已經(jīng)成功地訓(xùn)練了上述提出的多個(gè)模型中的一個(gè)，則新觀察到的圖像的分割過程簡單地基于最大似然分類。訓(xùn)練在下一部分討論。
圖2的方法200示出了一個(gè)示例性分割過程。系統(tǒng)在正常操作期間使用方法200來執(zhí)行背景-前景分割。如上所述，此時(shí)已經(jīng)執(zhí)行了訓(xùn)練。
方法200在步驟210開始，此時(shí)檢索一幅圖像。通常，對于該圖像的每個(gè)像素以24位來存儲(chǔ)每個(gè)圖像，該24位對應(yīng)RGB值。如上所述，也可以使用其它系統(tǒng)，但是示例性方法200假設(shè)正在使用RGB值。
假設(shè)測試圖像為It，分割算法確定(步驟220)全局狀態(tài)ξ*，該全局狀態(tài)最大化由以下模型給出的圖像的似然概率ξ*=argmaxP(ξ|Ω)Π∀(x,y)P(Ix,yt|ξ,Ω).---{5}]]>然后，利用各似然概率但僅考慮最大相似的全局狀態(tài)ξ*，對每個(gè)像素獨(dú)立地執(zhí)行背景-前景分割。為了執(zhí)行步驟，在步驟230中選擇一個(gè)像素。針對最相似的全局狀態(tài)確定每個(gè)像素的各自的似然概率(步驟240)，并在下面等式中使用該似然概率來確定是否應(yīng)當(dāng)將每個(gè)像素指定給背景或前景(步驟250) 其中s＝{sx，y(x，y)}表示背景-前景分割的二進(jìn)制圖像，其中非零像素表示前景目標(biāo)?；旧?，等式{6}說明如果像素的似然概率小于像素閾值(步驟250＝是)，那么在步驟255執(zhí)行進(jìn)一步檢測來確定是否通過根據(jù)本發(fā)明的背景模型目標(biāo)分類處理400已經(jīng)將該像素預(yù)先標(biāo)識(shí)為背景的一部分，相反(步驟250＝否)將該像素分配給背景(步驟270)。
如果在步驟255確定像素已經(jīng)通過背景模型目標(biāo)分類處理400被預(yù)先標(biāo)識(shí)為背景的一部分，則在步驟270期間將該像素分配給背景。但是如果在步驟255確定沒有通過背景模型目標(biāo)分類處理400將該像素預(yù)先標(biāo)識(shí)為背景的一部分，則將該像素分配給前景(步驟260)。
對每個(gè)關(guān)心的像素(通常圖像中的所有像素)執(zhí)行等式{6}。因此，在步驟280中，如果圖像中的所有像素都被分配給背景或前景(步驟280＝否)，則方法200結(jié)束，否則(步驟280＝是)該方法繼續(xù)到步驟230，并對新選擇的像素執(zhí)行等式6。
注意即使在不同全局狀態(tài)下像素的顏色值也被模擬為背景的一部分的情況下，處理200怎樣成功地將像素歸類為前景。例如，如果在訓(xùn)練過程中一個(gè)穿著紅色襯衣的人在一個(gè)場景背景中行走，則多個(gè)高斯混合模式中的一個(gè)將在這個(gè)人的襯衣所經(jīng)過的所有像素中捕捉該紅色。稍后在測試中，如果這個(gè)人再次在該場景背景中行走(當(dāng)然，大概沿著同樣的線路)，則他或她就不會(huì)被檢測為前景。但是，如果那個(gè)人靠近照相機(jī)，有效地改變了場景的全局狀態(tài)，則即使在已經(jīng)將紅色與背景聯(lián)系起來的圖像區(qū)域內(nèi)，也可以將他或她的紅色襯衣正確地分割出來。
作為另一個(gè)例子，考慮其中部分背景看起來(i)在場景中的暗照明中很黑，和(ii)當(dāng)場景正確照明時(shí)為暗綠的情況。本發(fā)明的模型利用像素之間的整體相關(guān)性，可以在場景被照明時(shí)檢測背景中的黑色目標(biāo)，并在場景黑暗時(shí)檢測綠色前景目標(biāo)。在傳統(tǒng)模型中，黑色和綠色都被認(rèn)為是背景顏色，以致這些目標(biāo)將被完全忽略。
訓(xùn)練過程利用預(yù)期-最大化(EM)算法可以進(jìn)行具有給定圖像采樣集合(例如視頻片斷)的所提出的模型的離線訓(xùn)練。例如，可以將各個(gè)像素模型P(Itx，y|ξx，Ω)的參數(shù)隨機(jī)初始化約等于所觀察到的訓(xùn)練數(shù)據(jù)的平均值，同時(shí)可以將各狀態(tài)的概率均勻初始化。然后，利用EM循環(huán)，可以將該模型的所有參數(shù)更新為局部最大方法，該方法通常為很好的方法。該EM算法是公知算法，例如在J.Roy.Statist.Soc.B 391-38(1977)的A.Dempster，N.Laird和D.Rubin所著的“Maximum Likelihood FromIncomplete Data via the EM Algorithm(通過EM算法根據(jù)不完整的數(shù)據(jù)得到最大似然)”中有所描述，該文獻(xiàn)公開的內(nèi)容在此引作參考。
圖3中描述的示例的訓(xùn)練過程逐步增加地訓(xùn)練這些模式，并自動(dòng)確定全局狀態(tài)的適當(dāng)數(shù)目。對這些模式的逐步增加的訓(xùn)練可以使處理在很長的時(shí)間段內(nèi)連續(xù)地運(yùn)行，以便捕捉一個(gè)完整的訓(xùn)練樣本集合，該訓(xùn)練樣本包含模型化場景的各種圖像變化。對全局狀態(tài)的數(shù)目的自動(dòng)確定可以使模型尺寸最小化，這依次減少處理對存儲(chǔ)器的要求，并加速背景-前景的分割過程。
圖3示出了一個(gè)示例性的訓(xùn)練處理。該示例性訓(xùn)練處理包括一個(gè)漸增的程序，該程序中可以將數(shù)目不限的訓(xùn)練樣本傳送到該模型。每次向模型傳送一個(gè)新的樣本圖像(即，將新圖像It傳送到步驟305中的模型)，則處理300首先執(zhí)行一個(gè)預(yù)期步驟(EM算法中的E-步驟)用于確定最可能的全局狀態(tài)ξ*(步驟310)和對圖像的每個(gè)像素最可能的高斯混合模式，αx，y(步驟315)。應(yīng)注意這些步驟類似于分割過程處理200中的步驟。
在步驟320中，確定所選擇的狀態(tài)的相同圖像的似然概率。然后，根據(jù)所選擇的全局狀態(tài)的樣本圖像的似然概率值(步驟325)，處理300在調(diào)整所選擇狀態(tài)的參數(shù)(步驟335)或增加一個(gè)新的狀態(tài)(步驟330)之間進(jìn)行選擇。若所選擇狀態(tài)的樣本圖像的似然概率大于一個(gè)全局閾值(步驟325＝是)，則調(diào)整所選擇狀態(tài)的參數(shù)(步驟335)。若所選擇狀態(tài)的樣本圖像的似然概率小于或等于全局閾值(步驟325＝否)，則增加一個(gè)新的狀態(tài)(步驟330)在步驟340，確定每個(gè)像素位置的所選擇高斯混合模式的各個(gè)似然概率。然后，根據(jù)每個(gè)像素位置的所選擇的高斯混合模式的各個(gè)似然概率，該算法在調(diào)整所選模式或增加新模式之間進(jìn)行選擇。為此，在步驟345，選擇一個(gè)像素。若該像素位置的所選高斯混合模式的各個(gè)似然概率大于像素閾值(步驟350＝是)，則調(diào)整所選擇的模式(步驟360)，否則(步驟350＝否)增加一個(gè)新的模式(步驟355)。若還有更多像素(步驟365＝是)，則方法300繼續(xù)到步驟345，否則(步驟365＝否)，該方法繼續(xù)到步驟370。若還有更多的樣本圖像需要處理(步驟370＝是)，則方法300繼續(xù)到步驟305，否則(步驟370＝否)方法結(jié)束。
應(yīng)注意在示例性訓(xùn)練方法300中使用兩個(gè)閾值一個(gè)用于確定每個(gè)像素位置，另一個(gè)用于確定圖像的全局狀態(tài)。
每個(gè)像素位置的每個(gè)高斯混合模式優(yōu)選地保持跟蹤計(jì)算其參數(shù)所用的樣本總數(shù)，以致當(dāng)增加一個(gè)新的樣本時(shí)，可以漸增地進(jìn)行該參數(shù)的再次估計(jì)。例如，可以利用下述公式簡單地更新高斯混合模式的平均值和協(xié)方差I(lǐng)‾α,x,y=(11+Kα,x,y){Ix,yt+Kα,x,yI‾α,x,y},]]>Σα,x,y=1Kα,x,y[(Ix,yt-I‾α,x,y)′(Ix,yt-I‾α,x,y)+(1-Kα,x,y)Σα,x,y]]]>其中Ka，x，y是用于訓(xùn)練該高斯混合模式已經(jīng)使用的樣本數(shù)目。
類似地，每個(gè)全局狀態(tài)都保持跟蹤用于訓(xùn)練的樣本總數(shù)，從而當(dāng)增加一個(gè)樣本時(shí)，考慮到新樣本的增加，可以利用各個(gè)狀態(tài)和高斯混合模式的使用率統(tǒng)計(jì)來更新概率表G(ξ，αx，y)。
有利地，總體模型只通過每個(gè)像素位置的一個(gè)狀態(tài)和一個(gè)高斯混合模式被初始化。同樣，在預(yù)期步驟(步驟315和步驟320)中使用全局狀態(tài)和/或高斯混合模式之前應(yīng)當(dāng)需要最少10個(gè)樣本。
背景模型的增強(qiáng)如前所述，背景-前景分割處理300定義和改進(jìn)了訓(xùn)練階段中的概率表170-11到170HW(這里總稱為“概率表170”)。初始時(shí)，概率表170包括一個(gè)用于輸入圖像155的每個(gè)像素的概率表。以下將結(jié)合圖4說明，背景模型目標(biāo)分類處理400改變了背景模型的概率表170，以容納通常為靜止的目標(biāo)的指示。通過這種方式，若一個(gè)目標(biāo)運(yùn)動(dòng)了，且該目標(biāo)預(yù)先被識(shí)別為通常靜止的目標(biāo)，則該目標(biāo)在背景-前景分割期間將不會(huì)不必要地成為前景部分。
在背景模型目標(biāo)分類處理400的示例性實(shí)施中，移動(dòng)目標(biāo)被歸類為兩種集合之一。第一集合包括通常獨(dú)立運(yùn)動(dòng)的目標(biāo)，例如人和動(dòng)物，第二集合包括通常靜止的目標(biāo)，例如家具。通常，一旦一個(gè)目標(biāo)被分配到第二集合，則即使該目標(biāo)運(yùn)動(dòng)了，該目標(biāo)也將保留在背景中(通常，該目標(biāo)的移動(dòng)會(huì)使該目標(biāo)成為前景部分)。通過這種方式，當(dāng)背景目標(biāo)移動(dòng)時(shí)，背景目標(biāo)不會(huì)不必要地成為前景部分。
圖4是表示結(jié)合本發(fā)明特征的示例性背景模型目標(biāo)分類處理400的流程圖。如圖4所示，一開始背景模型目標(biāo)分類處理400在步驟405期間，利用已知的連接成份分析技術(shù)將每個(gè)圖像的前景中的像素進(jìn)行分組，從而形成嚴(yán)格目標(biāo)，稱為團(tuán)點(diǎn)(blob)。
然后在步驟410中執(zhí)行測試，直到確定背景目標(biāo)已被移動(dòng)了超過一特定閾值T。可以檢測背景目標(biāo)的移動(dòng)，例如，利用公知的光流方法。通常，背景被抑制為兩個(gè)連續(xù)的圖像，前景被減去，從而檢測運(yùn)動(dòng)，給定目標(biāo)運(yùn)動(dòng)了多遠(yuǎn)，和運(yùn)動(dòng)速度。這里可以使用寬高比信息和多幀處理技術(shù)，例如2001年2月27日提交的序列號(hào)為09/794443，標(biāo)題為“Classification of Objects Through Model Ensembles”的美國專利申請，該專利申請?jiān)谶@里引作參考。
一旦在步驟410中檢測到背景目標(biāo)的運(yùn)動(dòng)，則在步驟420中執(zhí)行進(jìn)一步測試，以確定該運(yùn)動(dòng)的背景目標(biāo)是否通常為靜止的。例如，上述2001年2月27日提交的序列號(hào)為09/794443，標(biāo)題為“Classification ofObjects Through Model Ensembles”的美國專利申請中所述的技術(shù)就可以用來將目標(biāo)分類為無生命目標(biāo)，例如一件家具，并可以建立一套規(guī)則來指示某些所分類的目標(biāo)是否通常為靜止。
若在步驟420中確定，運(yùn)動(dòng)的背景目標(biāo)通常為靜止，則在步驟430對與該目標(biāo)相關(guān)的像素設(shè)置一個(gè)標(biāo)識(shí)，指示該運(yùn)動(dòng)目標(biāo)通常為靜止。
然而，若在步驟420中確定，運(yùn)動(dòng)的背景目標(biāo)通常不是靜態(tài)的，則在步驟440對與該目標(biāo)相關(guān)的像素設(shè)置一個(gè)標(biāo)識(shí)，指示該運(yùn)動(dòng)目標(biāo)通常獨(dú)立運(yùn)動(dòng)。然后在步驟460程序控制終止，直到在步驟410中再次檢測到背景目標(biāo)的運(yùn)動(dòng)。
附加實(shí)施例一般慣例是，利用消除總和需要的最高概率來近似高斯模式的高斯混合概率，這樣可避免方程的進(jìn)一步簡化。
利用兩個(gè)級別的近似，(a)每個(gè)像素的混合之和變成下式Σ∀αG(ξ,αx,y)N(I;I‾α,x,y,Σα,x,y)∞maxx,yG(ξ,αx,y)N(I;I‾α,x,y,Σα,x,y)]]>和(b)各種全局狀態(tài)之和變成下式Σ∀αP(I|ξ,Ω)P(ξ|Ω)≈maxξP(I|ξ,Ω)P(ξ,Ω).]]>公式{4}可以簡化為下式P(I|Ω)≈maxξΠ∀(x,y)maxαx,yG(ξ,αx,y)N(I;I‾α,x,y,Σα,x,y).---{7}]]>應(yīng)注意雙重最大化。第一個(gè)最大化在像素級別，被用來考慮現(xiàn)有的每個(gè)全局狀態(tài)來確定優(yōu)選匹配高斯模式。第二個(gè)最大化在圖像級別被用來確定具有觀察的最大似然概率的狀態(tài)。
另一個(gè)加速該系列算法的實(shí)施的慣例是，計(jì)算概率的對數(shù)，而不是實(shí)際的概率。該情況下，不需要評價(jià)高斯分布的指數(shù)函數(shù)，由于對數(shù)的減小范圍，公式{7}的乘積變成為利用定點(diǎn)運(yùn)算可以實(shí)現(xiàn)的總和。
應(yīng)當(dāng)注意這里描述的模型可以被修改，以致當(dāng)前寫入的若概率大于閾值時(shí)執(zhí)行一個(gè)功能的測試步驟，可以按照修改后的規(guī)則被重寫，從而若概率低于閾值或在該值的一定范圍內(nèi)，則相同的測試步驟將執(zhí)行相同的功能。測試步驟僅僅是對正在討論的特定模型例子的舉例說明。不同的模型可能需要不同的測試步驟。
應(yīng)當(dāng)理解，這里所描述的實(shí)施例和變化都僅僅是對本發(fā)明原理的舉例說明，在不脫離本發(fā)明范圍和精神的前提下，本領(lǐng)的技術(shù)人員可以進(jìn)行各種修改。
權(quán)利要求
1.一種方法，包括檢索場景的一個(gè)圖像，該圖像包括多個(gè)像素；得到所述場景的背景模型；和在所述背景模型中提供一個(gè)指示，指示所述背景模型中的目標(biāo)通常都是靜止的。
2.如權(quán)利要求1所述的方法，還包括將與運(yùn)動(dòng)目標(biāo)相關(guān)的像素信息轉(zhuǎn)移到所述目標(biāo)的新位置的步驟。
3.如權(quán)利要求1所述的方法，還包括將所述目標(biāo)保持在所述背景中的步驟。
4.如權(quán)利要求1所述的方法，還包括即使所述目標(biāo)運(yùn)動(dòng)時(shí)，也將所述目標(biāo)保持在所述背景中的步驟。
5.如權(quán)利要求4所述的方法，其中利用光流方法來檢測所述背景模型中的目標(biāo)的所述運(yùn)動(dòng)。
6.如權(quán)利要求5所述的方法，其中所述光流方法指示所述運(yùn)動(dòng)的目標(biāo)在所述圖像中的新位置。
7.如權(quán)利要求1所述的方法，其中當(dāng)所述目標(biāo)運(yùn)動(dòng)超過了特定閾值時(shí)，提供所述背景模型中的目標(biāo)通常靜止的所述指示。
8.如權(quán)利要求1所述的方法，其中所述獲取所述場景的背景模型的步驟還包括確定對應(yīng)圖像中像素的至少一個(gè)概率分布的步驟，利用模型執(zhí)行的確定步驟，其中將圖像中的至少一些像素模擬為與其它像素相關(guān)。
9.如權(quán)利要求1所述的方法，其中所述背景模型包括表示表示場景的全局狀態(tài)的概率的項(xiàng)目和表示在該場景全局狀態(tài)條件下的像素外觀概率的項(xiàng)目。
10.如權(quán)利要求1所述的方法，其中該方法還包括以下步驟為模型提供訓(xùn)練圖像；確定模型參數(shù)；和執(zhí)行提供訓(xùn)練圖像和對預(yù)定數(shù)目的訓(xùn)練圖像確定參數(shù)的步驟。
11.一種系統(tǒng)，包括存儲(chǔ)計(jì)算機(jī)可讀代碼的存儲(chǔ)器；和與所述存儲(chǔ)器操作耦合的處理器，所述處理器被配置來執(zhí)行所述計(jì)算機(jī)可讀代碼，所述計(jì)算機(jī)可讀代碼被配置來檢索場景的一個(gè)圖像，該圖像包括多個(gè)像素；得到所述場景的背景模型；和在所述背景模型中提供一個(gè)指示，指示所述背景模型中的目標(biāo)通常都是靜止的。
12.如權(quán)利要求11所述的系統(tǒng)，其中所述處理器還被配置來將與運(yùn)動(dòng)目標(biāo)相關(guān)的像素信息轉(zhuǎn)移到所述目標(biāo)的新位置。
13.如權(quán)利要求11所述的系統(tǒng)，其中所述處理器還被配置來將所述目標(biāo)保持在所述背景中。
14.如權(quán)利要求11所述的系統(tǒng)，其中所述處理器還被配置來，即使所述目標(biāo)運(yùn)動(dòng)，仍將所述目標(biāo)保持在所述背景中。
15.如權(quán)利要求14所述的系統(tǒng)，其中利用光流系統(tǒng)來檢測所述背景模型中的目標(biāo)的所述運(yùn)動(dòng)。
16.如權(quán)利要求15所述的系統(tǒng)，其中所述光流系統(tǒng)指示在所述運(yùn)動(dòng)的目標(biāo)的所述圖像中的新位置。
17.如權(quán)利要求11所述的系統(tǒng)，其中當(dāng)所述目標(biāo)運(yùn)動(dòng)超過了特定閾值時(shí)，提供所述背景模型中的目標(biāo)通常是靜止的所述指示。
18.一種制造商品，包括其上配備有計(jì)算機(jī)可讀代碼裝置的計(jì)算機(jī)可讀介質(zhì)，所述計(jì)算機(jī)可讀程序代碼裝置包括檢索場景的一個(gè)圖像的步驟，該圖像包括多個(gè)像素；得到所述場景的背景模型的步驟；和在所述背景模型中提供一個(gè)指示的步驟，指示所述背景模型中的目標(biāo)通常都是靜止的。
19.一種方法，包括檢索場景的一個(gè)圖像，該圖像包括多個(gè)像素；得到所述場景的背景模型；和在所述背景模型中提供一個(gè)指示，指示所述背景模型中的目標(biāo)是無生命的目標(biāo)。
20.如權(quán)利要求19所述的方法，還包括將所述無生命目標(biāo)保持在所述背景中的步驟。如權(quán)利要求19所述的方法，還包括即使所述無生命目標(biāo)運(yùn)動(dòng)，也將所述無生命目標(biāo)保持在所述背景中的步驟。
全文摘要
本發(fā)明公開一種用于產(chǎn)生和保持在背景－前景分割中所使用的增強(qiáng)背景模型的方法和裝置。將背景模型修改以包含一個(gè)用于指示目標(biāo)通常為靜止的指示。此后，如果目標(biāo)運(yùn)動(dòng)且已經(jīng)被預(yù)先標(biāo)識(shí)為通常為靜止的目標(biāo)，則在背景－前景分割期間，不再不必要地將該目標(biāo)識(shí)別為前景的一部分。在示例性實(shí)施例中，將運(yùn)動(dòng)目標(biāo)分為兩個(gè)集合。第一集合包括通常獨(dú)立運(yùn)動(dòng)的目標(biāo)，第二集合包括通常靜止的目標(biāo)。通常，一旦將目標(biāo)分配到第二(靜止目標(biāo))集合中，則即使該目標(biāo)運(yùn)動(dòng)(正常情況下，該目標(biāo)運(yùn)動(dòng)會(huì)使目標(biāo)變?yōu)榍熬暗囊徊糠?，該目標(biāo)也仍然被保留在背景中。
文檔編號(hào)G06K9/38GK1777912SQ03815130
公開日2006年5月24日 申請日期2003年6月18日 優(yōu)先權(quán)日2002年6月28日
發(fā)明者S·古特塔, A·J·科梅納雷滋, M·特拉科維 申請人:皇家飛利浦電子股份有限公司