一種安全帶識別方法與系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于間隔最大化多示例字典學(xué)習(xí)的方法來對駕駛員是否系安全帶進行檢測識別。將數(shù)據(jù)集中的右半車擋風(fēng)玻璃包含駕駛員部分作為輸入要處理的圖像，對每一幅圖像獲取特征向量表示，用間隔最大化多示例對訓(xùn)練數(shù)據(jù)集進行字典學(xué)習(xí)過程，對訓(xùn)練數(shù)據(jù)集中每一類聚類之后分別訓(xùn)練多類SVM分類器得到分類模型，然后用得到的字典對訓(xùn)練數(shù)據(jù)進行編碼，用編碼之后的特征向量訓(xùn)練分類器，最后利用訓(xùn)練好的分類器對待識別的圖像進行檢測和識別，判斷待識別的圖像中是否有帶安全帶。本發(fā)明安全帶檢測與識別過程簡單易行，推廣能力強，檢測識別準(zhǔn)確率高，速度較快，且能夠有效克服光照、噪聲等不利因素的影響。
【專利說明】一種安全帶識別方法與系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機視覺【技術(shù)領(lǐng)域】，更具體地，涉及一種基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法與系統(tǒng)。

【背景技術(shù)】
[0002]隨著全球經(jīng)濟化形勢的不斷發(fā)展，人們的生活水平日益提高，私人擁有機動車輛的數(shù)量呈幾何增長態(tài)勢，汽車的普及成為了目前的必然趨勢。隨之帶來的是汽車安全的監(jiān)督和管理工作，駕駛員安全帶的佩戴是首要需要監(jiān)督和管理的工作，因此研究駕駛員安全帶的檢測和識別工作顯得尤為迫切和重要。目前對安全帶檢測和識別的研究還并不是很完善，之前的安全帶檢測算法主要是依靠邊緣檢測等簡單的圖像處理算法，準(zhǔn)確率還不是很高。因此要想獲得較高的準(zhǔn)確率以及較快的檢測效果必須要結(jié)合模式識別、計算機視覺等相關(guān)技術(shù)，要求能首先將運動中汽車的車擋風(fēng)玻璃大致位置從復(fù)雜的背景中提取并識別出來，通過圖像預(yù)處理、特征提取、字典學(xué)習(xí)、訓(xùn)練分類器等相關(guān)技術(shù)檢測駕駛員是否有帶安全帶。
[0003]然而目前安全帶檢測還存在很多的難題，例如，圖像拍攝時的角度、光線等的影響，駕駛員著裝顏色與安全帶顏色對比度差異的影響。這些因素都會給安全帶檢測帶來不利的影響。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法，該方法識別過程簡單且準(zhǔn)確率較高。
[0005]為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法，包括下述步驟:
[0006](I)獲取訓(xùn)練數(shù)據(jù)集中車擋風(fēng)玻璃右半部分圖像的特征向量表示；
[0007](1.1)對訓(xùn)練圖像集中的車擋風(fēng)玻璃圖像，首先截取車擋風(fēng)玻璃的右半部分圖像，對車擋風(fēng)玻璃右半部分提取不同尺度的圖像塊；
[0008]所述車擋風(fēng)玻璃圖像是從車輛正面即車擋風(fēng)玻璃處對駕駛室拍攝的圖像，其右半部分圖像中包含有駕駛員。
[0009]具體地，對截取得到的車擋風(fēng)玻璃的右半部分，分別用三種尺度大小(例如48*48、72*72、96*96)的滑動窗口在圖像上進行滑動截取，這樣最終得到若干個不同尺度的圖像塊0、=!凡，"_，/)|、;0:|，.",/\、:;％,.^、」，其中&為為分別表示三種不同尺度下圖像塊的數(shù)目，N = Ν!+Ν2+Ν3表示總的圖像塊的數(shù)目。
[0010](1.2)對車擋風(fēng)玻璃的右半部分圖像提取SIFT特征向量，并利用預(yù)設(shè)的碼本對SIFT特征進行編碼；
[0011]所述預(yù)設(shè)的碼本可以通過對對訓(xùn)練數(shù)據(jù)提取得到的SIFT特征向量進行聚類得到。
[0012](1.3)將步驟(1.1)中得到的不同尺度的圖像塊縮放到同一尺度大小，并對縮放后的每一個圖像塊分別提取特征向量，所述圖像塊的特征向量是由圖像塊的HOG特征向量、LBP特征向量、SIFT特征向量組成；
[0013](1.3.1)計算圖像塊的HOG特征向量:
[0014]具體為，對每一個像素求梯度(包括大小和方向)，將圖像劃分成小細胞單元，統(tǒng)計每個細胞單元的梯度直方圖，將幾個細胞單元(如3*3)組成一個區(qū)域塊，將每個區(qū)域塊內(nèi)細胞單元的梯度直方圖拼接起來作為該區(qū)域塊的HOG特征描述子，最后將不同區(qū)域塊的所有特征向量連接起來，得到輸入圖像塊的最終HOG特征向量表示；
[0015](1.3.2)計算圖像塊的LBP特征向量:
[0016]具體為，首先將圖像劃分大小為16*16的小細胞單元，計算每個細胞單元的LBP特征，最后將每個小細胞單元的LBP直方圖拼接在一起得到圖像塊的LBP特征向量表示；
[0017](1.3.3)計算圖像塊的編碼SIFT特征
[0018]具體為，提取SIFT特征坐標(biāo)位于在該圖像塊內(nèi)的特征，利用詞袋模型(bag ofwords)并結(jié)合預(yù)知的碼本對這些特征進行編碼，將編碼得到的直方圖進行歸一化得到圖像塊的編碼SIFT特征表示sift，碼本的大小C為預(yù)設(shè)值。
[0019](1.3.4)得到車擋風(fēng)玻璃圖像的特征向量最終表示
[0020]具體為，首先對每一個圖像塊，將上述(1.3.1)和(1.3.2)步驟中得到的HOG特征和LBP特征分別歸一化之后與步驟(1.3.3)中得到的編碼SIFT特征拼接在一起，作為圖像塊的特征表示Fi = Lhogi ^bpi !Sifti], I彡i彡N,其中i表示第i個圖像塊，N表示圖像塊總數(shù)；最后將所有圖像塊的特征拼接在一起F = 。
[0021](2)基于間隔最大化多類示例字典學(xué)習(xí)
[0022](2.1)對訓(xùn)練圖像集中的每張訓(xùn)練圖像，利用人工標(biāo)注將訓(xùn)練數(shù)據(jù)集分為有安全帶的樣本圖像和沒有安全帶的樣本圖像，將上述兩類圖像中的一類圖像塊樣例作為正樣本，則另一類圖像塊作為負樣本；
[0023](2.2)對步驟(2.1)中的正樣本和負樣本，基于間隔最大化方法，計算正樣本的權(quán)重矩陣；具體地，先對正樣本中的圖像進行聚類得到聚類的標(biāo)簽Zi，根據(jù)樣例權(quán)重和給定比例抽取正樣例，和所有負樣例組成訓(xùn)練數(shù)據(jù)集，通過多類SVM求解最優(yōu)化問題求得權(quán)重矩陣，通過不斷迭代更新參數(shù)得到最優(yōu)的權(quán)重矩陣W ;具體實現(xiàn)步驟如下:
[0024](2.2.1)對正樣本中的圖像塊樣例Fi進行聚類，設(shè)K表示聚類的中心數(shù)，并根據(jù)聚類結(jié)果對每一個圖像塊樣例給定一個標(biāo)簽Zi e {0，1，…，K}，若聚類后Fi屬于第k類，則Zi=ke {I,…，K} ^Fi屬于負類，則Zi = O ;對于所有負樣本中的圖像塊樣例其標(biāo)簽均為
Zi = O ;
[0025](2.2.2)定義權(quán)重矩陣W = [w。，W1,…，wK], k e {0，1，…，K},其中Wk表示第k個正類的聚類模型，Wtl表示負類的聚類模型，K表示聚類數(shù)；定義樣例權(quán)重Pij，Pij是為了保證從訓(xùn)練數(shù)據(jù)中抽取的數(shù)據(jù)均為正樣例，根據(jù)SVM決策函數(shù)對特征向量Fi屬于正類和負類之間的最大差給出，定義Ps為按比例抽取訓(xùn)練數(shù)據(jù)中的正樣例；一般情況下Ps為固定值，例如取值為0.7 ；
[0026](2.2.3)初始狀態(tài)下，設(shè)所有正類的樣例權(quán)重Pij均為I。先根據(jù)樣例權(quán)重Pij抽取正樣例，然后從選擇的樣例中抽取Ps比例，和所有的負樣例組成訓(xùn)練數(shù)據(jù)集D’，其中Ps表示抽取樣例的比例，D’表示新組成的訓(xùn)練數(shù)據(jù)集，由于聚類標(biāo)簽已知了，可以通過多類SVM求解下述最優(yōu)化問題來得到W:
K?
[0027]min ΣI wk ΙΓ + 義 Σ maxC O，1 + wrf ^ij — χυ)，
好 k=Qij--
[0028]其中七e D,ri} = vmxmo^K}M^ WkXlj，riJ表示對除本類外，Xij對其余類的最大響應(yīng)；
[0029](2.2.4)更新樣例權(quán)重和樣例標(biāo)簽，用步驟(2.2.2)得到權(quán)重矩陣來更新樣例權(quán)重Pij ;根據(jù)& =卜咖來更新樣例的標(biāo)簽；
[0030](2.2.5)重復(fù)(2.2.3)?(2.2.4)過程，循環(huán)M次，其中M為預(yù)設(shè)的循環(huán)次數(shù)，例如取值為5。
[0031](2.3)對步驟(2.1)中的正樣本和負樣本進行互換，利用步驟(2.2)中的方法計算互換后得到的正樣本的權(quán)重矩陣，將這里得到的權(quán)重矩陣和步驟(2.2)中得到的權(quán)重矩陣拼接在一起得到基于間隔最大化多示例字典。
[0032](3)訓(xùn)練安全帶識別的分類器
[0033](3.1)利用步驟(2)中得到的字典對步驟⑴中得到的訓(xùn)練數(shù)據(jù)集中車擋風(fēng)玻璃右半部分的特征向量進行編碼得到圖像的編碼特征向量；具體編碼方式為:
[0034](3.1.1)將圖像特征向量與權(quán)重矩陣相乘，得到對于每一個分類模型的響應(yīng)映射。
[0035](3.1.2)對每一個響應(yīng)映射，統(tǒng)計坐標(biāo)在圖像范圍之內(nèi)的響應(yīng)，并進行非最大抑制，得到一個H維的向量；
[0036](3.1.3)利用空間金字塔模型，將原訓(xùn)練圖像分成2*2和4*4共20個塊，針對每個塊重復(fù)(3.1.1)和(3.1.2)的計算過程，最后得到20個H維的特征向量；
[0037](3.1.4)將上述兩個步驟得到的向量拼接起來，得到21*H維的向量，就是該圖像的最終特征向量；
[0038](3.2)利用訓(xùn)練數(shù)據(jù)集中獲取的所有圖像的編碼特征向量訓(xùn)練SVM分類器，此處可以利用封裝好的已有的SVM分類器庫函數(shù)視為一個黑箱子，輸入所有訓(xùn)練圖像的特征向量，輸出一個能夠判斷是否有帶安全帶的SVM分類器。
[0039](4)識別待識別的車擋風(fēng)玻璃圖像
[0040](4.1)按照步驟(I)中的方法對待識別的圖像提取特征向量；
[0041](4.2)按照步驟(3.1)中的對訓(xùn)練數(shù)據(jù)進行編碼的方法對待識別圖像已得到的特征向量進行編碼；
[0042](4.3)利用步驟(3)中訓(xùn)練好的SVM分類器，對待識別的圖像進行分類，并輸出安全帶識別的結(jié)果。
[0043]本發(fā)明公開了一種基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法。對于用戶給定的一幅車擋風(fēng)玻璃圖像，本發(fā)明可以對圖像中的車擋風(fēng)玻璃區(qū)域進行截取，對車擋風(fēng)玻璃駕駛員部分進行安全帶識別。
[0044]對訓(xùn)練數(shù)據(jù)集中的車擋風(fēng)玻璃圖像，首次獲取表示圖像的不同圖像塊，對每個圖像塊分別提取特征，并拼接起來作為圖像的特征表示，然后用圖像的特征基于間隔最大化多示例字典學(xué)習(xí)的過程，用學(xué)習(xí)得到的字典對訓(xùn)練數(shù)據(jù)特征進行編碼，最后用編碼后的特征訓(xùn)練SVM分類器。
[0045]對待識別的車擋風(fēng)玻璃圖像，首先和訓(xùn)練數(shù)據(jù)集中的車擋風(fēng)玻璃圖像處理方法類似，首先，對每個待識別的車擋風(fēng)玻璃圖像獲取不同尺度的圖像塊，對每個圖像塊分別提取特征，并拼接起來作為圖像的特征表示，然后利用訓(xùn)練過程得到的字典對待識別的車擋風(fēng)玻璃圖像特征進行編碼，最后用訓(xùn)練得到的分類器對待識別的圖像進行識別，得到待識別車擋風(fēng)玻璃圖像的識別結(jié)果。
[0046]按照本發(fā)明的另一方面，還提供了一種基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別系統(tǒng)，所述系統(tǒng)包括車擋風(fēng)玻璃圖像特征向量生成模塊、間隔最大化多示例字典學(xué)習(xí)模塊、分類器訓(xùn)練模塊以及待識別車擋風(fēng)玻璃圖像識別模塊，其中:
[0047]所述車擋風(fēng)玻璃右半部分圖像特征向量生成模塊，用于獲取訓(xùn)練圖像數(shù)據(jù)集中的車擋風(fēng)玻璃右半部分圖像的特征向量表示，具體包括不同尺度圖像塊采集模塊、車擋風(fēng)玻璃右半部分圖像SIFT特征提取模塊、圖像塊特征提取模塊以及圖像特征的表示模塊，其中:
[0048]所述不同尺度圖像塊獲取模塊，用于對訓(xùn)練圖像集中的車擋風(fēng)玻璃圖像，首先提取車擋風(fēng)玻璃的右半部分，對右半部分車擋風(fēng)玻璃獲取不同尺度下的圖像塊；
[0049]所述車擋風(fēng)玻璃SIFT特征提取模塊，用于對車擋風(fēng)玻璃圖像提取SIFT特征，并利用預(yù)設(shè)的碼本進行編碼的過程；
[0050]所述圖像塊特征提取模塊，用于對獲取得到的不同尺度的圖像塊提取特征向量。具體包括圖像塊縮放子模塊，HOG特征向量計算子模塊，LBP特征向量計算子模塊和編碼SIFT特征直方圖計算子模塊。
[0051]所述圖像塊縮放子模塊，用于對不同尺度的圖像塊縮放到同一尺度，通常將圖像縮放到三種尺度中的最小尺度；
[0052]所述HOG特征向量計算子模塊，用于計算圖像塊縮放子模塊獲取得到的圖像塊的HOG特征向量；
[0053]所述LBP特征向量計算子模塊，用于計算圖像塊縮放子模塊獲取得到的圖像塊的LBP特征向量；
[0054]所述編碼SIFT特征直方圖計算子模塊，用于計算圖像塊縮放子模塊獲取得到圖像塊的SIFT直方圖特征向量；
[0055]所述圖像的特征表示模塊，用于計算車擋風(fēng)玻璃圖像的特征表示，對每張圖像，將表示圖像的所有圖像塊的特征拼接起來作為圖像的特征表示；
[0056]所述間隔最大化多示例字典學(xué)習(xí)模塊，用于學(xué)習(xí)編碼字典，對于訓(xùn)練數(shù)據(jù)集中的每一類，分別訓(xùn)練一個多類分類器，得到一個分類模型，將所有的分類器模型中的權(quán)重合并起來得到字典表示；
[0057]所述分類器訓(xùn)練模塊，用于訓(xùn)練安全帶識別分類器，首先對訓(xùn)練數(shù)據(jù)進行編碼模塊，利用間隔最大化多示例字典學(xué)習(xí)模塊得到的分類模型對訓(xùn)練數(shù)據(jù)進行編碼；最后利用訓(xùn)練圖像中獲得的所有圖像的編碼特征向量訓(xùn)練SVM分類器；
[0058]所述待識別車擋風(fēng)玻璃圖像識別模塊，用于識別待識別圖像是否有安全帶，具體包括待識別車擋風(fēng)玻璃圖像塊的提取模塊、車擋風(fēng)玻璃圖像的SIFT特征提取模塊、圖像塊特征提取模塊、圖像特征表示模塊、圖像特征編碼模塊、待識別車擋風(fēng)玻璃圖像識別模塊，其中:
[0059]所述待識別車擋風(fēng)玻璃圖像塊提取模塊，用于獲取車擋風(fēng)玻璃右半部分圖像的圖像塊表示；
[0060]所述車擋風(fēng)玻璃圖像的SIFT特征提取模塊，用于獲取車擋風(fēng)玻璃右半部分圖像的SIFT特征，并用已知的碼本對其進行編碼；
[0061]所述圖像塊特征提取模塊，用于提取表示圖像塊的特征向量；
[0062]所述圖像特征表示模塊，用于將每一幅圖像的圖像塊特征拼接起來作為圖像的特征向量；
[0063]所述圖像特征編碼模塊，用于利用間隔最大化多示例學(xué)習(xí)得到的字典對圖像特征進行編碼；
[0064]所述待識別車擋風(fēng)玻璃圖像識別模塊，用于利用分類器訓(xùn)練模塊訓(xùn)練好的安全帶識別分類器，對待識別的圖像進行分類，并輸出安全帶的識別結(jié)果。
[0065]通過本發(fā)明所構(gòu)思的以上技術(shù)方案，與現(xiàn)有技術(shù)相比，本發(fā)明具有以下技術(shù)效果:
[0066]1.車擋風(fēng)玻璃圖像容易受到光照、相機分辨率和拍攝角度以及駕駛員服裝與安全帶顏色對比度等因素的影響而變得不容易辨認，目前的算法主要是利用圖像處理相關(guān)算法進行邊緣檢測、直線檢測等手段，這些算法無法適應(yīng)外界環(huán)境的變化，無法在各種復(fù)雜場景下都提供高的辨識度。本發(fā)明方法采用多種特征拼接在一起表示圖像，使得圖像的特征表示具有抗旋轉(zhuǎn)，抗噪、抗光照等特性。因此，本發(fā)明方法可以有效克服光照、拍攝角度變化等因素的影響；
[0067]2.本發(fā)明方法采用了間隔最大化多示例字典學(xué)習(xí)方法，對訓(xùn)練數(shù)據(jù)集中的每一類圖像塊首先通過聚類，間隔最大化多示例字典學(xué)習(xí)得到一個分類模型，這樣得到的分類模型對該同類圖像具有最高的響應(yīng)。因此，本發(fā)明方法對車擋風(fēng)玻璃能獲得較高的識別準(zhǔn)確率；
[0068]3.本發(fā)明的方法將圖像分割為1*1，2*2，4*4的圖像金字塔；整個圖像的特征由每個子區(qū)域的特征拼接起來；因此整個圖像的特征包含一定的空間位置信息；訓(xùn)練之后得到的模型，包含每個子區(qū)域的權(quán)重，按照權(quán)重的大小，本方法能間接選擇出有代表性的區(qū)域；因此本發(fā)明不需要進行具體的安全帶位置的具體標(biāo)定，減少了人工參與的工作。

【專利附圖】

【附圖說明】
[0069]圖1是本發(fā)明基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法流程圖。

【具體實施方式】
[0070]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
[0071]如圖1所示，本發(fā)明基于間隔最大化多示例字典學(xué)習(xí)的安全帶檢測與識別方法包括以下步驟:
[0072](I)獲取訓(xùn)練數(shù)據(jù)集中車擋風(fēng)玻璃右半部分圖像的特征向量表示
[0073](1.1)對訓(xùn)練圖像集中的車擋風(fēng)玻璃圖像，首先截取車擋風(fēng)玻璃的右半部分圖像，對車擋風(fēng)玻璃右半部分提取不同尺度的圖像塊。
[0074]所述車擋風(fēng)玻璃圖像是從車輛正面即車擋風(fēng)玻璃處對駕駛室拍攝的圖像，其右半部分圖像中包含有駕駛員。
[0075]具體地，對截取得到的車擋風(fēng)玻璃的右半圖像，分別用三種尺度大小(例如48*48、72*72、96*96)的滑動窗口在圖像上進行滑動截取，滑動窗口移動步長可以為窗口的1/3長度，將每一次滑動窗口中的圖像內(nèi)容截取保存下來，這樣最終得到若干個不同尺度的圖像塊Da =|/)Μ，...，0Ιλ ;021，.^2、:;/^,...，/^|，其中隊、％、乂分別表示三種不同尺度下圖像塊的數(shù)目，N = Ν1+Ν2+Ν3表示總的圖像塊的數(shù)目。
[0076](1.2)對車擋風(fēng)玻璃的右半部分圖像提取尺度不變特征轉(zhuǎn)換(Scale-1nvariantfeature transform, SIFT)特征向量,并利用預(yù)設(shè)的碼本對SIFT特征進行編碼；
[0077]所述預(yù)設(shè)的碼本可以通過對對訓(xùn)練數(shù)據(jù)提取得到的SIFT特征向量進行聚類得到。
[0078](1.3)將步驟(1.1)中得到的不同尺度的圖像塊縮放到同一尺度大小，并對縮放后的每一個圖像塊分別提取特征向量，所述圖像塊的特征向量是由圖像塊的HOG特征向量、LBP特征向量、SIFT特征向量組成；
[0079]然后對每一個圖像塊，將上述步驟得到的HOG和LBP特征分別歸一化之后與SIFT直方圖特征拼接在一起作為圖像塊的特征向量，最后將所有圖像塊的特征拼接在一起，得到整個圖像的特征向量；
[0080]具體地，可以將不同尺度的圖像塊縮放到步驟(1.1)中多個尺度中的一種，一般縮放到最小尺度。
[0081](1.3.1)計算縮放后的圖像塊的方向梯度直方圖(Histogram of orientedgradient, HOG)特征向量:
[0082]具體為，對每一個像素求梯度(包括大小和方向)，將圖像劃分成小細胞單元，統(tǒng)計每個細胞單元的梯度直方圖，將幾個細胞單元(如3*3)組成一個區(qū)域塊，將每個區(qū)域塊內(nèi)細胞單元的梯度直方圖拼接起來作為該區(qū)域塊的HOG特征描述子，最后將不同區(qū)域塊的所有特征向量連接起來，得到輸入圖像塊的最終HOG特征向量表示；
[0083]在本發(fā)明實施例中，首先將圖像灰度化，采用Gamma校正法對圖像進行顏色空間的標(biāo)準(zhǔn)化，目的是調(diào)節(jié)圖像的對比度，降低圖像局部的陰影和光照變化所造成的影響，同時可以抑制噪聲的干擾。對每一個像素求梯度(包括大小和方向)，將圖像劃分成小細胞單元，統(tǒng)計每個細胞單元的梯度直方圖，將幾個細胞單元(如3*3)組成一個區(qū)域塊，將每個區(qū)域塊內(nèi)細胞單元的梯度直方圖拼接起來作為該區(qū)域塊的HOG特征描述子hogk = [h1； h2,…，hg]，其中g(shù)為HOG特征向量的維度，最后將不同區(qū)域塊的所有特征向量連接起來，得到輸入圖像塊的最終HOG特征向量表示hog = Lhog1, hog2,…，I1g1J ,其中nh表示區(qū)域塊的個數(shù)。
[0084](1.3.2)計算縮放后的圖像塊的局部二值模式(Local Binary Pattern, LBP)特征向量；
[0085]具體為，首先將圖像劃分大小為16*16的小細胞單元，計算每個細胞單元的LBP特征，最后將每個小細胞單元的LBP直方圖拼接在一起得到圖像塊的LBP特征向量表示；
[0086]在本發(fā)明實施例中，首先將圖像劃分為小細胞單元(例如大小為16*16)，對于每個小細胞單元中的每一個像素，將相鄰的8個像素的灰度值與其進行比較，若周圍像素值大于中心像素值，則該像素點的位置被標(biāo)記為1，否則為0，這樣，3*3領(lǐng)域內(nèi)的8個點經(jīng)比較可產(chǎn)生8位二進制數(shù)，即得到該窗口中心像素點的LBP值，然后計算每個小細胞單元的直方圖，然后對該直方圖進行歸一化處理，這樣得到每個小細胞單元的LBP特征Ibpj =[I1, I2,…，I1]，其中I表示小細胞單元特征的維度，最后將每個小細胞單元的LBP直方圖拼接在一起得到圖像塊的LBP特征向量表示Ibp = [Ibp1, Ibp2,…，Ibpnl],其中nl表示圖像中小細胞單元的個數(shù)。
[0087](1.3.3)計算縮放后的圖像塊的編碼SIFT特征；
[0088]具體為，提取SIFT特征坐標(biāo)位于在該圖像塊內(nèi)的特征，利用詞袋模型(bag ofwords)并結(jié)合預(yù)知的碼本對這些特征進行編碼，將編碼得到的直方圖進行歸一化得到圖像塊的編碼SIFT特征表示sift，碼本的大小C為預(yù)設(shè)值。
[0089](1.3.4)得到車擋風(fēng)玻璃圖像的特征向量最終表示
[0090]具體為，將上述步驟(1.3.1)與(1.3.2)中得到的HOG特征和LBP特征分別歸一化之后和步驟(1.3.3)中得到SIFT特征拼接在一起，作為圖像塊的特征表示Fi = [hogi ；Ibpi ;sifti]，I < i < N，其中i表示第i個圖像塊，N表示圖像塊總數(shù)。最后將所有圖像塊的特征拼接在一起F = 。
[0091](2)基于間隔最大化多示例字典學(xué)習(xí)
[0092](2.1)訓(xùn)練圖像可以分為兩類P = {P+，P_}，其中P+表示包含安全帶的車擋風(fēng)玻璃圖像，P_表示不包含安全帶的車擋風(fēng)玻璃圖像。由上述步驟(I)可知，每一幅圖像包含若干個圖像塊，每個圖像塊可以由拼接的HOG特征、LBP特征和SIFT特征表示為F”對兩類圖像分別訓(xùn)練分類器，將上述兩類樣本圖像中的一類圖像塊樣例作為正樣本，則另一類圖像塊樣例作為負樣本。
[0093](2.2)對步驟(2.1)中的正樣本和負樣本，基于間隔最大化方法，計算正樣本的權(quán)重矩陣；具體地，先對正樣本中的圖像進行聚類得到聚類的標(biāo)簽Zi，根據(jù)樣例權(quán)重和給定比例抽取正樣例，和所有負樣例組成訓(xùn)練數(shù)據(jù)集，通過多類SVM求解最優(yōu)化問題求得權(quán)重矩陣，通過不斷迭代更新參數(shù)得到最優(yōu)的權(quán)重矩陣W ;具體實現(xiàn)步驟如下:
[0094](2.2.1)對正樣本中的圖像塊樣例特征Fi進行聚類，設(shè)K表示聚類的中心數(shù)，并根據(jù)聚類結(jié)果對每一個圖像塊給定一個標(biāo)簽Zi e {O, I,…，K}，若聚類后Fi屬于第k類，則Zi=ke {I,…，K} ^Fi屬于負類，則Zi = O ;對于所有負樣本中的圖像塊樣例其標(biāo)簽均為
Zi = O。
[0095](2.2.2)定義權(quán)重矩陣W = [w。，W1,…，wK], k e {0，1，…，K},其中Wk表示第k個正類的聚類模型，Wtl表示負類的聚類模型，K表示聚類數(shù)；定義樣例權(quán)重Pij，Pij是為了保證從訓(xùn)練數(shù)據(jù)中抽取的數(shù)據(jù)均為正樣例，根據(jù)SVM決策函數(shù)對特征向量Fi屬于正類和負類之間的最大差給出，4巧)；定義ps為按比例抽取訓(xùn)練數(shù)據(jù)中的正樣例，一般情況下Ps為固定值，例如取值為0.7 ；
[0096](2.2.3)初始狀態(tài)下，設(shè)所有正類的樣例權(quán)重Pij均為I。先根據(jù)樣例權(quán)重Pij抽取正樣例，然后從選擇的樣例中抽取Ps比例，和所有的負樣例組成訓(xùn)練數(shù)據(jù)集D’，其中ps表示抽取樣例的比例，D’表示新組成的訓(xùn)練數(shù)據(jù)集，由于聚類標(biāo)簽已知了，可以通過多類SVM求解下述最優(yōu)化問題來得到W:

【權(quán)利要求】
1.一種基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法，其特征在于，所述方法包括下述步驟: (1)獲取訓(xùn)練數(shù)據(jù)集中車擋風(fēng)玻璃右半部分圖像的特征向量表示: (1.1)對訓(xùn)練圖像集中的車擋風(fēng)玻璃圖像，首先截取車擋風(fēng)玻璃的右半部分圖像，對車擋風(fēng)玻璃右半部分提取不同尺度的圖像塊；其中，所述車擋風(fēng)玻璃圖像是從車輛正面即車擋風(fēng)玻璃處對駕駛室拍攝的圖像，其右半部分圖像中包含有駕駛員； (1.2)對車擋風(fēng)玻璃的右半部分圖像提取尺度不變特征轉(zhuǎn)換(Scale-1nvariantfeature transform, SIFT)特征向量,并利用預(yù)知的碼本對SIFT特征進行編碼； (1.3)將步驟(1.1)中得到的不同尺度的圖像塊縮放到同一尺度大小，并對縮放后的每一個圖像塊分別提取特征向量，所述圖像塊的特征向量是由圖像塊的方向梯度直方圖(Histogram of oriented gradients, HOG)特征向量、局部二進制模式(Local BinaryPattern, LBP)特征向量、SIFT特征向量組成； (2)基于間隔最大化多示例字典學(xué)習(xí): (2.1)對訓(xùn)練圖像集中的每張訓(xùn)練圖像，利用人工標(biāo)注將訓(xùn)練數(shù)據(jù)集分為有安全帶的樣本圖像和沒有安全帶的樣本圖像，將上述兩類圖像中的一類圖像塊樣例作為正樣本，則另一類圖像塊樣例作為負樣本； (2.2)對步驟(2.1)中的正樣本和負樣本，基于間隔最大化方法，得到正樣本的權(quán)重矩陣；具體地，先對正樣本中的圖像進行聚類得到聚類的標(biāo)簽Zi，根據(jù)樣例權(quán)重和給定比例抽取正樣例，和所有負樣例組成訓(xùn)練數(shù)據(jù)集，通過多類SVM求解最優(yōu)化問題求得權(quán)重矩陣，通過不斷迭代更新參數(shù)得到最優(yōu)的權(quán)重矩陣W ; (2.3)對步驟(2.1)中的正樣本和負樣本進行互換，利用步驟(2.2)中的方法計算互換后得到的正樣本的權(quán)重矩陣，將這里得到的權(quán)重矩陣和步驟(2.2)中得到的權(quán)重矩陣拼接在一起得到基于間隔最大化多示例字典； (3)訓(xùn)練安全帶識別的分類器: (3.1)利用步驟(2)中得到的字典對步驟(I)中得到的訓(xùn)練數(shù)據(jù)集中車擋風(fēng)玻璃右半部分的特征向量進行編碼得到圖像的編碼特征向量； (3.2)利用訓(xùn)練數(shù)據(jù)中獲取的所有圖像的編碼特征向量訓(xùn)練SVM分類器； (4)識別待識別的車擋風(fēng)玻璃圖像 (4.1)按照步驟(I)中的方法對待識別的圖像提取特征向量； (4.2)按照步驟(3.1)中的方法對已得到的特征向量進行編碼； (4.3)利用步驟(3)中訓(xùn)練好的SVM分類器，對待識別的圖像進行分類，并輸出安全帶識別的結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法，其特征在于，所述步驟(2.2)具體包括: (2.2.1)對正樣本中的圖像塊樣例特征Fi進行聚類，設(shè)K表示聚類的中心數(shù)，并根據(jù)聚類結(jié)果對每一個圖像塊給定一個標(biāo)簽Zi e {O, I,…，K}，若聚類后Fi屬于第k類，則Zi =ke {I,-.,K};若匕屬于負類，則Zi = O;對于所有負樣本中的圖像塊樣例其標(biāo)簽均為~=O ； (2.2.2)定義權(quán)重矩陣W = [w0, W1,..., wK], k e {O, I,…，K},其中wk表示第k個正類的聚類模型，《O表示負類的聚類模型，K表示聚類數(shù)；定義樣例權(quán)重PU，Pij是為了保證從訓(xùn)練數(shù)據(jù)中抽取的數(shù)據(jù)均為正樣例，根據(jù)SVM決策函數(shù)對特征向量Fi屬于正類和負類之間的最大差給出，4定義Ps為按比例抽取訓(xùn)練數(shù)據(jù)中的正樣例； (2.2.3)初始狀態(tài)下，設(shè)所有正類的樣例權(quán)重Pij均為1，先根據(jù)樣例權(quán)重Pij抽取正樣例，然后從選擇的樣例中抽取Ps比例，和所有的負樣例組成訓(xùn)練數(shù)據(jù)集D’，其中ps表示抽取樣例的比例，D’表示新組成的訓(xùn)練數(shù)據(jù)集，通過多類SVM求解下述最優(yōu)化問題來得到W:
其中Xi7=maX,e!a...x},^.WrkXij，r..表示對除本類外Xij對其余類的最大響應(yīng)； (2.2.4)更新樣例權(quán)重和樣例標(biāo)簽，用步驟(2.2.2)得到的權(quán)重矩陣來更新樣例權(quán)重Pij ;根據(jù)&卜仍來更新樣例的標(biāo)簽; (2.2.5)重復(fù)(2.2.3)~(2.2.4)過程，循環(huán)M次，其中M為預(yù)設(shè)的循環(huán)次數(shù)。
3.根據(jù)權(quán)利要求1或2所述的基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法，其特征在于，所述步驟(3.1)具體為: (3.1.1)將步驟(1)中得到的圖像特征向量與基于間隔最大化多示例字典相乘，得到對于每一個分類模型的響應(yīng)映射； (3.1.2)對每一個響應(yīng)映射，統(tǒng)計坐標(biāo)在圖像范圍之內(nèi)的響應(yīng)，并進行非最大抑制，得到一個H維的向量； (3.1.3)利用空間金字塔模型，將原訓(xùn)練圖像分成2*2和4*4共20個塊，針對每個塊重復(fù)(3.1.1)和(3.1.2)的計算過程，最后得到20個H維的特征向量； (3.1.4)將上述兩個步驟得到的向量拼接起來，得到21*H維的向量，就是該圖像的最終特征向量。
4.根據(jù)權(quán)利要求1或2所述的基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法，其特征在于，所述步驟(1.1)具體為:對截取得到的車擋風(fēng)玻璃的右半部分，分別用三種尺度大小的滑動窗口在圖像上進行滑動截取，將每一次滑動窗口中的圖像內(nèi)容截取保存下來，這樣最終得到多個不同尺度的圖像塊。
5.根據(jù)權(quán)利要求1或2所述的基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法，其特征在于，所述步驟(1.3)具體為: (1.3.1)計算縮放后的圖像塊的HOG特征向量:； (1.3.2)計算縮放后的圖像塊的LBP特征向量； (1.3.3)計算縮放后的圖像塊的編碼SIFT特征； (1.3.4)將上述(1.3.1)和(1.3.2)步驟中得到的HOG特征和LBP特征分別歸一化之后與步驟(1.3.3)中得到的編碼SIFT特征拼接在一起，作為圖像塊的特征表示。
6.根據(jù)權(quán)利要求1或2所述的基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法，其特征在于，所述步驟(1.3.1)具體為:對每一個像素求梯度，所述梯度包括大小和方向，將圖像劃分成小細胞單元，統(tǒng)計每個細胞單元的梯度直方圖，將幾個細胞單元組成一個區(qū)域塊，將每個區(qū)域塊內(nèi)細胞單元的梯度直方圖拼接起來作為該區(qū)域塊的HOG特征描述子，最后將不同區(qū)域塊的所有特征向量連接起來，得到輸入圖像塊的最終HOG特征向量表示。
7.根據(jù)權(quán)利要求1或2所述的基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法，其特征在于，所述步驟(1.3.2)具體為: 首先將圖像劃分為16*16的小細胞單元，計算每個小細胞單元的LBP特征，最后將每個小細胞單元的LBP直方圖拼接在一起得到圖像塊的LBP特征向量表示。
8.根據(jù)權(quán)利要求1或2所述的基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法，其特征在于，所述步驟(1.3.3)具體為: 提取SIFT特征坐標(biāo)位于在該圖像塊內(nèi)的特征，利用詞袋模型并結(jié)合預(yù)知的碼本對這些特征進行編碼，將編碼得到的直方圖進行歸一化得到圖像塊的編碼SIFT特征表示sift，碼本的大小C為預(yù)設(shè)值。
9.根據(jù)權(quán)利要求1或2所述的基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別方法，其特征在于，所述步驟(1.3.4)具體為: 具體為，首先對每一個圖像塊，將上述步驟(1.3.1)與(1.3.2)中得到的HOG特征和LBP特征分別歸一化之后和步驟(1.3.3)中得到SIFT特征拼接在一起，作為圖像塊的特征表示Fi = Lhogi ^bpi ；sifti], I < i < N,其中i表示第i個圖像塊，N表示圖像塊總數(shù)；最后將所有圖像塊的特征拼接在一起 F = 。
10.一種基于間隔最大化多示例字典學(xué)習(xí)的安全帶識別系統(tǒng)，其特征在于，所述系統(tǒng)包括車擋風(fēng)玻璃圖像特征向量生成模塊、間隔最大化多示例字典學(xué)習(xí)模塊、對訓(xùn)練數(shù)據(jù)進行編碼模塊、分類器訓(xùn)練模塊以及待識別車擋風(fēng)玻璃圖像識別模塊，其中: 所述車擋風(fēng)玻璃圖像特征向量生成模塊，用于獲取訓(xùn)練圖像數(shù)據(jù)集中的車擋風(fēng)玻璃圖像的特征向量表示，具體包括不同尺度圖像塊采集模塊、車擋風(fēng)玻璃圖像SIFT特征提取模塊、圖像塊特征提取模塊以及圖像特征的表示模塊，其中: 所述不同尺度圖像塊獲取模塊，用于對訓(xùn)練圖像集中的車擋風(fēng)玻璃圖像，首先提取車擋風(fēng)玻璃的右半部分，對右半部分車擋風(fēng)玻璃獲取不同尺度下的圖像塊； 所述車擋風(fēng)玻璃SIFT特征提取模塊，用于對車擋風(fēng)玻璃圖像提取SIFT特征，并利用詞袋模型結(jié)合預(yù)知的碼本對SIFT特征進行編碼； 所述圖像塊特征提取模塊，用于對獲取得到的不同尺度的圖像塊提取特征向量；具體包括圖像塊縮放子模塊，HOG特征向量計算子模塊，LBP特征向量計算子模塊和編碼SIFT特征直方圖計算子模塊； 所述圖像塊縮放子模塊，用于對不同尺度的圖像塊縮放到同一尺度，通常將圖像縮放到三種尺度中的最小尺度； 所述HOG特征向量計算子模塊，用于計算圖像塊縮放子模塊獲取得到的圖像塊的HOG特征向量； 所述LBP特征向量計算子模塊，用于計算圖像塊縮放子模塊獲取得到的圖像塊的LBP特征向量； 所述編碼SIFT特征直方圖計算子模塊，用于計算圖像塊縮放子模塊獲取得到圖像塊的SIFT直方圖特征向量； 所述圖像的特征表示模塊，用于計算車擋風(fēng)玻璃圖像的特征表示，對每張圖像，將表示圖像的所有圖像塊的特征拼接起來作為圖像的特征表示； 所述間隔最大化多示例字典學(xué)習(xí)模塊，用于學(xué)習(xí)編碼字典，對于訓(xùn)練數(shù)據(jù)集中的每一類，分別訓(xùn)練一個多類分類器，得到一個分類模型，將所有的分類器模型中的權(quán)重合并起來得到字典表示； 對訓(xùn)練數(shù)據(jù)進行編碼模塊，用于利用間隔最大化多示例字典學(xué)習(xí)模塊得到的分類模型對訓(xùn)練數(shù)據(jù)進行編碼； 所述分類器訓(xùn)練模塊，用于訓(xùn)練安全帶識別分類器，利用訓(xùn)練圖像中獲得的所有圖像的編碼特征向量訓(xùn)練SVM分類器； 所述待識別車擋風(fēng)玻璃圖像識別模塊，用于識別待識別圖像是否有安全帶，具體包括待識別車擋風(fēng)玻璃圖像塊的提取模塊、車擋風(fēng)玻璃圖像的SIFT特征提取模塊、圖像塊特征提取模塊、圖像特征表示模塊、圖像特征編碼模塊、待識別車擋風(fēng)玻璃圖像識別模塊，其中: 所述待識別車擋風(fēng)玻璃圖像塊提取模塊，用于獲取車擋風(fēng)玻璃右半部分圖像的圖像塊表不; 所述車擋風(fēng)玻璃圖像的SIFT特征提取模塊，用于獲取車擋風(fēng)玻璃右半部分圖像的SIFT特征，并用已知的碼本對其進行編碼； 所述圖像塊特征提取模塊，用于提取表示圖像塊的特征向量； 所述圖像特征表示模塊，用于將每一幅圖像的圖像塊特征拼接起來作為圖像的特征向量; 所述圖像特征編碼模塊，用于利用間隔最大化多示例字典學(xué)習(xí)得到的字典對圖像特征進行編碼； 所述待識別車擋風(fēng)玻璃圖像識別模塊，用于利用分類器訓(xùn)練模塊訓(xùn)練好的安全帶識別分類器，對待識別的圖像進行分類，并輸出安全帶的識別結(jié)果。
【文檔編號】G06K9/62GK104200228SQ201410442594
【公開日】2014年12月10日 申請日期:2014年9月2日 優(yōu)先權(quán)日:2014年9月2日
【發(fā)明者】陳瑞軍, 白翔, 王興剛, 姚聰, 危俊, 肖可偉 申請人:武漢睿智視訊科技有限公司