專利名稱：一種視頻圖像自動拼接裝置的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型涉及數(shù)字圖象處理技術(shù)領(lǐng)域，具體涉及一種視頻圖像拼接的裝置。
背景技術(shù)：
圖像拼接是一種將多幅經(jīng)過單幀采集的相關(guān)重疊圖像進(jìn)行無縫拼接從而獲得寬視角全景圖像的技術(shù)，被廣泛應(yīng)用于各種視頻會議、虛擬現(xiàn)實(shí)、體育賽事和戰(zhàn)場監(jiān)控等。近年來，國內(nèi)外對圖像拼接技術(shù)的研究已經(jīng)取得了一些成果，常見的方法有相位相關(guān)法、控制點(diǎn)配準(zhǔn)算法、自動角點(diǎn)檢測配準(zhǔn)算法等。但這些算法在配準(zhǔn)過程中都有其不足，相位相關(guān)法的缺點(diǎn)是對圖像旋轉(zhuǎn)特別敏感，當(dāng)圖像間存在有旋轉(zhuǎn)量時(shí)，相關(guān)峰值迅速衰減，且該方法直接采用各個(gè)像素的灰度進(jìn)行計(jì)算的，當(dāng)被拼接圖像之間的光照條件有較大差異時(shí)，不能得到理想的結(jié)果；控制點(diǎn)配準(zhǔn)算法往往要借助人工選取初始匹配點(diǎn)，這大大降低了算法的速度和適用范圍；自動角點(diǎn)檢測配準(zhǔn)算法對于數(shù)據(jù)的缺失比較敏感，要求兩幅圖像的對應(yīng)輪廓要比較完整，對于輪廓特征不明顯或噪聲干擾較大的圖像不適用。上述方法的承載裝置主要是通過將兩個(gè)攝像頭的信號傳遞給圖像采集芯片 LM1881，LM1881將信號重新編碼通過串口通信芯片MAX232和串口通信接頭將圖像信息傳給計(jì)算機(jī)，隨后工作人員根據(jù)計(jì)算機(jī)顯示的圖片信息借助于圖像拼接的軟件選取初始匹配點(diǎn)，隨后通過計(jì)算機(jī)上的拼接軟件完成圖像拼接，過程中需要人工選取匹配點(diǎn)，工作量大且效率低，而且精度也較差。目前，視頻的穩(wěn)定拼接仍是一個(gè)復(fù)雜的技術(shù)難題，在沒有先驗(yàn)知識的條件下，根據(jù)不同視角、不同尺度和光照變化等因素，還沒有一種有效的技術(shù)裝置實(shí)現(xiàn)視頻的自動拼接。通常獲得的視頻拼接，需要在拍攝時(shí)對攝像機(jī)位置、光圈和拍攝角度進(jìn)行精確校準(zhǔn)，這給視頻采集帶來不便，實(shí)踐操作過程中也很難做到。
發(fā)明內(nèi)容本實(shí)用新型的目的在于提供一種視頻圖像自動拼接裝置，該裝置能夠快速地將采集到的圖像通過芯片進(jìn)行拼接，并將拼接后得到的圖像傳遞給顯示器，已達(dá)到快速獲得全景畫面的要求。為了實(shí)現(xiàn)上述技術(shù)任務(wù)，本實(shí)用新型采用如下技術(shù)方案得以實(shí)現(xiàn)—種視頻圖像自動拼接裝置，該裝置至少包括有圖像采集模塊、圖形拼接處理模塊和圖像輸出模塊，所述圖像采集模塊、圖形拼接處理模塊和圖像輸出模塊依次連接。所述圖像采集模塊至少包括有兩組圖像采集電路，所述兩組圖像采集電路并聯(lián)于圖形拼接處理模塊上，所述兩組圖像采集電路并聯(lián)于圖形拼接處理模塊上，所述圖像采集電路至少包括有攝像頭和LM1881圖形芯片。所述圖像拼接處理模塊至少包括有MC9S12)(DP512芯片。所述圖像輸出模塊至少包括有串口通信芯片MAX232。本實(shí)用新型所提供的裝置可通過對至少兩幅圖像提取輪廓并運(yùn)用圖像的透視投影關(guān)系得到含有平移量和角位移的投影變換矩陣，即可通過圖像采集模塊將兩幅圖片信息
3傳遞給圖形拼接處理模塊，隨后通過圖形處理芯片進(jìn)行圖像拼接運(yùn)算并將得到的拼接圖像通過圖像輸出模塊傳遞給顯示器或者其他輸出設(shè)備。與現(xiàn)有的技術(shù)相比較得到的圖像更準(zhǔn)確，圖像拼接更流暢，可以根據(jù)不同視角、不同尺度和光照變化實(shí)現(xiàn)有效的技術(shù)視頻的自動拼接。
圖1為本實(shí)用新型的裝置結(jié)構(gòu)示意圖；圖2為本實(shí)用新型的圖像采集模塊硬件電路圖；圖3為本實(shí)用新型的圖像輸出模塊硬件電路圖；圖4為本實(shí)用新型的圖像拼接處理模塊的工作流程圖；圖5為圖像配準(zhǔn)模塊的工作流程圖；圖6為對每組候選平移量進(jìn)行計(jì)算的流程圖；圖7為圖像投影變換矩陣的優(yōu)化求解的流程圖；圖8為參數(shù)優(yōu)化模塊的工作流程圖。以下結(jié)合實(shí)施例與附圖對本實(shí)用新型做進(jìn)一步詳細(xì)說明。具體的實(shí)施方式參見圖1，本實(shí)用新型的裝置包括至少有圖像采集模塊、圖形拼接處理模塊和圖像輸出模塊，且上述三個(gè)模塊依次連接。通過圖像采集模塊將至少兩幅圖片信息傳遞給圖形拼接處理模塊，通過圖形處理芯片進(jìn)行圖像拼接運(yùn)算得到拼接圖像，而后將得到的拼接圖像通過圖像輸出模塊傳遞給顯示器或者計(jì)算機(jī)等其他輸出設(shè)備。參見圖2，圖像采集模塊包括兩組圖像采集電路，所述兩組圖像采集電路并聯(lián)于圖形拼接處理模塊上，該圖像采集電路有攝像頭、LM1881圖形芯片以及4個(gè)電容和4個(gè)電阻等元件。參見圖3，圖像輸出模塊主要通過串口通信電路將處理后的圖片傳遞給顯示器或者其他輸出設(shè)備。串口通信電路有串口通信芯片MAX232和5個(gè)電容和串口插座。圖形拼接處理模塊中使用圖形拼接處理芯片MC9S12)(DP512。整個(gè)裝置由一個(gè)穩(wěn)壓電源為整個(gè)系統(tǒng)供電，圖像采集模塊、圖形拼接處理模塊和圖像輸出模塊均與該穩(wěn)壓電源相連接，穩(wěn)壓電源的輸入電壓為220V的交流電，輸出為12V 和5V兩種電壓的直流電。其中12V供給攝像頭，5V供給其他系統(tǒng)模塊。本實(shí)用新型所提供的裝置的具體圖像拼接運(yùn)算方法如下圖像采集模塊對所有攝像機(jī)拍攝的視頻采集單幀圖像以獲取圖像序列，相對應(yīng)的兩幅或多幅圖像邊界必須存在重疊區(qū)域，為了保證單幀之間的重疊區(qū)域能夠滿足拼接需求，通常設(shè)置采集速度為5 10幀/ S。目前采集單幀圖像的軟件很多，可以采用After Effect軟件進(jìn)行單幀圖像的采集。參見圖4，為圖形拼接處理模塊的工作流程示意圖，其包括圖像預(yù)處理模塊，圖像配準(zhǔn)模塊、參數(shù)優(yōu)化模塊和圖像融合模塊。所述的圖像預(yù)處理模塊實(shí)現(xiàn)對圖像進(jìn)行直方圖均衡和分段線性直方圖拉伸處理。 由于視頻圖像的采集和傳輸過程中會不可避免地出現(xiàn)噪聲、畸變、失真和對比度低等狀況， 使圖像中所包含的有效信息減少，從而會影響圖像配準(zhǔn)和拼接的質(zhì)量。因此在進(jìn)行拼接工作之前，要針對不同圖像的特點(diǎn)對圖像進(jìn)行預(yù)處理，包括對圖像進(jìn)行直方圖均衡和分段線性直方圖拉伸等處理。參見圖5—圖8，圖像預(yù)處理模塊中的圖像配準(zhǔn)模塊實(shí)現(xiàn)對圖像進(jìn)行輪廓提取后采用傅立葉變換與逆變換圖像初始定位平移量和角位移量的算法進(jìn)行配準(zhǔn)。該模塊運(yùn)用圖像的透視投影關(guān)系列出投影變換矩陣，矩陣中應(yīng)該包括水平位移量和旋轉(zhuǎn)位移量，隨后，提取出圖像的輪廓，只對二值化的輪廓進(jìn)行相位相關(guān)計(jì)算。提取兩幅或多幅原始圖像的輪廓，得到輪廓圖像，輪廓圖像是二值圖像?？梢允购谏硎具吘墸咨硎痉沁吘?。運(yùn)用傅立葉變換與逆變換得出變換矩陣中的圖像初始定位平移量和角位移量。根據(jù)圖像的配準(zhǔn)，再運(yùn)用小波變換圖像融合即可進(jìn)行拼接得到完整的圖像。由于獲取的初始參數(shù)值可能存在誤差，即使是誤差值很小，也得不到理想的視頻圖像。為了使拼接更準(zhǔn)確，其中的參數(shù)優(yōu)化模塊對初始參數(shù)進(jìn)行優(yōu)化，本實(shí)用新型采用 Levenberg-Marquard (L-M)優(yōu)化算法來求精初始參數(shù)。其中的圖像融合模塊其任務(wù)就是把配準(zhǔn)后的兩幅圖像拼接成一幅平滑無縫圖像。 找到圖像之間的重疊范圍，如果只是簡單的疊加，會造成圖像模糊和明顯的邊界，而且拼接處會有一條接縫，本實(shí)用新型采用小波變換圖像融合拼接得到完整的圖像。圖形拼接模塊處理后得到的拼接后的圖片通過圖像輸出模塊的串口通信接頭傳遞給顯示器或計(jì)算機(jī)。實(shí)施例本實(shí)施例中的裝置具體連接方式為此裝置中的1號攝像頭的視頻信號線與圖形采集芯片LM1881的2號引腳相連，使攝像頭信號輸入到芯片LM1881。隨后將LM1881的引腳1與芯片MC9S12XDP512的引腳PTl相連，同時(shí)，LM1881的引腳7與芯片MC9S12XDP512的引腳PT2相連，以便將視頻信號傳遞給芯片MC9S12)(DP512。2號攝像頭的連接方式同1號攝像頭連接方式相同，但是，2號攝像頭的電路中的LM1881的引腳1與芯片MC9S12)(DP512 的引腳PT3相連，LM1881的引腳2與芯片MC9S12XDP512的引腳PT4相連。對于輸出模塊，芯片MC9S12)(DP512的引腳T)(D與串口通信芯片MAX232的引腳11 相連，芯片MC9S12XDP512的引腳RXD與MAX232的引腳12相連。MAX232的引腳14與串口通信接頭的引腳2相連，MAX232的引腳13與串口通信接頭的引腳3相連。隨后將串口通信接頭與計(jì)算機(jī)的串口通信接頭相連。整個(gè)系統(tǒng)由一個(gè)穩(wěn)壓電源供電，該穩(wěn)壓電源為系統(tǒng)提供12V和5V兩種電壓，其中， 12V電壓直接與攝像頭的電源接頭相連，為兩個(gè)攝像頭供電。而5V電壓從穩(wěn)壓電源出來后分別接LM1881圖形采集芯片的引腳8、MC9S12XDP512芯片的引腳VCC和串口通信芯片 MAX232的引腳16。以便為各個(gè)芯片供電。工作過程中用一臺成像設(shè)備每隔固定的角度對同一場景進(jìn)行拍攝獲得的兩張圖像將相機(jī)固定在三角架上，將相機(jī)以鏡頭為軸，水平旋轉(zhuǎn)一周連續(xù)拍攝第1層圖像，再將攝像機(jī)往上仰一個(gè)角度拍攝第2層圖像，并且保證相鄰照片之間必須有一定的重疊區(qū)域。由于拍攝角度的變化，光照也會有差異。將第一張拍攝到的圖像編號為
,即基準(zhǔn)圖像，將旋轉(zhuǎn)成像設(shè)備拍攝的圖像編號為^g2(Wj)、……、^(mv。這里為
了方便描述，僅取前兩幅圖像進(jìn)行講解，其余圖像的拼接跟前面兩幅圖像的拼接方法完全相同。[0041]首先，提取出圖像的輪廓，只提取圖像的二值化輪廓。對兩幅待拼接圖像可以采用結(jié)合Carmy算子的圖像二值化方法進(jìn)行輪廓提取，得到了目標(biāo)像素灰度值均勻的圖像，可以使圖中黑色部分為圖像邊緣，白色為圖像的非邊緣， 以方便識別。第二，通過運(yùn)用傅立葉變換與逆變換公式得出變換矩陣中的圖像初始定位平移量和角位移量。即對于圖像ft(風(fēng)V)和圖像豹(W，v),兩者之間不光存在平移而且相互之間也存在旋轉(zhuǎn)。第三，通過對公式所得到的圖像初始定位平移量和角位移量進(jìn)行圖像的配準(zhǔn)，在運(yùn)用小波變換圖像融合進(jìn)行圖像的拼接。對于獲取的初始參數(shù)值可能存在誤差，為了使拼接更準(zhǔn)確我們必須對初始參數(shù)進(jìn)行優(yōu)化，本實(shí)用新型采用Levenberg-Marquard (L_M)優(yōu)化算法來求精初始參數(shù)。然后，運(yùn)用(L-M)優(yōu)化算法求精初始參數(shù)。在優(yōu)化算法求精初始參數(shù)的基礎(chǔ)上運(yùn)用小波變換圖像融合進(jìn)行圖像的拼接。最終，將拼接后得到的圖像信息通過MAX232串口通信的串口通信接頭傳遞給計(jì)算機(jī)，并在計(jì)算機(jī)上顯示。
權(quán)利要求1.一種視頻圖像自動拼接裝置，其特征在于，該裝置至少包括有圖像采集模塊、圖形拼接處理模塊和圖像輸出模塊，所述圖像采集模塊、圖形拼接處理模塊和圖像輸出模塊依次連接。
2.如權(quán)利要求1所述的視頻圖像自動拼接裝置，其特征在于，所述圖像采集模塊至少包括有兩組圖像采集電路，所述兩組圖像采集電路并聯(lián)于圖形拼接處理模塊上，所述圖像采集電路至少包括有攝像頭和LM1881圖形芯片。
3.如權(quán)利要求1所述的視頻圖像自動拼接裝置，其特征在于，所述圖像拼接處理模塊至少包括有MC9S12XDP512芯片。
4.如權(quán)利要求1所述的視頻圖像自動拼接裝置，其特征在于，所述圖像輸出模塊至少包括有串口通信芯片MAX232。
專利摘要本實(shí)用新型涉及數(shù)字圖象處理技術(shù)領(lǐng)域，尤其涉及一種視頻圖像拼接的裝置。一種視頻圖像自動拼接裝置,其特征在于，該裝置包括至少圖像采集模塊、圖形拼接處理模塊和圖像輸出模塊，所述圖像采集模塊、圖形拼接處理模塊和圖像輸出模塊依次連接。該裝置可通過對至少兩幅圖像提取輪廓并運(yùn)用圖像的透視投影關(guān)系得到含有平移量和角位移的投影變換矩陣。與現(xiàn)有的技術(shù)相比較得到的圖像更準(zhǔn)確，圖像拼接更流暢，可以根據(jù)不同視角、不同尺度和光照變化實(shí)現(xiàn)有效的技術(shù)視頻的自動拼接。
文檔編號H04N5/74GK201957162SQ20112001795
公開日2011年8月31日 申請日期2011年1月20日 優(yōu)先權(quán)日2011年1月20日
發(fā)明者孫文明, 孫純, 毛亞峰, 韓毅 申請人:長安大學(xué)