發(fā)送器、發(fā)送方法以及接收器的制作方法

專利名稱：發(fā)送器、發(fā)送方法以及接收器的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及發(fā)送裝置、發(fā)送方法以及接收裝置。尤其，本技術(shù)涉及與含有左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)一起，發(fā)送向疊加信息提供視差的視差信息的發(fā)送裝置、發(fā)送方法以及接收裝置。
背景技術(shù)：
例如，專利文獻(xiàn)I提出了使用立體圖像數(shù)據(jù)的電視電波的發(fā)送方案。在這種發(fā)送方案中，發(fā)送含有左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)，以便利用雙眼視差顯示立體圖像。圖60圖示了利用雙眼視差的立體圖像顯示中，屏幕上的物體(東西)的左右圖像的顯示位置與其立體圖像的再現(xiàn)位置之間的關(guān)系。例如，對(duì)于如圖所示左圖像La和右圖像Ra在屏幕上分別顯示在右側(cè)和左側(cè)的物體A，由于左右視線相交在屏幕表面的前面，所以其立體圖像的再現(xiàn)位置在屏幕表面的前面。DPa表示物體A沿著水平方向的視差矢量。此外，例如，對(duì)于如圖所示左圖像Lb和右圖像Rb在屏幕上分別顯示在相同位置上的物體B，由于左右視線相交在屏幕表面上，所以其立體圖像的再現(xiàn)位置在屏幕表面上。另夕卜，例如，對(duì)于如圖所示左圖像Lc和右圖像Re在屏幕上分別顯示在左側(cè)和右側(cè)的物體C，由于左右視線相交在屏幕表面的后面，所以其立體圖像的再現(xiàn)位置在屏幕表面的后面。DPc表不物體C沿著水平方向的視差矢量。引用列表專利文獻(xiàn)專利文獻(xiàn)1:日本已公開專利申請(qǐng)第2005-6114號(hào)

發(fā)明內(nèi)容
本發(fā)明要解決的問題如上所述，在立體圖像顯示中，觀眾通常利用雙眼視差感知立體圖像的透視。此夕卜，預(yù)期不僅像二維空間深度感那樣而且像三維(3D)深度感那樣，與立體圖像顯示結(jié)合渲染像字幕那樣疊加在圖像上的疊加信息。例如，在圖像和字幕以疊加(重疊)方式顯示而不是顯示在圖像中就透視而言最接近的東西(物體)的前面的情況下，觀眾可能會(huì)感到透視差
巳因此，考慮與疊加信息的數(shù)據(jù)一起發(fā)送左眼圖像與右眼圖像之間的視差信息以及由接收方提供左眼疊加信息與右眼疊加信息之間的視差。視差信息(3D擴(kuò)展的視差信息)具有在發(fā)送實(shí)際數(shù)據(jù)的同時(shí)要求在接收方內(nèi)插的規(guī)范。因此，當(dāng)將包括視差信息的PES(分組化基本流)分組多路復(fù)用到傳輸流中時(shí)需要特別考慮。也就是說，需要控制視差信息到達(dá)接收方的解碼器的到達(dá)定時(shí)和在解碼器的內(nèi)插定時(shí)的機(jī)制。本技術(shù)的一個(gè)目的是有效地進(jìn)行包括視差信息的PES分組的發(fā)送。解決問題的方案
本技術(shù)的一個(gè)概念是一種發(fā)送裝置，其包括:圖像數(shù)據(jù)輸出單元，配置為輸出用于顯示立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)；疊加信息數(shù)據(jù)輸出單元，配置為輸出要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息數(shù)據(jù)；視差信息輸出單元，配置為通過偏移要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息，輸出用于提供視差的視差信息；以及數(shù)據(jù)發(fā)送單元，配置為生成和發(fā)送傳輸流，所述傳輸流是通過多路復(fù)用包括從所述圖像數(shù)據(jù)輸出單元輸出的圖像數(shù)據(jù)的視頻數(shù)據(jù)流的PES分組、包括從所述疊加信息數(shù)據(jù)輸出單元輸出的疊加信息數(shù)據(jù)的第一專用數(shù)據(jù)流的PES分組、和包括從所述視差信息輸出單元輸出的視差信息的第二專用數(shù)據(jù)流的PES分組獲得的，其中所述數(shù)據(jù)發(fā)送單元多路復(fù)用所述第二專用數(shù)據(jù)流的PES分組，以便PES分組比包括在PES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器。在本技術(shù)中，所述圖像數(shù)據(jù)輸出單元輸出用于顯示立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。所述疊加信息數(shù)據(jù)輸出單元輸出要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息數(shù)據(jù)。這里，所述疊加信息包括疊加在圖像上的字幕、圖形、文本等。所述視差信息輸出單元輸出通過偏移要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息，提供視差的視差信息。例如，所述疊加信息數(shù)據(jù)可以是DVB字幕數(shù)據(jù)，以及所述視差信息可以是以區(qū)域或包括在區(qū)域中的子區(qū)域?yàn)閱挝坏囊暡钚畔?，或以包括所有區(qū)域的頁面為單位的視差信息。所述數(shù)據(jù)發(fā)送單元生成和發(fā)送傳輸流。所述傳輸流包含包括圖像數(shù)據(jù)的視頻數(shù)據(jù)流的PES數(shù)據(jù)、包括疊加信息數(shù)據(jù)的第一專用數(shù)據(jù)流的PES分組、和包括視差信息的第二專用數(shù)據(jù)流的PES分組，所述數(shù)據(jù)發(fā)送單元多路復(fù)用，例如，第二專用數(shù)據(jù)流的PES分組，以便PES分組比包括在PES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器。例如，預(yù)定時(shí)段至少包括解碼第二專用數(shù)據(jù)流的PES分組獲取視差信息所需的時(shí)段。這樣，在本技術(shù)中，多路復(fù)用包括視差信息的PES分組以便PES分組比包括在PES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器。因此，接收方可以通過針對(duì)顯示時(shí)間戳的定時(shí)及時(shí)進(jìn)行解碼等獲取視差信息。也就是說，在本技術(shù)中，可以有效地進(jìn)行包括視差信息的PES分組的發(fā)送。此外，在本技術(shù)中，例如，所述傳輸流可以針對(duì)第一專用數(shù)據(jù)流的一個(gè)PES分組包括第二專用數(shù)據(jù)流的一個(gè)PES分組。包括在第二專用數(shù)據(jù)流的PES分組中的視差信息可以是在通過包括在第一專用數(shù)據(jù)流的PES分組中的疊加信息數(shù)據(jù)顯示疊加信息的時(shí)段內(nèi)依次更新的視差信息，可以包括初始幀的視差信息、和每個(gè)隨后更新幀間隔內(nèi)幀的視差信息。在這種情況下，例如，在顯示疊加信息之前將依次更新視差信息(多個(gè)標(biāo)繪位置上的視差信息)集體發(fā)送給接收方。在這種情況下，發(fā)送內(nèi)容是例如像電影那樣的記錄內(nèi)容，以及離線進(jìn)行視差信息的編碼和多路復(fù)用。此外，在本技術(shù)中，例如，所述傳輸流可以針對(duì)第一專用數(shù)據(jù)流的一個(gè)PES分組包括第二專用數(shù)據(jù)流的多個(gè)PES分組。包括在第二專用數(shù)據(jù)流的多個(gè)PES分組中的視差信息可以是在通過包括在第一專用數(shù)據(jù)流的PES分組中的疊加信息數(shù)據(jù)顯示疊加信息的時(shí)段內(nèi)依次更新的一個(gè)或多個(gè)視差信息。在這種情況下，甚至在例如顯示疊加信息之后將依次更新視差信息(多個(gè)標(biāo)繪位置上的視差信息)依次發(fā)送給接收方。在這種情況下，發(fā)送內(nèi)容是，例如，像體育比賽或音樂會(huì)那樣的實(shí)況內(nèi)容，以及實(shí)時(shí)進(jìn)行視差信息的編碼和多路復(fù)用。這里，當(dāng)一個(gè)PES分組包括多個(gè)視差信息時(shí)，會(huì)發(fā)生延遲，但因?yàn)镻ES分組的多路復(fù)用速率降低了，所以可以減輕接收方的解碼器中的讀取負(fù)擔(dān)。在這種情況下，例如，當(dāng)?shù)诙Ｓ脭?shù)據(jù)流的PES分組包括多個(gè)視差信息時(shí)，該多個(gè)視差信息可以包括與包括在下一個(gè)PES分組中的初始幀的視差信息相同的一個(gè)幀的視差信息。在這種情況下，當(dāng)多個(gè)視差信息之間的間隔是幾個(gè)幀的間隔時(shí)，可以通過進(jìn)行內(nèi)插獲取每個(gè)幀的顯示信息。在這種情況下，例如，當(dāng)?shù)诙Ｓ脭?shù)據(jù)流的PES分組包括一個(gè)視差信息時(shí)，所述數(shù)據(jù)發(fā)送單元可以在第二個(gè)之后多路復(fù)用第二專用數(shù)據(jù)流的PES，以便第二專用數(shù)據(jù)流的PES在包括在前PES分組中的顯示時(shí)間戳的定時(shí)的下一個(gè)內(nèi)插幀之前到達(dá)接收方的解碼緩沖器。在這種情況下，當(dāng)包括在每個(gè)PES分組中的視差信息的間隔是幾個(gè)幀的間隔時(shí)，可以通過進(jìn)行內(nèi)插獲取每個(gè)幀的顯示信息。此外，在本技術(shù)中，例如，可以將所述數(shù)據(jù)發(fā)送單元設(shè)置成包括在第二專用數(shù)據(jù)流中的PES分組的解碼時(shí)間戳的定時(shí)比包括在該P(yáng)ES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段。在這種情況下，在接收方，可以針對(duì)顯示時(shí)間戳的定時(shí)及時(shí)可靠地開始解碼。此外，在本技術(shù)中，例如，可以將第一專用數(shù)據(jù)流的PES分組和第二專用數(shù)據(jù)流的PES分組設(shè)置成使按疊加信息顯示數(shù)據(jù)的顯示與按視差信息的視差同步的同步信息。在這種情況下，即使在分開PES分組中發(fā)送疊加信息數(shù)據(jù)和視差信息，接收方也可以使按疊加信息顯示數(shù)據(jù)的顯示與按視差信息的移動(dòng)控制同步。 此外，在本技術(shù)中，例如，可以將傳輸流設(shè)置成以插入方式包括將第一專用數(shù)據(jù)流的PES分組與第二專用數(shù)據(jù)流的PES分組相關(guān)聯(lián)的關(guān)聯(lián)信息。在這種情況下，通過關(guān)聯(lián)信息，例如，接收方可以容易地知道兩種PES分組相互關(guān)聯(lián)，因此可以知道應(yīng)該解碼兩種PES分組。此外，在本技術(shù)中，可以將第二專用數(shù)據(jù)流的PES分組設(shè)置成包括視差信息和疊加信息數(shù)據(jù)兩者。在這種情況下，接收方的3D兼容設(shè)備可以僅僅通過解碼第二專用數(shù)據(jù)流的PES分組進(jìn)行疊加信息的3D顯示。本技術(shù)的另一個(gè)概念是一種接收裝置，其包括:數(shù)據(jù)接收單元，配置為接收傳輸流，所述傳輸流是通過多路復(fù)用包括用于顯示立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的視頻數(shù)據(jù)流的PES分組、包括要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息數(shù)據(jù)的第一專用數(shù)據(jù)流的PES分組、和包括通過偏移要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息提供視差的視差信息的第二專用數(shù)據(jù)流的PES數(shù)據(jù)獲得的，多路復(fù)用第二專用數(shù)據(jù)流的PES分組，使得PES分組比包括在PES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器；圖像數(shù)據(jù)獲取單元，配置為通過對(duì)從由所述數(shù)據(jù)接收單元接收的傳輸流提取的視頻數(shù)據(jù)流的PES分組進(jìn)行解碼處理，獲取圖像數(shù)據(jù)；解碼緩沖器，配置為臨時(shí)存儲(chǔ)從由所述數(shù)據(jù)接收單元接收的傳輸流提取的第一專用數(shù)據(jù)流的PES分組和第二專用數(shù)據(jù)流的PES分組；疊加信息數(shù)據(jù)獲取單元，配置為通過從所述解碼緩沖器讀取第一專用數(shù)據(jù)流的PES分組并對(duì)讀取的PES分組進(jìn)行解碼處理，獲取疊加信息數(shù)據(jù)；視差信息獲取單元，配置為通過從所述解碼緩沖器讀取第二專用數(shù)據(jù)流的PES分組并對(duì)讀取的PES分組進(jìn)行解碼處理，獲取視差信息；以及圖像數(shù)據(jù)處理單元，配置為通過使用由所述圖像數(shù)據(jù)獲取單元獲取的圖像數(shù)據(jù)、由所述疊加信息數(shù)據(jù)獲取單元獲取的疊加信息數(shù)據(jù)、和由所述視差信息獲取單元獲取的視差信息，將視差提供給疊加在左眼圖像和右眼圖像上的相同疊加信息，并獲取疊加了疊加信息的左眼圖像的數(shù)據(jù)和疊加了疊加信息的右眼圖像的數(shù)據(jù)。此外，在本技術(shù)中，例如，可以進(jìn)一步配備視差信息內(nèi)插單元，以便通過對(duì)所述視差信息獲取單元獲取和在顯示疊加信息的預(yù)定數(shù)目的幀的時(shí)段內(nèi)依次更新的視差信息進(jìn)行內(nèi)插處理，生成在預(yù)定數(shù)目的幀的時(shí)段內(nèi)任何幀間隔的視差信息；以及所述圖像數(shù)據(jù)處理單元可以使用所述視差信息內(nèi)插單元生成的任何幀間隔的視差信息。在這種情況下，當(dāng)包括在每個(gè)PES分組中的視差信息的間隔是幾個(gè)幀的間隔時(shí)，可以通過獲取例如每個(gè)幀的顯示信息進(jìn)行偏移調(diào)整。此外，在本技術(shù)中，例如，可以將包括在第二專用數(shù)據(jù)流的PES分組中的解碼時(shí)間戳的定時(shí)設(shè)置成比包括在該P(yáng)ES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段；以及所述視差信息獲取單元可以通過在包括在第二專用數(shù)據(jù)流的PES分組中的解碼時(shí)間戳的定時(shí)從解碼緩沖器中讀取第二專用數(shù)據(jù)流的PES分組進(jìn)行解碼處理。這樣，可以通過針對(duì)顯示時(shí)間戳的定時(shí)及時(shí)可靠地開始解碼獲取視差信息。發(fā)明效果按照本技術(shù)，可以有效地進(jìn)行包括視差信息的PES分組的發(fā)送。


圖1是圖示按照本發(fā)明實(shí)施例的圖像發(fā)送/接收系統(tǒng)的配置的示例的框圖；圖2是圖示廣播站中的發(fā)送數(shù)據(jù)生成單元的配置的示例的框圖；圖3是圖示1920X1080像素格式的圖像數(shù)據(jù)的圖形；圖4是描述作為立體圖像數(shù)據(jù)(3D圖像數(shù)據(jù))發(fā)送方案的頂?shù)追桨浮⒉⑴欧桨?、和幀順序方案的圖形；圖5是描述檢測(cè)右眼圖像相對(duì)于左眼圖像的視差矢量的示例的圖形；圖6是描述通過塊匹配方案獲取視差矢量的圖形；圖7是圖示在每個(gè)像素的視差矢量的值用作每個(gè)像素的亮度值的情況下圖像的示例的圖形；圖8是圖示每個(gè)塊的視差矢量的示例的圖形；圖9是描述發(fā)送數(shù)據(jù)生成單元的視差信息創(chuàng)建單元進(jìn)行的縮小處理的圖形；圖10是圖示按字幕數(shù)據(jù)定義在圖像上的區(qū)域和定義在該區(qū)域中的子區(qū)域的示例的圖形；
圖11是圖示在第一種類型中包括在傳輸流TS中的2D流和3D擴(kuò)展流的配置的圖形；圖12是圖示在第二種類型中包括在傳輸流TS中的2D流和3D擴(kuò)展流的配置的圖形；圖13是描述在第一種類型中將時(shí)間戳PTS插入2D流的PES報(bào)頭PESl (I)中的值:PES#1與將時(shí)間戳PTS插入3D擴(kuò)展流的PES報(bào)頭PES2 (2)中的值:PES#2的關(guān)聯(lián)的圖形；圖14是圖示將2D流和3D擴(kuò)展流的時(shí)間戳PTS的值設(shè)置成不同值的示例的圖形；圖15是圖示將2D流和3D擴(kuò)展流的時(shí)間戳PTS的值設(shè)置成不同值的另一個(gè)示例的圖形；圖16是圖示在第一種類型的情況下在傳輸流中多路復(fù)用(離線)2D流和3D擴(kuò)展流的PES分組的示例的圖形；圖17是圖示在第一種類型的情況下在傳輸流中多路復(fù)用(實(shí)時(shí))2D流和3D擴(kuò)展流的PES分組的示例的圖形；圖18是圖示在第二種類型的情況下在傳輸流中多路復(fù)用(離線)2D流和3D擴(kuò)展流的PES分組的示例的圖形；圖19是圖示在第二種類型的情況下在傳輸流中多路復(fù)用(實(shí)時(shí))2D流和3D擴(kuò)展流的PES分組的示例的圖形；圖20是圖示在每個(gè)幀中發(fā)送含有SD-DSS (單視差DSS)的PES分組以便更新視差信息的情況，即，鏈接SD-DSS的情況的示例的圖形；圖21是圖示發(fā)送含有MD-DSS (多視差DSS)的PES分組降低PES分組的出現(xiàn)率以便更新視差信息的情況的示例的圖形；圖22是圖示在鏈接SD-DSS的情況下將含有MD-DSS的PES分組用于降低PES分組的出現(xiàn)率的情況的圖形；圖23是圖示將含有MD-DSS的PES分組多路復(fù)用到傳輸流中的情況的特定示例的圖形；圖24是圖示將含有MD-DSS的PES分組多路復(fù)用到傳輸流中的情況的另一個(gè)特定示例的圖形；圖25是描述在包括DSS的PES分組中設(shè)置DTS的特定定時(shí)的示例的圖形；圖26是圖示在第一種類型中傳輸流的配置的示例的圖形；圖27是圖示構(gòu)成字幕數(shù)據(jù)的PCS (page_composition_segment)的結(jié)構(gòu)的圖形；圖28是圖示segment_type的每個(gè)值與段類型之間的對(duì)應(yīng)關(guān)系的圖形；圖29是描述表示新定義的3D字幕數(shù)據(jù)格式的信息(Component_type=OX 15,0X25)的圖形；圖30是圖示在第二種類型中傳輸流的配置的示例的圖形；圖31是圖示通過使用間隔時(shí)段更新視差信息的示例和間隔時(shí)段是固定的和等于更新時(shí)段的情況的圖形；圖32是圖示通過使用間隔時(shí)段更新視差信息的示例和在間隔時(shí)段被設(shè)置成短的情況下更新視差信息的示例的圖形；圖33是圖示在第二種類型中3D流的配置的示例的圖形；
圖34是圖示在依次發(fā)送DSS段的情況下更新視差信息的示例的圖形；圖35是圖示其中用多個(gè)作為單位時(shí)段的間隔持續(xù)時(shí)間(ID)表達(dá)更新幀間隔的更新視差信息的示例的圖形；圖36是圖示其中在頁區(qū)(Page_default的面積)中包括作為字幕顯示區(qū)的兩個(gè)區(qū)域的顯示字幕的示例的圖形；圖37是圖示在以區(qū)域?yàn)閱挝坏囊暡钚畔?、和以包括所有區(qū)域的頁面為單位的視差信息包括在DSS段中，作為在字幕顯示時(shí)段中依次更新的視差信息的情況下，每個(gè)區(qū)域和頁面的視差信息曲線的示例的圖形；圖38是圖示每個(gè)頁面和區(qū)域的視差信息的發(fā)送結(jié)構(gòu)的圖形；圖39是圖示DSS的語法的示例的圖形(1/3)；圖40是圖示DSS的語法的示例的圖形(2/3)；圖41是圖示DSS的語法的示例的圖形(3/3)；圖42是圖示DSS的主要數(shù)據(jù)定義內(nèi)容(語義)的圖形(1/4);圖43是圖示DSS的主要數(shù)據(jù)定義內(nèi)容(語義)的圖形(2/4);圖44是圖示DSS的主要數(shù)據(jù)定義內(nèi)容(語義)的圖形(3/4);圖45是圖示DSS的主要數(shù)據(jù)定義內(nèi)容(語義)的圖形(4/4);圖46是圖示在機(jī)頂盒和電視接收器是3D兼容設(shè)備的情況下廣播接收的概念的圖形；圖47是圖示在機(jī)頂盒和電視接收器是傳統(tǒng)2D兼容設(shè)備的情況下廣播接收的概念的圖形；圖48是圖示在圖像上顯示字幕(圖形信息)的示例、以及背景、近景物體、和字幕的透視的圖形；圖49是圖示在圖像上顯示字幕的示例、以及用于顯示字幕的左眼字幕LGI和右眼子眷RGI的圖形；圖50是圖示包括在圖像發(fā)送/接收系統(tǒng)中的機(jī)頂盒的配置的示例的框圖；圖51是圖示包括在機(jī)頂盒中的位流處理單元的配置的示例(3D兼容)的框圖；圖52是圖示可以用于將2D流與3D擴(kuò)展流相關(guān)聯(lián)的多解碼描述符的語法的示例的圖形；圖53是圖示多解碼描述符的語法的示例中主要信息的內(nèi)容(語義)的圖形；圖54是圖示在布置多解碼描述符的情況下第一種類型的傳輸流TS的配置的示例的圖形；圖55是圖示包括在機(jī)頂盒中的位流處理單元的配置的另一個(gè)示例(2D兼容)的框圖；圖56是圖示包括在圖像發(fā)送/接收系統(tǒng)中的電視接收器的配置的示例的框圖；圖57是圖示包括在圖像發(fā)送/接收系統(tǒng)中的機(jī)頂盒的配置的另一個(gè)示例的框圖；圖58是圖示包括在圖像發(fā)送/接收系統(tǒng)中的電視接收器的配置的另一個(gè)示例的框圖；圖59是圖示圖像發(fā)送/接收系統(tǒng)的配置的示例的框圖；以及
圖60是描述利用雙眼視差的立體圖像顯示中，屏幕上的物體的左右圖像的顯示位置與其立體圖像的再現(xiàn)位置之間的關(guān)系的圖形。
具體實(shí)施例方式在下文中，將描述實(shí)現(xiàn)本發(fā)明的方式(下文稱為“實(shí)施例”)。另外，該描述按如下次序作出。1.實(shí)施例2.修改例〈1.實(shí)施例 >[圖像發(fā)送/接收系統(tǒng)的配置的示例]圖1圖示了按照實(shí)施例的圖像發(fā)送/接收系統(tǒng)的配置的示例。圖像發(fā)送/接收系統(tǒng)10包括廣播站100、機(jī)頂盒(STB) 200、和電視接收器(TV) 300。機(jī)頂盒200和電視接收器300通過HDMI (高清晰度多媒體接口)的數(shù)字接口連接。機(jī)頂盒200和電視接收器300使用HDMI電纜400來連接。機(jī)頂盒200配有HDMI端子202。電視接收器300配有HDMI端子302。HDMI電纜400的一端與機(jī)頂盒200的HDMI端子202連接，HDM電纜400的另一端與電視接收器300的HDMI端子302連接。[廣播站的描述]廣播站100在廣播電波上發(fā)送傳輸流TS。廣播站100包括生成傳輸流TS的發(fā)送數(shù)據(jù)生成單元110。傳輸流TS包括立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、疊加信息數(shù)據(jù)、視差信息等。立體圖像數(shù)據(jù)具有預(yù)定發(fā)送格式，包括顯示立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。一般說來，疊加信息是字幕、圖形信息、文本信息等。但是，在該實(shí)施例中，疊加信息是字幕(字眷)。[發(fā)送數(shù)據(jù)生成單元的配置的示例]圖2圖示了廣播站100中的發(fā)送數(shù)據(jù)生成單元110的配置的示例。發(fā)送數(shù)據(jù)生成單元110以可以容易地與作為現(xiàn)有廣播標(biāo)準(zhǔn)之一的DVB (數(shù)字視頻廣播)方案協(xié)作的數(shù)據(jù)結(jié)構(gòu)發(fā)送視差信息。發(fā)送數(shù)據(jù)生成單元110包括相機(jī)IllL和111R、視頻成幀單元112、視差矢量檢測(cè)單元113、麥克風(fēng)114、數(shù)據(jù)提取單元115、和切換開關(guān)116-118。此外，發(fā)送數(shù)據(jù)生成單元110還包括視頻編碼器119、音頻編碼器120、字幕生成單元121、視差信息創(chuàng)建單元122、字幕處理單元123、字幕編碼器125、和多路復(fù)用126。相機(jī)IllL捕獲左眼圖像以獲取顯示立體圖像的左眼圖像數(shù)據(jù)。相機(jī)11 IR捕獲右眼圖像以獲取顯示立體圖像的右眼圖像數(shù)據(jù)。視頻成幀單元112將相機(jī)IllL獲取的左眼圖像數(shù)據(jù)和相機(jī)IllR獲取的右眼圖像數(shù)據(jù)處理成符合發(fā)送方案的立體圖像數(shù)據(jù)(3D圖像數(shù)據(jù))。視頻成幀單元112構(gòu)成圖像數(shù)據(jù)輸出單元。下面將描述發(fā)送立體圖像數(shù)據(jù)(3D圖像數(shù)據(jù))的發(fā)送方案的示例。這里，盡管作為示例將描述如下第一到第三發(fā)送方案，但任何其他發(fā)送方案都可以用于發(fā)送立體圖像數(shù)據(jù)(3D圖像數(shù)據(jù))。此外，這里，作為示例，將描述如圖3所圖示左眼(L)圖像數(shù)據(jù)和右眼(R)圖像數(shù)據(jù)是具有預(yù)定分辨率，例如，1920X1080像素格式的情況。第一發(fā)送方案是頂?shù)追桨福琒卩，如圖4(a)所圖示，在垂直方向的第一半部中發(fā)送左眼圖像數(shù)據(jù)的每行數(shù)據(jù)和在垂直方向的第二半部中發(fā)送右眼圖像數(shù)據(jù)的每行數(shù)據(jù)的方案。在這種情況下，由于左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的行數(shù)減少了一半，所以垂直分辨率相對(duì)于原始信號(hào)降低了 一半。第二發(fā)送方案是并排方案，S卩，如圖4(b)所圖示，在水平方向的第一半部中發(fā)送左眼圖像數(shù)據(jù)的像素?cái)?shù)據(jù)和在水平方向的第二半部中發(fā)送右眼圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的方案。在這種情況下，左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)每一種的水平方向像素?cái)?shù)據(jù)減少了一半。因此，水平分辨率相對(duì)于原始信號(hào)降低了 一半。第三發(fā)送方案是幀順序方案，S卩，如圖4(c)所圖示，通過對(duì)各個(gè)幀依次切換發(fā)送左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的方案。另外，幀順序方案也包括適合傳統(tǒng)2D格式的全幀方案或服務(wù)兼容方案。視差矢量檢測(cè)單元113根據(jù)左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)為構(gòu)成圖像的每個(gè)像素檢測(cè)，例如，視差矢量。下面將描述檢測(cè)視差矢量的示例。這里，將描述檢測(cè)右眼圖像相對(duì)于左眼圖像的視差矢量的示例。如圖5所圖示，將左眼圖像用作檢測(cè)圖像，將右眼圖像用作參照?qǐng)D像。在本例中，檢測(cè)(xi，yi)和(xj，yj)位置上的視差矢量。作為示例，將描述檢測(cè)(xi，yi)位置上的視差矢量的情況。在這種情況下，在左眼圖像中，利用(xi，yi)位置上的左上角像素設(shè)置，例如，4X4、8X8、或16X16像素塊(視差檢測(cè)塊)Bi。在右眼圖像中，搜索與像素塊Bi匹配的像素塊。在這種情況下，在右眼圖像中，設(shè)置圍繞(xi，yi)位置的搜索范圍。將該搜索范圍內(nèi)的每個(gè)像素用作順序關(guān)注像素，依次設(shè)置像上述像素塊Bi那樣的比較塊，例如，4X4、8X8、或16X16像素塊。在像素塊Bi與依次設(shè)置比較塊之間，獲取各自相應(yīng)像素的絕對(duì)差值之和。這里，如圖6所示，當(dāng)像素塊Bi的像素值是L (x，y)和比較塊的像素值是R (x，y)時(shí)，將像素塊Bi與比較塊之間的絕對(duì)差值之和表達(dá)成Σ |L (X，y) -R (X，y) |。當(dāng)在設(shè)置在右眼圖像中的搜索范圍中包括η個(gè)像素時(shí)，最終獲得η個(gè)和值SI到Sn，并選擇它們當(dāng)中的最小和Smin。從獲得最小和Smin的比較塊中獲取左上角像素的(xi' ,yi')位置。于是，(xi，yi)位置上的視差矢量被檢測(cè)成(xi' -xi,yi/ -yi)。盡管未詳細(xì)描述，但在左眼圖像中設(shè)置，例如，具有(xj，yj)位置上的左上角像素的4X4、8X8、或16X16像素塊Bj，并通過相同處理檢測(cè)(xj，yj)位置上的視差矢量。返回到圖2，麥克風(fēng)114通過檢測(cè)與相機(jī)11IL和11 IR捕獲的圖像相對(duì)應(yīng)的聲音獲取音頻數(shù)據(jù)。數(shù)據(jù)提取單元115用在與數(shù)據(jù)記錄介質(zhì)115a可分開安裝的狀態(tài)下。數(shù)據(jù)記錄介質(zhì)115a的示例包括盤狀記錄介質(zhì)和半導(dǎo)體存儲(chǔ)器。數(shù)據(jù)記錄介質(zhì)115a與包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像相關(guān)聯(lián)地存儲(chǔ)音頻數(shù)據(jù)、疊加信息數(shù)據(jù)、和視差矢量。數(shù)據(jù)提取單元115從數(shù)據(jù)記錄介質(zhì)115a中提取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、和視差矢量并輸出它們。數(shù)據(jù)提取單元115構(gòu)成圖像數(shù)據(jù)輸出單元。這里，記錄在數(shù)據(jù)記錄介質(zhì)115a中的立體圖像數(shù)據(jù)對(duì)應(yīng)于視頻成幀單元112獲取的立體圖像數(shù)據(jù)。此外，記錄在數(shù)據(jù)記錄介質(zhì)115a中的音頻數(shù)據(jù)對(duì)應(yīng)于麥克風(fēng)114獲取的音頻數(shù)據(jù)。此外，記錄在數(shù)據(jù)記錄介質(zhì)115a中的視差矢量對(duì)應(yīng)于視差矢量檢測(cè)單元113獲取的視差矢量。
切換開關(guān)116有選擇地提取視頻成幀單元112獲取的立體圖像數(shù)據(jù)或從數(shù)據(jù)提取單元115輸出的立體圖像數(shù)據(jù)。在這種情況下，在實(shí)況模式下，切換開關(guān)116與a側(cè)連接，以提取視頻成幀單元112獲取的立體圖像數(shù)據(jù)。此外，在再現(xiàn)模式下，切換開關(guān)116與b側(cè)連接，以提取從數(shù)據(jù)提取單元115輸出的立體圖像數(shù)據(jù)。切換開關(guān)117有選擇地提取視差矢量檢測(cè)單元113檢測(cè)的視差矢量或從數(shù)據(jù)提取單元115輸出的視差矢量。在這種情況下，在實(shí)況模式下，切換開關(guān)117與a側(cè)連接，以提取視差矢量檢測(cè)單元113檢測(cè)的視差矢量。此外，在再現(xiàn)模式下，切換開關(guān)117與b側(cè)連接，以提取從數(shù)據(jù)提取單元115輸出的視差矢量。切換開關(guān)118有選擇地提取麥克風(fēng)114獲取的音頻數(shù)據(jù)或從數(shù)據(jù)提取單元115輸出的音頻數(shù)據(jù)。在這種情況下，在實(shí)況模式下，切換開關(guān)118與a側(cè)連接，以提取麥克風(fēng)114獲取的音頻數(shù)據(jù)。此外，在再現(xiàn)模式下，切換開關(guān)118與b側(cè)連接，以提取從數(shù)據(jù)提取單元115輸出的音頻數(shù)據(jù)。視頻編碼器119對(duì)切換開關(guān)116提取的立體圖像數(shù)據(jù)進(jìn)行像MPEG4_AVC、MPEG2或VC-1那樣的編碼，以生成視頻數(shù)據(jù)流(視頻基本流)。音頻編碼器120對(duì)切換開關(guān)118提取的音頻數(shù)據(jù)進(jìn)行像AC3或AAC那樣的編碼，以生成音頻數(shù)據(jù)流(音頻基本流)。字幕生成單元121生成像DVB (數(shù)字視頻廣播)的字幕數(shù)據(jù)那樣的字幕數(shù)據(jù)。字幕數(shù)據(jù)是二維(2D)圖像的字幕數(shù)據(jù)。字幕生成單元121構(gòu)成疊加信息數(shù)據(jù)輸出單元。視差信息創(chuàng)建單元122對(duì)切換開關(guān)117提取的每個(gè)像素的視差矢量(水平方向視差矢量)進(jìn)行縮小處理，以生成如下所述每層的視差信息。另外，視差信息無需必須由視差信息創(chuàng)建單元122生成，也可以單獨(dú)從外界供應(yīng)。圖7圖示了作為每個(gè)像素的亮度值提供的深度方向相關(guān)數(shù)據(jù)的示例。這里，可以通過預(yù)定轉(zhuǎn)換將深度方向相關(guān)數(shù)據(jù)處理成每個(gè)像素的視差矢量。在本例中，將人體部分的亮度值設(shè)置得較高。這意味著人體部分的視差矢量值較大，因此意味著在立體圖像顯示中感覺人體部分是前伸的。此外，在本例中，將背景部分的亮度值設(shè)置得較低。這意味著背景部分的視差矢量值較小，因此意味著在立體圖像顯示中感覺背景部分是后縮的。圖8圖示了每個(gè)塊的視差矢量的示例。一個(gè)塊對(duì)應(yīng)于處在最低層上的像素的上層。該塊通過沿著水平方向和垂直方向?qū)D像(畫面)區(qū)劃分成預(yù)定大小構(gòu)成。每個(gè)塊的視差矢量通過，例如，從存在于該塊之中的所有像素的視差矢量中選擇具有最大值的視差矢量獲得。在本例中，每個(gè)塊的視差矢量用一個(gè)箭頭表達(dá)，箭頭的長(zhǎng)度對(duì)應(yīng)于視差矢量的幅度。圖9圖示了視差信息創(chuàng)建單元122進(jìn)行的縮小處理的示例。首先，如圖9(a)的所圖示，視差信息創(chuàng)建單元122通過使用每個(gè)像素的視差矢量獲取每個(gè)塊的帶符號(hào)視差矢量。如上所述，該塊對(duì)應(yīng)于處在最低層上的像素的上層，通過沿著水平方向和垂直方向?qū)D像(畫面)區(qū)劃分成預(yù)定大小構(gòu)成。每個(gè)塊的視差矢量通過，例如，從存在于該塊之中的所有像素的視差矢量中選擇具有最小值的視差矢量或具有最大絕對(duì)值的負(fù)視差矢量獲得。接著，如圖9(b)的所圖示，視差信息創(chuàng)建單元122通過使用每個(gè)塊的視差矢量獲取每個(gè)群體(塊群)的視差矢量。該群體對(duì)應(yīng)于該塊的上層，通過使多個(gè)相鄰塊成群獲得。每個(gè)群體的視差矢量通過，例如，從該群體之中的所有塊的視差矢量中選擇具有最小值的視差矢量或具有最大絕對(duì)值的負(fù)視差矢量獲得。
接著，如圖9(c)的所圖示，視差信息創(chuàng)建單元122通過使用每個(gè)群體的視差矢量獲取每個(gè)分區(qū)的視差矢量。該分區(qū)對(duì)應(yīng)于該群體的上層，通過使多個(gè)相鄰群體成群獲得。在圖9(c)的示例中，每個(gè)分區(qū)包括由虛線框界定的兩個(gè)群體。每個(gè)分區(qū)的視差矢量通過，例如，從該分區(qū)之中的所有群體的視差矢量中選擇具有最小值的視差矢量或具有最大絕對(duì)值的負(fù)視差矢量獲得。接著，如圖9(d)的所圖示，視差信息創(chuàng)建單元122通過使用每個(gè)分區(qū)的視差矢量獲取處在最上層的整個(gè)畫面(整個(gè)圖像)的視差矢量。在圖9(d)的示例中，整個(gè)畫面包括由虛線框界定的四個(gè)分區(qū)。整個(gè)畫面的視差矢量通過，例如，從包括在該整個(gè)畫面之中的所有分區(qū)的視差矢量中選擇具有最小值的視差矢量或具有最大絕對(duì)值的負(fù)視差矢量獲得。這樣，視差信息創(chuàng)建單元122通過對(duì)處在最低層上的每個(gè)像素的視差矢量進(jìn)行縮小處理，可以獲得像塊、群體、分區(qū)、和整個(gè)畫面那樣的每層的每個(gè)區(qū)域的視差矢量。此外，在圖示在圖9中的縮小處理的示例中，除了像素層之外，最終獲得塊、群體、分區(qū)、和整個(gè)畫面四個(gè)層的視差矢量。但是，層數(shù)、劃分每個(gè)層的區(qū)域的方法、和區(qū)域數(shù)不局限于此。返回到圖2，字幕處理單元123可以根據(jù)字幕生成單元121生成的字幕數(shù)據(jù)在一個(gè)區(qū)域中定義子區(qū)域。此外，字幕處理單元123根據(jù)視差信息創(chuàng)建單元122創(chuàng)建的視差信息，在左眼圖像和右眼圖像中設(shè)置移動(dòng)疊加信息的顯示位置的視差信息。該視差信息可以針對(duì)每個(gè)子區(qū)域、區(qū)域或頁面來設(shè)置。圖10(a)圖示了按字幕數(shù)據(jù)定義在圖像上的區(qū)域和定義在該區(qū)域中的子區(qū)域的示例。在本例中，在具有RO的Region_Starting位置的區(qū)域O中定義了 SubRegionl和SubRegion2的兩個(gè)子區(qū)域。SubRegionl的水平位置x是SRI, SubRegion2的水平位置x是SR2。在本例中，為子區(qū)域SubRegionl設(shè)置視差信息Disparityl,為子區(qū)域SubRegion2設(shè)置視差信息Disparity〗。圖10(b)圖示了在左眼圖像(左眼視圖)中的子區(qū)域中通過視差信息的偏移調(diào)整的示例。為子區(qū)域SubRegionl設(shè)置視差信息Disparityl。因此,對(duì)于子區(qū)域SubRegionl,進(jìn)行偏移調(diào)整以便水平位置X是S Rl - disparityl。此外，為子區(qū)域SubRegion2設(shè)置視差信息Disparity〗。因此，對(duì)于子區(qū)域SubRegion2，進(jìn)行偏移調(diào)整以便水平位置x是SR2 -disparity2。圖10(c)圖示了在右眼圖像(右眼視圖)中的子區(qū)域中通過視差信息的偏移調(diào)整的示例。為子區(qū)域SubRegionl設(shè)置視差信息Disparityl。因此,對(duì)于子區(qū)域SubRegionl,進(jìn)行偏移調(diào)整以便如與上述左眼圖像相反，水平位置X是SRl+disparityl。此外，為子區(qū)域SubRegion2設(shè)置視差信息Disparity2。因此,對(duì)于子區(qū)域SubRegion2,進(jìn)行偏移調(diào)整以便如與上述左眼圖像相反，水平位置X是SR2+disparity2。字幕處理單元123與字幕生成單元121生成的字幕數(shù)據(jù)一起，輸出像視差信息和上述子區(qū)域的區(qū)域信息那樣的顯示控制信息。此外，除了如上所述以子區(qū)域?yàn)閱挝辉O(shè)置之夕卜，也可以以區(qū)域或頁面為單位設(shè)置視差信息。字幕數(shù)據(jù)包括像DDS、PCS、RCS、CDS、ODS和EDS那樣的段。DDS (顯示定義段)規(guī)定HDTV的顯示尺寸。PCS (頁面組成段)規(guī)定頁面中的區(qū)域位置。RCS (區(qū)域組成段)規(guī)定區(qū)域的尺寸或?qū)ο蟮木幋a模式，并且還規(guī)定對(duì)象的開始位置。CDS(CLUT定義段)規(guī)定CLUT內(nèi)容。ODS(對(duì)象數(shù)據(jù)段)包括編碼像素?cái)?shù)據(jù)Pixeldata。EDS (顯示結(jié)束設(shè)置段)指示從DDS的段開始的字幕數(shù)據(jù)的結(jié)束。在本實(shí)施例中，進(jìn)一步定義了 DSS (顯示傳信段)的段。將上述顯示控制信息插入DSS的段中。返回到圖2，字幕編碼器125生成作為如下第一種類型和第二種類型的第一和第
二專用數(shù)據(jù)流(第一和第二字幕數(shù)據(jù)流)。按第一種類型生成包括DDS、PCS、RCS、CDS、ODS和EDS的段的第一專用數(shù)據(jù)流(2D流)。此外，按第一種類型生成包括DDS、DSS和EDS的段的第二專用數(shù)據(jù)流(3D擴(kuò)展流)。按第二種類型生成包括DDS、PCS、RCS、CDS、ODS和EDS的段的第一專用數(shù)據(jù)流(2D流)。此外，按第二種類型生成包括DDS、PCS、RCS、DSS、CDS、ODS和EDS的段的第二專用數(shù)據(jù)流(3D擴(kuò)
展流)。多路復(fù)用器126多路復(fù)用來自視頻編碼器119、音頻編碼器120、和字幕編碼器125的各自數(shù)據(jù)流的PES分組，以獲取作為多路復(fù)用數(shù)據(jù)流的傳輸流TS。也就是說，傳輸流TS包括作為PES流的視頻數(shù)據(jù)流、音頻數(shù)據(jù)流、和第一和第二專用數(shù)據(jù)流。圖11圖示了在第一種類型中包括在傳輸流TS中的第一專用數(shù)據(jù)流(2D流)和第二專用數(shù)據(jù)流(3D擴(kuò)展流)的配置。圖11(a)圖示了將PES報(bào)頭布置在開頭，后面接著包括DDS、PCS、RCS、CDS、ODS和EDS的各自段的PES有效負(fù)載的2D流。此外，圖11(b)圖示了將PES報(bào)頭布置在開頭，后面接著包括DDS、DSS和EDS的各自段的PES有效負(fù)載的3D擴(kuò)展流。此外，如圖11(c)所圖示，可以將3D擴(kuò)展流配置成在PES有效負(fù)載中包括DDS、PCS、DSS和EDS的各自段。在這種情況下，PCS的頁面狀態(tài)是指示疊加數(shù)據(jù)(位圖)沒有變化的正常情況。圖12圖示了在第二種類型中包括在傳輸流TS中的第一專用數(shù)據(jù)流(2D流)和第二專用數(shù)據(jù)流(3D擴(kuò)展流)的配置。圖12(a)圖示了將PES報(bào)頭布置在開頭，后面接著包括DDS、PCS、RCS、CDS、ODS和EDS的各自段的PES有效負(fù)載的2D流。此外，圖12(b)圖示了將PES報(bào)頭布置在開頭，后面接著包括DDS、PCS、RCS、DSS、CDS、ODS和EDS的各自段的PES有效負(fù)載的3D流。在第一種類型中，多路復(fù)用器126使有關(guān)接收方顯示疊加信息與通過視差信息的偏移控制之間的同步的同步信息包括在2D流和3D擴(kuò)展流中。具體地說，如圖13所圖示，將多路復(fù)用器126設(shè)置成使將時(shí)間戳PTS (呈現(xiàn)時(shí)間戳)插入2D流的PES報(bào)頭PESl (I)中的值:PES#1與將時(shí)間戳PTS插入3D擴(kuò)展流的PES報(bào)頭PES2 (2)中的值:PES#2相關(guān)聯(lián)。圖13圖示了將2D流和3D擴(kuò)展流的時(shí)間戳PTS (呈現(xiàn)時(shí)間戳)的值設(shè)置成相同值，即，PTSl的示例。在這種情況下，在接收方(解碼方)，從PTSl開始通過字幕數(shù)據(jù)(疊加信息數(shù)據(jù))顯示字幕圖案，以及也從PTSl開始通過在3D中顯示字幕圖案的視差信息的偏移控制。此外，在圖13的示例中，圖示了 3D擴(kuò)展流包括兩個(gè)視差信息，它們是PTSl幀的視差信息和預(yù)定隨后幀的視差信息。在接收方(解碼方)，指示可以通過內(nèi)插處理獲取兩個(gè)幀之間的任意幀的視差信息，并且可以動(dòng)態(tài)地進(jìn)行偏移控制。此外，在圖13中，包括在2D流中的“傳統(tǒng)段”表示DDS、PCS、RCS、CDS、ODS和EDS的各自段。此外，包括在3D擴(kuò)展流中的“擴(kuò)展段”表示DDS、DSS和EDS的各自段或DDS、PCS、DSS和EDS的各自段。此外，在圖13中，2D流的“Elementary_PID”是ID1，3D擴(kuò)展流的“Elementary_PID”是ID2。這同樣適用于如下所述的圖14和15。
圖14圖示了將2D流和3D擴(kuò)展流的時(shí)間戳PTS的值設(shè)置成不同值的示例。也就是說，在圖13的示例中，將2D流的時(shí)間戳PTS的值設(shè)置成PTSlJf 3D擴(kuò)展流的時(shí)間戳PTS的值設(shè)置成接在PTSl之后的PTS2。在這種情況下，在接收方(解碼方)，從PTSl開始通過字幕數(shù)據(jù)(疊加信息數(shù)據(jù))顯示字幕圖案，但從PTS2開始通過在3D中顯示字幕圖案的視差信息的偏移控制。此外，在圖14的示例中，圖示了 3D擴(kuò)展流包括PTS2幀的視差信息和多個(gè)隨后幀的視差信息。在接收方(解碼方)，指示可以通過內(nèi)插處理獲取多個(gè)幀之間的任意幀的視差信息，并且可以動(dòng)態(tài)地進(jìn)行偏移控制。與圖14 一樣，圖15圖示了將2D流和3D擴(kuò)展流的時(shí)間戳PTS的值設(shè)置成不同值的示例。另外，圖15圖示了存在具有不同時(shí)間戳(PTS)值的多種3D擴(kuò)展流的示例。也就是說，在圖15的示例中，將2D流的時(shí)間戳PTS的值設(shè)置成PTS1。此外，將多種3D擴(kuò)展流的時(shí)間戳PTS的值設(shè)置成接在PTSl之后的PTS2、PTS3、PTS4、.......
在這種情況下，在接收方(解碼方)，從PTSl開始通過字幕數(shù)據(jù)(疊加信息數(shù)據(jù))顯示字幕圖案，但從PTS2開始通過在3D中顯示字幕圖案的視差信息的偏移控制，然后進(jìn)行依次更新。此外，在圖15的示例中，多種3D擴(kuò)展流只包括各自時(shí)間戳表示的視差信息。在接收方(解碼方)，指示可以通過內(nèi)插處理獲取多個(gè)幀之間的任意幀的視差信息，并且可以動(dòng)態(tài)地進(jìn)行偏移控制。此外，如上所述，多路復(fù)用器126多路復(fù)用各自數(shù)據(jù)流的PES分組，以獲取作為多路復(fù)用數(shù)據(jù)流的傳輸流TS。這里，多路復(fù)用器126多路復(fù)用上述2D流的PES分組，以便PES分組比包括在PES分組中的PTS (顯示時(shí)間戳)的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器。同樣，多路復(fù)用器126多路復(fù)用上述3D擴(kuò)展流或3D流的PES分組，以便PES分組比包括在PES分組中的PTS的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器。這里，PES分組的到達(dá)意味著PES有效負(fù)載的結(jié)束部分的到達(dá)。這同樣適用于下文。圖16圖示了在第一種類型的情況下在傳輸流TS中多路復(fù)用2D流和3D擴(kuò)展流的PES分組的示例。這個(gè)示例假設(shè)了發(fā)送內(nèi)容是像電影那樣的記錄內(nèi)容的上述再現(xiàn)模式，圖示了離線進(jìn)行視差信息的編碼或多路復(fù)用的情況。在圖16中，作為“第1PES”的PESl(I)是2D流(參見圖11 (a))的PES分組，在傳輸流TS中表示成P1-1。此外，作為“第2PES”的PES2(1)是3D擴(kuò)展流(參見圖11 (b))的PES分組，在傳輸流TS中表示成P2-1。將PCR (節(jié)目時(shí)鐘參考)嵌入傳輸流TS中。通過PCR使接收方的解碼器時(shí)鐘與編碼器時(shí)鐘同步。PTS中2D流的PES分組Pl-1的顯示定時(shí)是PTS1，在接收方從這個(gè)定時(shí)開始顯示字幕圖案。此外，PTS中3D擴(kuò)展流的PES分組P2-1的顯示定時(shí)是PTS1，在接收方也從PTSl開始通過在3D中顯示字幕圖案的視差信息的偏移控制。3D擴(kuò)展流的PES分組P2_l包括四個(gè)幀位置(視差標(biāo)繪位置)以及PTSl幀的視差信息。接收方通過內(nèi)插處理獲取各自視差標(biāo)繪位置之間的任意幀間隔，例如，I幀間隔的視差信息。此外，在如下描述中，為了使描述簡(jiǎn)單起見，將接收方描述成獲取I幀間隔的視差信息。假設(shè)接收方在時(shí)段Λ O中進(jìn)行2D流的PES分組Pl-1的解碼和顯示準(zhǔn)備。因此，多路復(fù)用器126將PES分組Pl-1多路復(fù)用到傳輸流TS中，以便PES分組至少比定時(shí)I(PTSl)早時(shí)段ΛO到達(dá)接收方的解碼器緩沖器。此外，假設(shè)接收方在時(shí)段Al中進(jìn)行3D擴(kuò)展流的PES分組Ρ2-1的解碼和各自視差標(biāo)繪位置之間的每個(gè)幀的視差信息的內(nèi)插處理。因此，多路復(fù)用器126將PES分組Ρ2-1多路復(fù)用到傳輸流TS中，以便PES分組至少比定時(shí)I (PTSl)早時(shí)段Λ I到達(dá)接收方的解碼器緩沖器。在接收方，解碼3D擴(kuò)展流的PES分組Ρ2-1以獲取四個(gè)視差標(biāo)繪位置的視差信息，并通過內(nèi)插處理獲取各自視差標(biāo)繪位置之間的每個(gè)幀的視差信息。在接收方，在字幕圖案的顯示時(shí)段中，根據(jù)如上所述獲得的視差信息在每個(gè)幀中偏移字幕圖案，以便將字幕疊加在左眼圖像和右眼圖像上。在這種情況下，通過根據(jù)視差信息沿著相反方向偏移將視差提供給疊加在左眼圖像和右眼圖像上的字幕圖案。于是，在接收方，在像電影那樣的記錄內(nèi)容的3D圖像上良好地進(jìn)行字幕圖案的3D顯示。圖17圖示了在第一種類型的情況下在傳輸流TS中多路復(fù)用2D流和3D擴(kuò)展流的PES分組的示例。這個(gè)示例假設(shè)了發(fā)送內(nèi)容是像體育比賽或音樂會(huì)那樣的實(shí)況內(nèi)容的上述實(shí)況模式，圖示了實(shí)時(shí)進(jìn)行視差信息的編碼和多路復(fù)用的情況。在圖17中，作為“第1PES”的PESl(I)是2D流(參見圖11 (a))的PES分組，在傳輸流TS中表示成Pl-1。此外，作為“第2PES”的PES2(1)、PES2(2)、和PES2(3)分別是3D擴(kuò)展流(參見圖11 (b))的PES分組，在傳輸流TS中分別表示成Ρ2-1、Ρ2-2、和P2-3。將PCR (節(jié)目時(shí)鐘參考)嵌入傳輸流TS中。通過PCR使接收方的解碼器時(shí)鐘與編碼器時(shí)鐘同步。PTS中2D流的PES分組Pl-1的顯示定時(shí)是PTS1，在接收方從這個(gè)定時(shí)開始顯示字幕圖案。此外，PTS中3D擴(kuò)展流的PES分組P2-1的顯示定時(shí)是PTS1，在接收方也從PTSl開始通過在3D中顯示字幕圖案的視差信息的偏移控制。3D擴(kuò)展流的PES分組P2_l包括PTS2幀的位置(視差標(biāo)繪位置)的視差信息。此夕卜，3D擴(kuò)展流的PES分組P2-2包括顯示在PTS中的PTS2幀的位置(視差標(biāo)繪位置)的視差信息。另外，3D擴(kuò)展流的PES分組P2-3包括顯示在PTS中的PTS3幀的位置(視差標(biāo)繪位置)的視差信息。接收方通過內(nèi)插處理獲取各自視差標(biāo)繪位置之間的每個(gè)幀的視差信息。假設(shè)接收方在時(shí)段Λ0中進(jìn)行2D流的PES分組Pl-1的解碼和顯示準(zhǔn)備。因此，多路復(fù)用器126將PES多路復(fù)用Pl-1，以便PES分組至少比定時(shí)I (PTSl)早時(shí)段Λ O到達(dá)接收方的解碼器緩沖器。此外，假設(shè)接收方在時(shí)段Al中進(jìn)行3D擴(kuò)展流的PES分組Ρ2-1的解碼。因此，多路復(fù)用器126多路復(fù)用PES分組Ρ2-1，以便PES分組至少比定時(shí)I (PTSl)早時(shí)段Λ I到達(dá)接收方的解碼器緩沖器。此外，接收方需要在定時(shí)I (PTSl)的下一個(gè)內(nèi)插幀(定時(shí)Α)之前進(jìn)行包括定時(shí)2(PTS2)的視差信息的3D擴(kuò)展流Ρ2-2的解碼。這是因?yàn)椴粌H定時(shí)I (PTSl)的視差信息而且定時(shí)2 (PTS2)的視差信息都是在接收方通過內(nèi)插處理生成定時(shí)A的視差信息所必不可少的。假設(shè)接收方在時(shí)段α中進(jìn)行3D擴(kuò)展流的PES分組Ρ2_2的解碼和定時(shí)I (PTSl)與定時(shí)2 (PTS2)之間的每個(gè)幀的視差信息的內(nèi)插處理。因此，多路復(fù)用器126多路復(fù)用PES分組Ρ2-2，以便PES分組至少比定時(shí)A早時(shí)段α，g卩，比定時(shí)2 (PTS2)早時(shí)段Λ 2到達(dá)接收方的解碼器緩沖器。這同樣適用于包括定時(shí)3 (PTS3)的視差信息的3D擴(kuò)展流的PES分組P2_3。也就是說，多路復(fù)用器126多路復(fù)用PES分組P2-3，以便PES分組至少比定時(shí)B早時(shí)段β，S卩，比定時(shí)3 (PTS3)早時(shí)段Λ 3到達(dá)接收方的解碼器緩沖器。也就是說，定時(shí)B是定時(shí)2 (PTS2)的下一個(gè)內(nèi)插幀。在接收方，依次解碼3D擴(kuò)展流的PES分組Ρ2-1、Ρ2-2和Ρ2_3，并依次獲取三個(gè)視差標(biāo)繪位置的視差信息。每當(dāng)獲取下一個(gè)視差標(biāo)繪位置的視差信息時(shí)，就通過對(duì)以前獲取的視差信息進(jìn)行內(nèi)插處理獲取兩個(gè)視差標(biāo)繪位置之間的每個(gè)幀的視差信息。在接收方，在字幕圖案的顯示時(shí)段中，根據(jù)如上所述獲得的視差信息在每個(gè)幀中偏移字幕圖案，以便將字幕疊加在左眼圖像和右眼圖像上。在這種情況下，通過根據(jù)視差信息沿著相反方向偏移將視差提供給疊加在左眼圖像和右眼圖像上的字幕圖案。于是，在接收方，在像體育比賽或音樂會(huì)那樣的實(shí)況內(nèi)容的3D圖像上良好地進(jìn)行字幕圖案的3D顯示。圖18圖示了在第二種類型的情況下在傳輸流TS中多路復(fù)用2D流和3D擴(kuò)展流的PES分組的示例。這個(gè)示例假設(shè)了發(fā)送內(nèi)容是像電影那樣的記錄內(nèi)容的上述再現(xiàn)模式，圖示了離線進(jìn)行視差信息的編碼或多路復(fù)用的情況。在圖18中，作為“第1PES”的PESl(I)是2D流(參見圖12 (a))的PES分組，在傳輸流TS中表示成P1-1。此外，作為“第2PES”的PES2⑴是3D擴(kuò)展流(參見圖12 (b))的PES分組，在傳輸流TS中表示成P2-1。將PCR (節(jié)目時(shí)鐘參考)嵌入傳輸流TS中。通過PCR使接收方的解碼器時(shí)鐘與編碼器時(shí)鐘同步。PTS中3D流的PES分組P2-1的顯示定時(shí)是PTS1，在接收方從這個(gè)定時(shí)開始通過在3D中顯示字幕圖案的視差信息的偏移控制。3D流的PES分組P2_l包括四個(gè)幀位置(視差標(biāo)繪位置)以及PTSl幀的視差信息。接收方通過內(nèi)插處理獲取各自視差標(biāo)繪位置之間的每個(gè)幀的視差信息。假設(shè)接收方在時(shí)段Al中進(jìn)行3D流的PES分組P2-1的解碼、顯示的準(zhǔn)備、和各自視差標(biāo)繪位置之間的每個(gè)幀的視差信息的內(nèi)插處理。因此，多路復(fù)用器126多路復(fù)用PES分組P2-1，以便PES分組至少比定時(shí)I (PTSl)早時(shí)段Λ I到達(dá)接收方的解碼器緩沖器。在接收方，解碼3D擴(kuò)展流的PES分組P2_l以獲取四個(gè)視差標(biāo)繪位置的視差信息，并通過內(nèi)插處理獲取各自視差標(biāo)繪位置之間的每個(gè)幀的視差信息。在接收方，在字幕圖案的顯示時(shí)段中，根據(jù)如上所述獲得的視差信息在每個(gè)幀中偏移字幕圖案，以便將字幕疊加在左眼圖像和右眼圖像上。在這種情況下，通過根據(jù)視差信息沿著相反方向偏移將視差提供給疊加在左眼圖像和右眼圖像上的字幕圖案。于是，在接收方，在像電影那樣的記錄內(nèi)容的3D圖像上良好地進(jìn)行字幕圖案的3D顯示。圖19圖示了在第二種類型的情況下在傳輸流TS中多路復(fù)用2D流和3D流的PES分組的示例。這個(gè)示例假設(shè)了發(fā)送內(nèi)容是像體育比賽或音樂會(huì)那樣的實(shí)況內(nèi)容的上述實(shí)況模式，圖示了實(shí)時(shí)進(jìn)行視差信息的編碼和多路復(fù)用的情況。在圖19中，作為“第1PES”的PESl(I)是2D流(參見圖12 (a))的PES分組，在傳輸流TS中表示成Pl-1。此外，作為“第2PES”的PES2(1)、PES2(2)、和PES2(3)分別是3D流(參見圖12(b))的PES分組，在傳輸流TS中分別表示成Ρ2-1、Ρ2-2、和P2-3。此外，當(dāng)字幕圖案沒有變化時(shí)，PES2(2)和PES2(3)可以是3D擴(kuò)展流(參見圖11(b))。
將PCR (節(jié)目時(shí)鐘參考)嵌入傳輸流TS中。通過PCR使接收方的解碼器時(shí)鐘與編碼器時(shí)鐘同步。PTS中3D流的PES分組P2-1的顯示定時(shí)是PTS1，在接收方從這個(gè)定時(shí)開始通過在3D中顯示字幕圖案的視差信息的偏移控制。3D流的PES分組P2_l包括PTSl幀的位置(視差標(biāo)繪位置)的視差信息。此外，3D流或3D擴(kuò)展流的PES分組P2-2包括顯示在PTS中的PTS2幀的位置(視差標(biāo)繪位置)的視差信息。另外，3D流或3D擴(kuò)展流的PES分組P2-3包括顯示在PTS中的PTS3幀的位置(視差標(biāo)繪位置)的視差信息。接收方通過內(nèi)插處理獲取各自視差標(biāo)繪位置之間的每個(gè)幀的視
差/[目息。假設(shè)接收方在時(shí)段Al中進(jìn)行3D流的PES分組P2-1的解碼、顯示的準(zhǔn)備、和各自視差標(biāo)繪位置之間的每個(gè)幀的視差信息的內(nèi)插處理。因此，多路復(fù)用器126多路復(fù)用PES分組P2-1，以便PES分組至少比定時(shí)I (PTSl)早時(shí)段Al到達(dá)接收方的解碼器緩沖器。此外，接收方需要在定時(shí)I (PTSl)的下一個(gè)內(nèi)插幀(定時(shí)A)之前進(jìn)行包括定時(shí)2 (PTS2)的視差信息的3D流或3D擴(kuò)展流的PES分組P2-2的解碼。這是因?yàn)椴粌H定時(shí)I(PTSl)的視差信息而且定時(shí)2 (PTS2)的視差信息都是在接收方通過內(nèi)插處理生成定時(shí)A的視差信息所必不可少的。假設(shè)接收方在時(shí)段α中進(jìn)行3D擴(kuò)展流的PES分組Ρ2_2的解碼和定時(shí)I (PTSl)與定時(shí)2 (PTS2)之間的每個(gè)幀的視差信息的內(nèi)插處理。因此，多路復(fù)用器126多路復(fù)用PES分組Ρ2-2，以便PES分組至少比定時(shí)A早時(shí)段α，g卩，比定時(shí)2 (PTS2)早時(shí)段Λ 2到達(dá)接收方的解碼器緩沖器。這同樣適用于包括定時(shí)3 (PTS3)的視差信息的3D擴(kuò)展流的PES分組Ρ2-3。也就是說，多路復(fù)用器126多路復(fù)用PES分組Ρ2-3，以便PES分組至少比定時(shí)B早時(shí)段β，S卩，比定時(shí)3 (PTS3)早時(shí)段Λ 3到達(dá)接收方的解碼器緩沖器。也就是說，定時(shí)B是定時(shí)2 (PTS2)的下一個(gè)內(nèi)插幀。在接收方，依次解碼3D流的PES分組P2_l和3D流或3D擴(kuò)展流的PES分組Ρ2_2和Ρ2-3，并依次獲取三個(gè)視差標(biāo)繪位置的視差信息。每當(dāng)獲取下一個(gè)視差標(biāo)繪位置的視差信息時(shí)，就通過對(duì)以前獲取的視差信息進(jìn)行內(nèi)插處理獲取兩個(gè)視差標(biāo)繪位置之間的每個(gè)幀的視差信息。在接收方，在字幕圖案的顯示時(shí)段中，根據(jù)如上所述獲得的視差信息在每個(gè)幀中偏移字幕圖案，以便將字幕疊加在左眼圖像和右眼圖像上。在這種情況下，通過根據(jù)視差信息沿著相反方向偏移將視差提供給疊加在左眼圖像和右眼圖像上的字幕圖案。于是，在接收方，在像體育比賽或音樂會(huì)那樣的實(shí)況內(nèi)容的3D圖像上良好地進(jìn)行字幕圖案的3D顯示。此外，在圖示在圖17和19中的上述示例中，3D擴(kuò)展流(參見圖11(b))或3D流(參見圖12(b))的PES分組包括一個(gè)視差信息。也就是說，PES分組包括包括只有一個(gè)視差標(biāo)繪位置的視差信息的DSS (下文稱為單視差DSS)。圖20圖示了在每個(gè)幀中發(fā)送含有上述SD-DSS的PES分組以便更新視差信息的情況，即，鏈接SD-DSS的情況的示例。如上所述，考慮到在接收方等解碼所需的時(shí)段，多路復(fù)用器126在傳輸流TS中多路復(fù)用PES分組Ρ2-1，以便PES分組至少比PTSl早時(shí)段Λ I到達(dá)接收方的解碼器緩沖器。同樣，多路復(fù)用器126在傳輸流TS中多路復(fù)用PES分組Ρ2-2，Ρ2-3,......，以便PES分組至少比PTS2，PTS3，......分別早時(shí)段Λ 2，Λ 3，......到達(dá)接收方的解碼器緩沖器。這樣，當(dāng)鏈接SD-DSS時(shí)，接收方的解碼器在每個(gè)幀中需要通過從解碼緩沖器中讀取PES分組來進(jìn)行解碼，因此增加了讀取負(fù)擔(dān)。因此，可以考慮將PES分組設(shè)置成含有具有多個(gè)視差標(biāo)繪位置的視差信息的DSS (下文稱為MD-DSS (多視差DSS)，以便降低PES分組的出現(xiàn)率，從而減輕接收方的解碼器的讀取負(fù)擔(dān)。圖21圖示了發(fā)送含有上述MD-DSS的PES分組降低PES分組的出現(xiàn)率以便更新視差信息的情況的示例。具有PTSl的PTS定時(shí)的PES分組P2-1含有包括總共三個(gè)幀的視差信息，即，PTSl幀(用實(shí)線〇表示)的視差信息和兩個(gè)隨后幀(用虛線〇表示)的視差信息的MD-DSS。考慮到在接收方等解碼所需的時(shí)段，多路復(fù)用器126在傳輸流TS中多路復(fù)用PES分組P2-1，以便PES分組至少比PTSl早時(shí)段Λ I到達(dá)接收方的解碼器緩沖器。同樣，分別具有PTS2，PTS3，......的PTS定時(shí)的PES分組Ρ2-2，Ρ2-3，......含
有包括總共三個(gè)幀的視差信息，即，PTS2，PTS3，......的幀(用實(shí)線〇表示)的視差信息和
兩個(gè)隨后幀(用虛線〇表示)的視差信息的MD-DSS。多路復(fù)用器126在傳輸流TS中多路復(fù)
用PES分組Ρ2-2，Ρ2-3,......，以便PES分組至少比PTS2，PTS3，......分別早時(shí)段Δ 2，
Λ 3，......到達(dá)接收方的解碼器緩沖器。此外，在圖21的示例中，PES分組Ρ2-2，Ρ2-3，......分別含有包括三個(gè)相繼幀的
視差信息的MD-DSS。但是，PES分組可能含有包括在允許實(shí)時(shí)系統(tǒng)延遲的范圍內(nèi)每預(yù)定個(gè)幀的多個(gè)視差信息的MD-DSS。在這種情況下，當(dāng)MD-SSS包括每多個(gè)幀的多個(gè)視差信息時(shí)，可以在接收方通過內(nèi)插處理獲取各自幀的視差信息。

圖22(a)圖示了在第一種類型中多路復(fù)用到傳輸流TS中的2D流和3D擴(kuò)展流的PES分組的結(jié)構(gòu)的示例，圖22(b)圖示了鏈接SD-DSS的情況，并且圖示了多路復(fù)用到傳輸流TS中的3D擴(kuò)展流的PES分組的出現(xiàn)率較高。圖22 (c)圖示了通過使用含有MD-DSS的PES分組降低多路復(fù)用到傳輸流TS中的3D擴(kuò)展流的PES分組的出現(xiàn)率。圖23圖示了將含有MD-DSS的PES分組多路復(fù)用到傳輸流TS中的情況的特定示例。具有PTSl的PTS定時(shí)的PES分組P2-1含有包括PTSl幀和三個(gè)隨后幀的視差信息D1_0、D1_1、D1_2 和 Dl_3 的 MD-DSS。此外，具有PTS2的PTS定時(shí)的PES分組P2-2含有包括PTS2幀和三個(gè)隨后幀的視差信息D2_0、D2_l、D2_2和D2_3的MD-DSS。在這種情況下，包括在PES分組P2-1中的MD-DSS的最后幀的視差信息Dl_3與包括在PES分組P2-2中的MD-DSS的初始幀的視差信息D2_0重疊。盡管未詳細(xì)描述，但具有PTS3的PTS定時(shí)的PES分組P2-3與上述PES分組P2-2相同。如上所述，當(dāng)MD-DSS含有每個(gè)幀的視差信息時(shí)，在下面將描述的DSS的語法的disparity_shift_update_sequence O 中，interval_duration 的值等于視頻巾貞時(shí)段的值，interval_count的值是I。這同樣適用于下面將描述的圖24的特定示例。此外，在interval_count的值是2或更大的情況下，如圖23所圖示，由于disparity_shift_update_sequence O的初始視差信息和最后視差信息共享相同PTS,所以保證了 DSS之前和之后內(nèi)插數(shù)據(jù)的連貫性。例如，在圖23的特定示例中，為了內(nèi)插的目的，將視差 目息Dl_3和視差/[目息D2_0編碼成共孚相同PTS,將視差/[目息D2_3和視差/[目息D3_0編碼成共享相同PTS。在圖23的特定示例中，沿著垂直方向延伸的虛線表示內(nèi)插定時(shí)的示例。如上所述，在圖23的示例中，包括在任何PES分組中的MD-DSS的最后幀的視差信息與包括在下一個(gè)PES分組中的MD-DSS的初始幀的視差信息重疊。通過使用這種結(jié)構(gòu)，在MD-DSS包括每多個(gè)幀的視差信息的情況下，可以僅僅使用作為解碼任何PES分組的結(jié)構(gòu)獲得的視差信息進(jìn)行在接收方對(duì)每個(gè)幀的視差信息的內(nèi)插處理圖24圖示了將含有MD-DSS的PES分組多路復(fù)用到傳輸流TS中的情況的另一個(gè)特定示例。具有PTSl的PTS定時(shí)的PES分組P2-1含有包括PTSl幀和兩個(gè)隨后幀的視差信息 D1_0、Dl_l 和 Dl_2 的 MD-DSS。此外，具有PTS2的PTS定時(shí)的PES分組P2_2含有包括PTS2幀和兩個(gè)隨后幀的視差信息D2_0、D2_l和D2_2的MD-DSS。在這種情況下，與圖23的示例不同，包括在PES分組P2-1中的MD-DSS的最后幀的視差信息Dl_2與包括在PES分組P2-2中的MD-DSS的初始幀的視差信息D2_0不重疊。這是因?yàn)樵贒l_2與D2_0沒有內(nèi)插處理。盡管未詳細(xì)描述，但具有PTS3的PTS定時(shí)的PES分組P2-3與上述PES分組P2-2相同。此外，多路復(fù)用器126可以按如下方式設(shè)置包括視差信息的3D擴(kuò)展流(參見圖11(b))的PES分組，或3D流(參見圖12 (b))的PES分組的解碼時(shí)間戳DTS的定時(shí)。在PES分組中，通過將報(bào)頭(PES分組報(bào)頭)的“PTS_DTS_flags”設(shè)置成11，不僅顯示定時(shí)而且解碼定時(shí)都得到定義。順便說一下，“PTS_DTS_flags=ll”指示編碼PTS 和 DTS?！癙TS_DTS_flags=10”指示只編碼PTS，以及叩了3_0了3_乜&88=00”指示既不編碼？了3也不編碼0了3。另外，禁止“PTS_DTS_fIags=OI”。此外，在下面描述的圖51的位流處理單元201中，PTS是從像素緩沖器225中讀取的定時(shí)，以及DTS是從編碼數(shù)據(jù)編碼器223中讀取的定時(shí)。將多路復(fù)用器126設(shè)置成使包括視差信息的3D擴(kuò)展流或3D流的PES分組的DTS的定時(shí)被設(shè)置成比包括在PES分組中的PTS的定時(shí)早預(yù)定時(shí)段。在這種情況下，將DTS的定時(shí)設(shè)置成針對(duì)使用它的定時(shí)及時(shí)進(jìn)行從PES分組中的視差信息獲取。設(shè)置DTS的定時(shí)的特定示例將參照?qǐng)D25來描述。圖25對(duì)應(yīng)于上述的圖17或圖19。如上所述，將具有定時(shí)I(PTSl)的PTS定時(shí)的3D流或3D擴(kuò)展流的PES分組P2-1多路復(fù)用成使PES分組至少比定時(shí)I早時(shí)段Λ I到達(dá)接收方的解碼器緩沖器。多路復(fù)用器126將PES分組Ρ2-1的DTS的定時(shí)設(shè)置成比定時(shí)I早時(shí)段Al的定時(shí)I' (DTSl)0此外，如上所述，將具有定時(shí)2 (PTS2)的PTS定時(shí)的PES分組Ρ2-2多路復(fù)用成使PES分組至少比定時(shí)A早時(shí)段a，S卩，至少比定時(shí)2早時(shí)段Λ2到達(dá)接收方的解碼器緩沖器。多路復(fù)用器126將PES分組P2-2的DTS的定時(shí)設(shè)置成比定時(shí)2早時(shí)段Λ 2的定時(shí)2'(DTS2)。同樣，如上所述，將具有定時(shí)3 (PTS3)的PTS定時(shí)的PES分組Ρ2-3多路復(fù)用成使PES分組至少比定時(shí)B早時(shí)段β，Β卩，至少比定時(shí)3早時(shí)段Λ3到達(dá)接收方的解碼器緩沖器。多路復(fù)用器126將PES分組Ρ2-3的DTS的定時(shí)設(shè)置成比定時(shí)3早時(shí)段Λ 3的定時(shí)3'(DTS3)。下面將簡(jiǎn)要描述圖示在圖2中的發(fā)送數(shù)據(jù)生成單元110的操作。由相機(jī)IllL捕獲左眼圖像。將用于立體圖像顯示的相機(jī)IllL捕獲的左眼圖像數(shù)據(jù)供應(yīng)給視頻成幀單元112。此外，由相機(jī)IllR捕獲右眼圖像。將用于立體圖像顯示的相機(jī)IllR捕獲的右眼圖像數(shù)據(jù)供應(yīng)給視頻成幀單元112。在視頻成幀單元112中，將左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)處理成按照發(fā)送方案的狀態(tài)，并獲取立體圖像數(shù)據(jù)(參見圖4(a)到4(c))。將視頻成幀單元112獲得的立體圖像數(shù)據(jù)供應(yīng)給切換開關(guān)116的a側(cè)固定端子。此外，將數(shù)據(jù)提取單元115獲得的立體圖像數(shù)據(jù)供應(yīng)給切換開關(guān)116的b側(cè)固定端子。在實(shí)況模式下，將切換開關(guān)116與a側(cè)連接，從切換開關(guān)116中提取視頻成幀單元116獲得的立體圖像數(shù)據(jù)。在再現(xiàn)模式下，將切換開關(guān)116與b側(cè)連接，從切換開關(guān)116中提取從數(shù)據(jù)提取單元115輸出的立體圖像數(shù)據(jù)。將從切換開關(guān)116中提取的立體圖像數(shù)據(jù)供應(yīng)給視頻編碼器119。在視頻編碼器119中，對(duì)立體圖像數(shù)據(jù)進(jìn)行像MPEG4-AVC、MPEG2或VC-1那樣的編碼，并生成包括編碼視頻數(shù)據(jù)的視頻數(shù)據(jù)流(視頻基本流)。將視頻數(shù)據(jù)流供應(yīng)給多路復(fù)用器126。將麥克風(fēng)114獲得的音頻數(shù)據(jù)供應(yīng)給切換開關(guān)118的a側(cè)固定端子。此外，將數(shù)據(jù)提取單元115獲得的音頻數(shù)據(jù)供應(yīng)給切換開關(guān)118的b側(cè)固定端子。在實(shí)況模式下，將切換開關(guān)118與a側(cè)連接，從切換開關(guān)118中提取麥克風(fēng)114獲得的音頻數(shù)據(jù)。在再現(xiàn)模式下，將切換開關(guān)118與b側(cè)連接，從切換開關(guān)118中提取從數(shù)據(jù)提取單元115輸出的音頻數(shù)據(jù)。將從切換開關(guān)118中提取的音頻數(shù)據(jù)供應(yīng)給音頻編碼器120。在音頻編碼器120中，對(duì)音頻數(shù)據(jù)進(jìn)行像MPEG-2Audio AAC或MPEG-4AAC那樣的編碼，并生成包括編碼音頻數(shù)據(jù)的音頻數(shù)據(jù)流(音頻基本流)。將音頻數(shù)據(jù)流供應(yīng)給多路復(fù)用器126。通過視頻成幀單元111將相機(jī)IllL和IllR獲得的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)供應(yīng)給視差矢量檢測(cè)單元113。在視差矢量檢測(cè)單元113中，根據(jù)左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)檢測(cè)每個(gè)像素的視差矢量或每個(gè)像素群的視差矢量。將視差矢量供應(yīng)給切換開關(guān)117的a側(cè)固定端子。此外，將從數(shù)據(jù)提取單元115輸出的每個(gè)像素的視差矢量供應(yīng)給切換開關(guān)117的b側(cè)固定端子。在實(shí)況模式下，將切換開關(guān)117與a側(cè)連接，從切換開關(guān)117中提取視差矢量檢測(cè)單元113獲得的每個(gè)像素的視差矢量或每個(gè)像素群的視差矢量。在再現(xiàn)模式下，將切換開關(guān)117與b側(cè)連接，從切換開關(guān)117中提取從數(shù)據(jù)提取單元115輸出的每個(gè)像素的視差矢量或每個(gè)像素群的視差矢量。在字幕生成單元121中，生成作為DVB字幕數(shù)據(jù)(對(duì)于2D圖像)的字幕數(shù)據(jù)。將字幕數(shù)據(jù)供應(yīng)給視差信息創(chuàng)建單元122和字幕處理單元123。將從切換開關(guān)117中提取的每個(gè)像素的視差矢量或每個(gè)像素群的視差矢量供應(yīng)給視差信息創(chuàng)建單元122。在視差信息創(chuàng)建單元122中，對(duì)每個(gè)像素的視差矢量或每個(gè)像素群的視差矢量進(jìn)行縮小處理，生成每層的視差信息。將視差信息供應(yīng)給字幕處理單元123。在字幕處理單元123中，例如，根據(jù)字幕生成單元121生成的字幕數(shù)據(jù)定義一個(gè)區(qū)域中的子區(qū)域。此外，在字幕處理單元123中，根據(jù)視差信息創(chuàng)建單元122創(chuàng)建的視差信息設(shè)置在左眼圖像和右眼圖像中偏移疊加信息的顯示位置的視差信息。在這種情況下，針對(duì)每個(gè)子區(qū)域、區(qū)域或頁面來設(shè)置視差信息。將從字幕處理單元123輸出的顯示控制信息和字幕數(shù)據(jù)供應(yīng)給字幕編碼器125。顯示控制信息包括子區(qū)域的區(qū)域信息、視差信息等。在字幕編碼器125中，按第一種類型或第二種類型生成第一和第二兩種專用數(shù)據(jù)流(基本流)。
按第一種類型生成包括DDS、PCS、RCS、CDS、ODS和EDS的各自段的第一專用數(shù)據(jù)流(2D流)。另外，按第一種類型生成包括DDS、DSS和EDS的各自段，或DDS、PCS、DSS和EDS的各自段的第二專用數(shù)據(jù)流(3D擴(kuò)展流)。按第二種類型生成包括DDS、PCS、RCS、CDS、ODS和EDS的各自段的第一專用數(shù)據(jù)流(2D流)。此外，按第二種類型生成包括DDS、PCS、RCS、DSS、CDS、ODS和EDS的各自段的第二專用數(shù)據(jù)流(3D擴(kuò)展流)。如上所述，DSS的段是包括顯示控制信息的段。如上所述，將來自視頻編碼器119、音頻編碼器120、和字幕編碼器125的各自數(shù)據(jù)流供應(yīng)給多路復(fù)用器126。在多路復(fù)用器126中，將各自數(shù)據(jù)流分組化和多路復(fù)用成PES分組，并獲取傳輸流TS作為多路復(fù)用數(shù)據(jù)流。傳輸流TS包括作為PES流的視頻數(shù)據(jù)流、音頻數(shù)據(jù)流、和第一和第二專用數(shù)據(jù)流。圖26圖示了在第一種類型中傳輸流TS的配置的示例。另外，在圖26中，為了使圖示簡(jiǎn)單起見，省略了視頻和音頻相關(guān)部分的圖示。傳輸流TS包括通過將每種基本流分組化獲得的PES分組。在這個(gè)配置示例中，包括2D流(第一專用數(shù)據(jù)流)的PES分組字幕PESl和3D擴(kuò)展流(第二專用數(shù)據(jù)流)的PES分組字幕PES2。2D流(PES流)包括DDS、PCS、RCS、CDS、ODS和EDS的各自段。此外，3D擴(kuò)展流(PES流)包括DDS、DSS和EDS的各自段或DDS、PCS、DSS和EDS的各自段。在這種情況下，2D流的“Elementary_PID”和3D擴(kuò)展流的“Elementary_PID”被不同地設(shè)置成PIDl和PID2，因此指示這些流是不同流。圖27 圖不了 PCS (page_composition_segment)結(jié)構(gòu)。如圖 28 所圖不，PCS 的段類型是 O X 10。Region_Horizontal_Address 和 Rregion_Vertical_Address 指不區(qū)域的開始地址。此外，關(guān)于像DDS、RCS和ODS那樣的其他段，省略了對(duì)它們的結(jié)構(gòu)的圖示。如圖28所圖示，DDS的段類型是OX 14，RCS的段類型是OX 11，⑶S的段類型是OX 12，ODS的段類型是OX 13，以及EDS的段類型是0X80。另外，如圖28所圖示，DSS的段類型是OX 15。下面將描述DSS的段的詳細(xì)結(jié)構(gòu)。返回到圖26，傳輸流TS還包括作為PSI (節(jié)目特定信息)的PMT (節(jié)目映射表)。PSI是描述包括在傳輸流中的每種基本流屬于哪個(gè)節(jié)目的信息。此外，傳輸流還包括用于對(duì)每個(gè)事件進(jìn)行管理的作為SI (被服務(wù)信息)的EIT (事件信息表)。EIT描述每個(gè)節(jié)目的元數(shù)據(jù)。將表示字幕的內(nèi)容的字幕描述符(Subtitle_Descriptor)插入PMT中。此外,將表示為每種流輸送的內(nèi)容的成分描述符(Component_Descriptor)插入EIT中。如圖29所圖示，在成分描述符的“stream_content”表示字幕的情況下，當(dāng)“component_type”是OX 25的OX 15時(shí),它表示3D字幕，當(dāng)“component_type”是任何其他值時(shí),它表示2D字幕。如圖26所圖示,字幕描述符“subtitling_type”被設(shè)置成“component_type”的值。此外，PMT還包括含有與字幕基本流有關(guān)的信息的字幕基本環(huán)。在字幕基本環(huán)中，為每種流布置像分組標(biāo)識(shí)符(PID)那樣的信息，盡管未圖示出來，但還布置了描述與基本流有關(guān)的信息的描述符。在第一種類型的情況下，字幕描述符的“composition_page_id”被設(shè)置成指示包括在3D擴(kuò)展流中的每個(gè)段與2D流的每個(gè)段相關(guān)聯(lián)。也就是說，3D擴(kuò)展流中的“composition_page_id”和 2D 流中的“composition_page_id”被設(shè)置成共享相同值(圖 26中的O X XXXX) O此外，在第一種類型的情況下，為了指示包括在3D擴(kuò)展流中的每個(gè)段與2D流的每個(gè)段相關(guān)聯(lián)，將兩種流中的各自相關(guān)段的“page_ids”編碼成具有相同值。圖30圖示了在第二種類型中傳輸流TS的配置的示例。另外，在圖30中，為了使圖示簡(jiǎn)單起見，省略了視頻和音頻相關(guān)部分的圖示。傳輸流TS包括通過將每種基本流分組化獲得的PES分組。在這個(gè)配置示例中，包括2D流(第一專用數(shù)據(jù)流)的PES分組字幕PESl和3D流(第二專用數(shù)據(jù)流)的PES分組字幕PES2。2D流(PES流)包括DDS、PCS、RCS、CDS、ODS和EDS的各自段。3D流(PES流)包括DDS、PCS、RCS、DSS、CDS、ODS和EDS的各自段。在第二種類型的情況下，3D流通過將DSS段插入2D流中構(gòu)成。也就是說，3D流包括進(jìn)行3D兼容顯示所需的所有信息。在這種情況下，2D流的“Elementary_PID”和3D流的“Elementary_PID”被不同地設(shè)置成PIDl和PID2，因此指示這些流是不同流。此外，在第二種類型的情況下，將3D流中的字幕描述符的“composition_page_id”和2D流中的字幕描述符的“composition_page_id”設(shè)置成具有不同值(圖30中的OXXXXX和0ΧΥΥΥΥ)。[視差信息的更新]如上所述，在第一種類型中通過3D擴(kuò)展流發(fā)送視差信息，在第二種類型中通過3D流發(fā)送視差信息。下面將描述視差信息的更新。圖31和32圖示了使用間隔時(shí)段更新視差信息的示例。圖31圖示了間隔時(shí)段是
固定的和等于更新時(shí)段的情況。也就是說，A-B，B-C，C_D，......的每個(gè)更新時(shí)段包括一個(gè)
間隔時(shí)段。圖32對(duì)應(yīng)于一般情況，圖示了在間隔時(shí)段被設(shè)置成暫時(shí)時(shí)段(可能是，例如，一個(gè)幀時(shí)段)的情況下更新視差信息的示例。在這種情況下，在各自更新時(shí)段中間隔時(shí)段的數(shù)目是M，N，P，Q和R。此外，在圖31和32中，“A”表示字幕顯示時(shí)段的開始幀(開始點(diǎn))，“B”到“F”表示隨后更新幀(更新點(diǎn))。當(dāng)將在字幕顯示時(shí)段中依次更新的視差信息發(fā)送給接收方(機(jī)頂盒200等)時(shí)，接收方可以通過對(duì)每個(gè)更新時(shí)段的視差信息進(jìn)行內(nèi)插處理生成和使用任意幀間隔，例如，I幀間隔的視差信息。圖33圖示了在第二種類型中3D流的配置的示例。圖33(a)圖示了只插入一個(gè)DSS段的示例。PES報(bào)頭包括時(shí)間信息(PTS )。此外，還包括DDS、PCS、RCS、DSS、CDS、ODS和EDS的各自段作為PES有效負(fù)載數(shù)據(jù)。在字幕顯示時(shí)段開始之前一起發(fā)送這些數(shù)據(jù)。DSS段可以包括在字幕顯示時(shí)段中依次更新的多個(gè)視差信息。此外，DSS段可能不包括在字幕顯示時(shí)段中依次更新的多個(gè)視差信息，并且可以將多個(gè)視差信息發(fā)送給接收方(機(jī)頂盒200等)。在這種情況下，在每個(gè)更新定時(shí)將DSS段插入3D流中。圖33(b)圖示了在這種情況下3D流的配置的示例。此外，還包括DDS、PCS、RCS、CDS、ODS和EDS的各自段作為PES有效負(fù)載數(shù)據(jù)。此后，在更新定時(shí)發(fā)送用于視差信息更新的預(yù)定個(gè)DSS段。最后，還與DSS段一起發(fā)送EDS段。另外，盡管圖33圖示了在第二種類型中3D流的配置的示例，但相同的配置也可以應(yīng)用于第一種類型中的3D擴(kuò)展流。也就是說，可以將一個(gè)DSS段插入3D擴(kuò)展幀中，在DSS段中可以包括在字幕顯示時(shí)段中依次更新的多個(gè)視差信息?？商娲兀诿總€(gè)視差信息更新定時(shí)將DSS段插入3D擴(kuò)展幀中。
圖34圖示了在如上所述依次發(fā)送DSS段的情況下視差信息更新的示例。此外，在圖34中，“A”表示字幕顯示時(shí)段的開始幀(開始點(diǎn))，“B”到“F”表示隨后更新幀(更新點(diǎn))。
此外，在通過依次發(fā)送DSS段將在字幕顯示時(shí)段中依次更新的視差信息發(fā)送給接收方(機(jī)頂盒200等)的情況下，接收方也可以進(jìn)行上述處理。也就是說，在這種情況下，接收方也可以通過對(duì)每個(gè)更新時(shí)段的視差信息進(jìn)行內(nèi)插處理生成和使用任意幀間隔，例如，I幀間隔的視差信息。
圖35圖示了上面參照?qǐng)D32所述的視差信息更新的示例。更新幀間隔用多個(gè)作為單位時(shí)段的間隔持續(xù)時(shí)間(ID)來表達(dá)。例如，將更新幀間隔一分時(shí)段I表達(dá)成“ID*M”，將更新幀間隔一分時(shí)段2表達(dá)成“ID*N”，以及類似地表達(dá)隨后更新幀間隔。在圖示在圖35中的視差信息更新的示例中，更新幀間隔不是固定的，而是按照視差信息曲線設(shè)置更新幀間隔。
此外，在視差信息更新的示例中，在接收方，提供字幕顯示時(shí)段的開始幀(開始時(shí)間T1_0)作為插入包括視差信息的PES流的報(bào)頭中的PTS (呈現(xiàn)時(shí)間戳)。在接收方，根據(jù)有關(guān)間隔持續(xù)時(shí)間的信息(有關(guān)單位時(shí)段的信息)，即，有關(guān)每個(gè)更新幀間隔的信息、和有關(guān)間隔持續(xù)時(shí)間的數(shù)目的信息獲取視差信息的每個(gè)更新時(shí)間。
在這種情況下，從字幕顯示時(shí)段的開始幀(開始時(shí)間)Τ1_0中，根據(jù)如下方程(I)依次獲取各自更新時(shí)間。在方程(I)中，interval_count表示間隔時(shí)段的數(shù)目，是與圖35中的M，N, P，Q，R和S相對(duì)應(yīng)的值。此外，在方程(I)中，interval_time是與圖35中的間隔持續(xù)時(shí)間ID相對(duì)應(yīng)的值。
Tm_n=Tm_(n-1)+(interval_time*interval_count) (I)
例如，在圖示在圖35中的更新示例中，以如下方式根據(jù)方程(I)獲取每個(gè)更新時(shí)間。也就是說，使用開始時(shí)間TlJK間隔持續(xù)時(shí)間ID、和數(shù)量M像T1_1=T1_0+(ID*M)那樣獲取更新時(shí)間Tl_l。此外，使用更新時(shí)間Tl_l、間隔持續(xù)時(shí)間ID、和數(shù)量N像T1_2=T1_1+(ID*N)那樣獲取更新時(shí)間Tl_2。以相同方式獲取隨后每個(gè)更新時(shí)間。
在圖示在圖35中的更新示例中，在接收方，對(duì)在字幕顯示時(shí)段中依次更新的視差信息進(jìn)行內(nèi)插處理，生成和使用字幕顯示時(shí)段中的任意幀間隔，例如，I幀間隔的視差信息。例如，作為上述內(nèi)插處理，通過沿著時(shí)間方向(幀方向)不是進(jìn)行線性內(nèi)插處理而是伴隨著低通濾波(LPF)處理的內(nèi)插處理，沿著時(shí)間方向(幀方向)預(yù)定幀間隔的視差信息的變化變成平滑的。圖35的虛線表示LPF輸出的示例。
圖36圖示了顯示作為字幕的字幕的示例。在該顯示示例中，頁區(qū)(Page_default的面積)包括作為字幕顯示區(qū)的兩個(gè)區(qū)域(區(qū)域I和區(qū)域2)。區(qū)域包括一個(gè)或多個(gè)子區(qū)域。這里，假設(shè)區(qū)域包括一個(gè)子區(qū)域，區(qū)域和子區(qū)域是相同的。
圖37圖示了在以區(qū)域?yàn)閱挝坏囊暡钚畔?、和以頁面為單位的視差信息包括在DSS段中，作為在字幕顯示時(shí)段中依次更新的視差信息的情況下每個(gè)區(qū)域和頁面的視差信息曲線的示例。這里，頁面的視差信息曲線取兩個(gè)區(qū)域的視差信息曲線的最小值。
關(guān)于Regionl，存在作為開始時(shí)間T1_0和隨后更新時(shí)間Tl_l，Tl_2,Tl_3,......，Tl_6的七個(gè)視差信息。此外，關(guān)于區(qū)域2，存在作為開始時(shí)間Τ2_0和隨后更新時(shí)間T2_l, Τ2_2, Τ2_3,......，Τ2_8的八個(gè)視差信息。另外，關(guān)于頁面(Page_default)，存在作為開始時(shí)間T0_0和隨后更新時(shí)間T0_1,T0_2, T0_3,......，Τ0_6的七個(gè)視差息O
圖38圖示了圖示在圖37中的每個(gè)頁面和區(qū)域的視差信息的發(fā)送結(jié)構(gòu)。首先，描述頁面層。將視差信息的固定值“page_default_disparity”布置在頁面層中。關(guān)于在字幕顯示時(shí)段中依次更新的視差信息，依次布置表示與開始時(shí)間和隨后更新時(shí)間相對(duì)應(yīng)的間隔時(shí)段的數(shù)目的“ interval_count ”、和表示視差信息的“ disparity_page_update ”。此外，將開始時(shí)間上的“interVal_COunt”設(shè)置成“O”。
接著,描述區(qū)域?qū)印ｊP(guān)于Regionl (Subregionl),布置了作為視差信息的固定值的 “subregion_disparity_integer_part，，和 “subregion_disparity_fractional_part，，。這里，“subregion_disparity_integer_part” 表示視差信息的整數(shù)部分，“subregion_di spar ity_fractional_part”表示視差信息的分?jǐn)?shù)部分。
關(guān)于在字幕顯示時(shí)段中依次更新的視差信息，依次布置了表示與開始時(shí)間和隨后更新時(shí)間相對(duì)應(yīng)的間隔時(shí)段的數(shù)目的“interval_count”、和表示視差信息的“disparity_region_update_integer_part，，和 “disparity_region_update_fractional_part，，。 這里，“disparity_region_update_integer_part” 表示視差信息的整數(shù)部分，“disparity_region_update_fractional_part ”表示視差信息的分?jǐn)?shù)部分。此外，將開始時(shí)間上的“ interval_count ” 設(shè)置成 “ O ”。
與上述Regionl —樣,關(guān)于Region2(Subregion2),布置了作為視差信息的固定值的 “subregion_disparity_integer_part，，和 “subregion_disparity_fractional_part，，。關(guān)于在字幕顯示時(shí)段中依次更新的視差信息，依次布置了表示與開始時(shí)間和隨后更新時(shí)間相對(duì)應(yīng)的間隔時(shí)段的數(shù)目的“interval_count”、和表示視差信息的“disparity_region_update_integer_part，，和 “disparity_region_update_fractional_part，，。
圖39 到 41 圖不了 DSS(Disparity_Signaling_Segment)的語法的不例。圖 42 至Ij45圖示了 DSS的主要數(shù)據(jù)定義內(nèi)容(語義)。這個(gè)語法包括“sync_byte”、“segment_type”、“page_id，，、“segment_length，，、和 “dss_version_number” 的各自幾個(gè)信息?！皊egment_type”是表示段類型的8位數(shù)據(jù),這里,是表示DSS的值?！皊egment_length”是表示隨后字節(jié)的數(shù)目的8位數(shù)據(jù)。
“disparity_shift_update_sequence_page_flag” 的 I 位標(biāo)志指不是否存在在字幕顯示時(shí)段中依次更新的視差信息作為以頁面為單位的視差信息?！癐”表示存在，“O”表示不存在?！皃age_default_dispa`rity_shift”的8位字段表示以頁面為單位的固定視差信息，也就是說，在字幕顯示時(shí)段中公用中的視差信息。當(dāng)上述的“(1丨8口31'；^7_811丨；^_即(^七6_sequence_page_f lag” 的 I 位標(biāo)志是“I” 時(shí)，進(jìn)行“disparity_shift_update_sequence O ”的讀取。
圖41 圖不了 “disparity_shift_update_sequence O ” 的語法的不例?！癲isparity_page_update_sequence_length”是表示隨后字節(jié)的數(shù)目的8位數(shù)據(jù)?！癷nterval_duration[23..0] ”的24位字段以90KHz為單位規(guī)定作為單位時(shí)段的間隔持續(xù)時(shí)間(參見圖35)。也就是說，“interval_duration[23..0] ”表示利用90KHz時(shí)鐘測(cè)量的間隔持續(xù)時(shí)間的24位值。
對(duì)于插入PES的報(bào)頭部分中的PTS的33位長(zhǎng)度是24位長(zhǎng)度的理由如下。也就是說，可以用33位長(zhǎng)度表示超過24小時(shí)的時(shí)間，但作為字幕顯示時(shí)段中的間隔持續(xù)時(shí)間這是不必要的長(zhǎng)度。此外，通過24位表示，可以減小數(shù)據(jù)大小，和可以進(jìn)行緊湊發(fā)送。此外，24個(gè)位是8X3個(gè)位，有助于位對(duì)準(zhǔn)。
“divisioruperiocLcount”的8位字段表示受視差信息影響的分時(shí)段的數(shù)目。例如，在圖示在圖35中的更新示例的情況下，分時(shí)段的數(shù)目是與開始時(shí)間T1_0和隨后更新時(shí)間Tl_l到Tl_6相對(duì)于的“7”。重復(fù)下面的“for”循環(huán)“division_period_count”的8位字段所表示的次數(shù)。
“interval_count”的8位字段表示間隔時(shí)段的數(shù)目。例如，在圖示在圖35中的更新示例的情況下，對(duì)應(yīng)于 M, N, P, Q, R 和 S。“disparity_shift_update_integer_part” 的8位字段表示視差信息?！癷ntervalcount”是與開始時(shí)間上的視差信息(視差信息的初始值)相對(duì)應(yīng)的 “O”。也就是說，當(dāng) “interval_count” 是“O” 時(shí)，“disparity_page_update”表示開始時(shí)間上的視差信息(視差信息的初始值)。
當(dāng)處理到那個(gè)時(shí)間的數(shù)據(jù)長(zhǎng)度(processed_length)未達(dá)到段數(shù)據(jù)長(zhǎng)度(segment_length)時(shí),重復(fù)圖39的“while”循環(huán)。在“while”循環(huán)中，布置以區(qū)域或區(qū)域中的子區(qū)域?yàn)閱挝坏囊暡钚畔ⅰ＿@里，區(qū)域包括一個(gè)或多個(gè)子區(qū)域，區(qū)域和子區(qū)域可以相同。
“region_id” 的信息包括在 “while” 循環(huán)中?！癲isparity_shift_update_sequence_region_f lag”的I位標(biāo)志是指示對(duì)于區(qū)域中的所有子區(qū)域是否存在“disparity_shift_update_sequence O ” 的標(biāo)志信息。“number_of_subregions_minus_l，，的2位字段表示等于區(qū)域中的子區(qū)域的數(shù)目減I的值。當(dāng)number_of_subregions_minus_l=0時(shí)，區(qū)域包括具有與區(qū)域相同的尺度的一個(gè)子區(qū)域。
當(dāng)number_of_subregions_minus_l>0時(shí)，區(qū)域包括沿著水平方向劃分的多個(gè)子區(qū)域。在圖40的“for”循環(huán)中，包括與子區(qū)域的數(shù)目相對(duì)應(yīng)的“subregion_horizontal_position，，和“subregion_width，，的信息?！皊ubregion_horizontal_position，，的 16 位字段表示子區(qū)域的左邊的像素位置?！皊ubregion_Width”用像素的數(shù)目表示子區(qū)域的水平寬度。
“subregion_disparity_shift_integer_part” 的 8 位字段表不以區(qū)域?yàn)閱挝?以子區(qū)域?yàn)閱挝?的固定視差信息，即，在字幕顯示時(shí)段中公用的視差信息的整數(shù)部分。“subregion_disparity_shift_fractional_part”的4位字段表不以區(qū)域?yàn)閱挝?以子區(qū)域?yàn)閱挝?的固定視差信息，即，在字幕顯示時(shí)段中公用的視差信息的分?jǐn)?shù)部分。當(dāng)上述的“disparity_shift_update_sequence_region_flag” 的標(biāo)志是 “I” 時(shí)，進(jìn)行 “disparity—shift_update_sequence () ”(參見圖 41)的讀取。
圖46圖示了在機(jī)頂盒200和電視接收器300是3D兼容設(shè)備的情況下廣播接收的概念。在廣播站100中，在區(qū)域RegionO中定義子區(qū)域SR00，并設(shè)置視差信息Disparityl。這里，假設(shè)區(qū)域RegionO和子區(qū)域SR00是相同區(qū)域。與立體圖像數(shù)據(jù)一起，從廣播站100發(fā)送字幕數(shù)據(jù)和顯示控制信息(視差信息Disparityl和子區(qū)域的區(qū)域信息Position)。
首先，對(duì)作為3D兼容設(shè)備的機(jī)頂盒200的接收情況加以描述。在這種情況下，在第一種類型中，機(jī)頂盒200從2D流中讀取構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)，從3D擴(kuò)展流中讀取包括像視差信息那樣的顯示控制信息的DSS段數(shù)據(jù)，并使用讀取的數(shù)據(jù)。此外，在第二種類型中，機(jī)頂盒200從3D流中讀取構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)和包括像視差信息那樣的顯示控制信息的DSS段數(shù)據(jù)，并使用讀取的數(shù)據(jù)。
機(jī)頂盒200根據(jù)字幕數(shù)據(jù)生成顯示字幕的區(qū)域顯示數(shù)據(jù)。機(jī)頂盒200通過將區(qū)域顯示數(shù)據(jù)疊加在構(gòu)成立體圖像數(shù)據(jù)的左眼圖像幀(frameO)和右眼圖像幀(framel)上獲取輸出立體圖像數(shù)據(jù)。這里，機(jī)頂盒200根據(jù)視差信息偏移各自疊加顯示數(shù)據(jù)的位置。此外，機(jī)頂盒200按照立體圖像數(shù)據(jù)的發(fā)送格式(并排方案、頂?shù)追桨?、幀順序方案、或每個(gè)視圖具有全屏幕大小的格式方案)適當(dāng)?shù)馗淖儻B加位置、大小等。
機(jī)頂盒200通過，例如，HDMI數(shù)字接口將如上所述獲得的輸出立體圖像數(shù)據(jù)發(fā)送給3D兼容電視接收器300。電視接收器300對(duì)從機(jī)頂盒200接收的立體圖像數(shù)據(jù)進(jìn)行3D信號(hào)處理，生成將字幕疊加在上面的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。電視接收器300將雙眼視差圖像(左眼圖像和右眼圖像)顯示在像IXD那樣的顯示面板上，使用戶可以識(shí)別立體圖像。
接著，對(duì)作為3D兼容設(shè)備的電視接收器300的接通情況加以描述。在這種情況下，在第一種類型中，電視接收器300從2D流中讀取構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)，從3D擴(kuò)展流中讀取包括像視差信息那樣的顯示控制信息的DSS段數(shù)據(jù)，并使用讀取的數(shù)據(jù)。此外，在第二種類型中，電視接收器300從3D流中讀取構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)和包括像視差信息那樣的顯示控制信息的DSS段數(shù)據(jù)，并使用讀取的數(shù)據(jù)。
電視接收器300根據(jù)字幕數(shù)據(jù)生成顯示字幕的區(qū)域顯示數(shù)據(jù)。電視接收器300將區(qū)域顯示數(shù)據(jù)疊加在按照發(fā)送格式對(duì)立體圖像數(shù)據(jù)進(jìn)行處理獲得的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上，生成將字幕疊加在上面的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。電視接收器300將雙眼視差圖像(左眼圖像和右眼圖像)顯示在像IXD那樣的顯示面板上，使用戶可以識(shí)別立體圖像。
圖47圖示了在機(jī)頂盒200和電視接收器300是傳統(tǒng)2D兼容設(shè)備的情況下廣播接收的概念。在這種情況下，在廣播站100中，在區(qū)域RegionO中定義子區(qū)域SR00，并設(shè)置視差信息Disparityl。這里，假設(shè)區(qū)域RegionO和子區(qū)域SROO是相同區(qū)域。與立體圖像數(shù)據(jù)一起，從廣播站100發(fā)送字幕數(shù)據(jù)和顯示控制信息(視差信息Disparityl和子區(qū)域的區(qū)域信息 Position)。
接下來，對(duì)作為傳統(tǒng)2D兼容設(shè)備的機(jī)頂盒200的接收情況加以描述。在這種情況下，在第一種類型和第二種類型的任一種中，機(jī)頂盒200從2D流中讀取構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)，并使用讀取的數(shù)據(jù)。也就是說，由于未進(jìn)行包括像視差信息那樣的顯示控制信息的DSS段的讀取，所以可以防止接收處理被該讀取中斷。
機(jī)頂盒200根據(jù)字幕數(shù)據(jù)生成顯示字幕的區(qū)域顯示數(shù)據(jù)。機(jī)頂盒200通過將區(qū)域顯示數(shù)據(jù)疊加在按照發(fā)送格式對(duì)立體圖像數(shù)據(jù)進(jìn)行處理獲得的2D圖像數(shù)據(jù)上獲取輸出2D圖像數(shù)據(jù)。
機(jī)頂盒200通過，例如，HDMI數(shù)字接口將如上所述獲得的輸出2D圖像數(shù)據(jù)發(fā)送給電視接收器300。電視接收器300按照從機(jī)頂盒200接收的2D圖像數(shù)據(jù)顯示2D圖像。
接著，對(duì)作為2D兼容設(shè)備的電視接收器300的接通情況加以描述。在這種情況下，在第一種類型和第二種類型的任一種中，電視接收器300從2D流中讀取構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)，并使用讀取的數(shù)據(jù)。也就是說，由于未進(jìn)行包括像視差信息那樣的顯示控制信息的DSS段的讀取，所以可以防止接收處理被該讀取中斷。
電視接收器300根據(jù)字幕數(shù)據(jù)生成顯示字幕的區(qū)域顯示數(shù)據(jù)。電視接收器300通過將區(qū)域顯示數(shù)據(jù)疊加在按照發(fā)送格式對(duì)立體圖像數(shù)據(jù)進(jìn)行處理獲得的2D圖像數(shù)據(jù)上獲取輸出2D圖像數(shù)據(jù)。電視接收器300按照2D圖像數(shù)據(jù)顯示2D圖像。
在圖示在圖2中的發(fā)送數(shù)據(jù)生成單元110中，通過多路復(fù)用器126，將插入了包括像視差信息那樣的顯示控制信息的DSS段的3D擴(kuò)展流或3D流的PES分組多路復(fù)用到傳輸流TS中。這里，將PES分組多路復(fù)用成PES分組比顯示時(shí)間戳(PTS)的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器。因此，接收方可以通過針對(duì)顯示時(shí)間戳的定時(shí)及時(shí)進(jìn)行解碼等獲取視差信息。也就是說，可以有效地進(jìn)行包括像視差信息那樣的顯示控制信息的PES分組的發(fā)送。
此外，在圖示在圖2中的發(fā)送數(shù)據(jù)生成單元110中，通過多路復(fù)用器126，將解碼時(shí)間戳DTS編碼在插入了包括像視差信息那樣的顯示控制信息的DSS段的3D擴(kuò)展流或3D流的PES分組中。在這種情況下，將解碼時(shí)間戳DTS的定時(shí)設(shè)置成比包括在PES分組中的顯示時(shí)間戳PTS的定時(shí)早。也就是說，在接收方，將DTS的定時(shí)設(shè)置成針對(duì)使用它的定時(shí)及時(shí)進(jìn)行從PES分組中的顯示控制信息獲取。因此，在接收方，可以針對(duì)顯示時(shí)間戳PTS的定時(shí)及時(shí)可靠地開始解碼。
在圖示在圖2中的發(fā)送數(shù)據(jù)生成單元110中，作為多路復(fù)用數(shù)據(jù)流從多路復(fù)用器126輸出的傳輸流包括兩種專用數(shù)據(jù)流。也就是說，在第一種類型中包括2D流和3D擴(kuò)展流，在第二種類型中包括2D流和3D流(參見圖11和12)。
因此，在接收方的傳統(tǒng)2D兼容接收裝置中，可以通過從2D流中只讀取構(gòu)成字幕數(shù)據(jù)的各自段進(jìn)行接收處理。也就是說，在2D兼容接收裝置中，由于無需從3D擴(kuò)展流或3D流中讀取DSS段，所以可以防止接收處理被該讀取中斷。
此外，在接收方的3D兼容接收裝置中，可以從3D擴(kuò)展流或3D流中讀取DSS段和相應(yīng)顯示控制信息(包括視差信息和子區(qū)域的區(qū)域信息)，以便可以依照立體圖像的顯示內(nèi)容進(jìn)行左眼圖像和右眼圖像的字幕(字幕)的視差調(diào)整。
此外，在圖示在圖2中的發(fā)送數(shù)據(jù)生成單元110中，由于可以發(fā)送包括在字幕顯示時(shí)段中依次更新的視差信息的DSS段，所以可以動(dòng)態(tài)地控制左眼字幕和右眼字幕的顯示位置。于是，在接收方，可以依照?qǐng)D像內(nèi)容的變化動(dòng)態(tài)地改變?cè)谧笱圩帜慌c右眼字幕之間形成的視差。
此外，在圖示在圖2中的發(fā)送數(shù)據(jù)生成單元110中，包括在字幕編碼器125獲取的DSS段中的每個(gè)更新巾貞間隔的巾貞的視差/[目息不是相對(duì)于如視差/[目息的偏移值，而是視差/[目息本身。因此，在接收方，即使在內(nèi)插處理中出現(xiàn)錯(cuò)誤，也可以在預(yù)定延遲時(shí)間內(nèi)進(jìn)行錯(cuò)誤糾正。
[機(jī)頂盒的描述]
返回到圖1，機(jī)頂盒200接收在廣播電波上從廣播站100發(fā)送的傳輸流TS。傳輸流TS包括音頻數(shù)據(jù)和包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。此外，傳輸流TS進(jìn)一步包括顯示字幕(字幕)的立體圖像的字幕數(shù)據(jù)(包括顯示控制信息)。
也就是說，傳輸流TS包括作為PES流的視頻數(shù)據(jù)流、音頻數(shù)據(jù)流、和第一和第二專用數(shù)據(jù)流。如上所述，在第一種類型的情況下，第一和第二專用數(shù)據(jù)流分別是2D流和3D擴(kuò)展流(參見圖11)。此外，在第二種類型的情況下，第一和第二專用數(shù)據(jù)流分別是2D流和3D流(參見圖12)。
機(jī)頂盒200包括位流處理單元201。當(dāng)機(jī)頂盒200是3D兼容設(shè)備(3D STB)時(shí)，位流處理單元201從傳輸流TS中獲取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、和字幕數(shù)據(jù)(包括顯示控制信息)。
在這種情況下，在第一種類型中，位流處理單元201從2D流中獲取構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)，從3D擴(kuò)展流中獲取包括像視差信息那樣的顯示控制信息的DSS段數(shù)據(jù)。此夕卜，在第二種類型中，位流處理單元201從3D流中獲取構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)、和包括像視差信息那樣的顯示控制信息的DSS段數(shù)據(jù)。
位流處理單元201使用立體圖像數(shù)據(jù)和字幕數(shù)據(jù)(包括顯示控制信息)生成將字幕疊加在左眼圖像幀(frameO)部分和右眼圖像幀(frameO)部分上的輸出立體圖像數(shù)據(jù)(參見圖46)。在這種情況下，可以在疊加在左眼圖像上的字幕(左眼字幕)與疊加在右眼圖像上的字幕(右眼字幕)之間形成視差。
例如，如上所述，為從廣播站100接收的立體圖像加入字幕數(shù)據(jù)中的顯示控制信息包括視差信息，并且可以根據(jù)視差信息在左眼字幕與右眼字幕之間形成視差。這樣，由于在左眼字幕與右眼字幕之間形成視差，所以用戶可以在圖像的前面識(shí)別字幕(字幕)。
圖48(a)圖示了在圖像上顯示字幕(字幕)的示例。在該顯示示例中，將字幕疊加在包括背景和近景物體的圖像上。圖48(b)圖示了表達(dá)背景、近景物體和字幕的透視和在最前面位置上識(shí)別字幕。
圖49(a)圖示了像圖48 (a)那樣在圖像上顯示字幕(字幕)的示例。圖49 (b)圖示了疊加在左眼圖像上的左眼字幕LGI和疊加在右眼圖像上的右眼字幕RGI。圖49(c)圖示了在左眼字幕LGI與右眼字幕RGI之間形成視差，以便在最前面位置上識(shí)別字幕。
此外，當(dāng)機(jī)頂盒200是傳統(tǒng)2D兼容設(shè)備(2D STB)時(shí)，位流處理單元201從傳輸流TS中獲取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、和字幕數(shù)據(jù)(不包括顯示控制信息的位圖模式數(shù)據(jù))。位流處理單元201使用立體圖像數(shù)據(jù)和字幕數(shù)據(jù)生成將字幕疊加在上面的2D圖像數(shù)據(jù)(參見圖 47)。
在這種情況下，在第一種類型和第二種類型的任一種中，位流處理單元201從2D流中獲取構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)。也就是說，在這種情況下，由于未從3D擴(kuò)展流或3D流中讀取DSS段，所以可以防止接收處理被該讀取中斷。
[機(jī)頂盒的配置的示例]
下面將描述機(jī)頂盒的配置的示例。圖50圖示了機(jī)頂盒200的配置的示例。機(jī)頂盒200包括位流處理單元201、HDMI端子202、天線端子203、數(shù)字調(diào)諧器204、視頻信號(hào)處理電路205、HDMI發(fā)送單元206、和音頻信號(hào)處理電路207。此外，機(jī)頂盒200包括CPU211、閃速R0M212、DRAM213、內(nèi)部總線214、遙控接收單元(RC接收單元)215、和遙控發(fā)射器(RC發(fā)射器)216。
天線端子203是配置成輸入通過接收天線(未示出)接收的電視廣播信號(hào)的端子。數(shù)字調(diào)諧器204處理輸入天線端子203中的電視廣播信號(hào)，并輸出與用戶選擇的頻道相對(duì)應(yīng)的傳輸流TS (位流數(shù)據(jù))。
根據(jù)傳輸流TS，位流處理單元201輸出音頻數(shù)據(jù)并疊加了字幕的立體圖像數(shù)據(jù)。當(dāng)機(jī)頂盒是3D兼容設(shè)備(3D STB)時(shí)，位流處理單元201從傳輸流TS中獲取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、和字幕數(shù)據(jù)(包括顯示控制信息)。
位流處理單元201通過將字幕疊加在構(gòu)成立體圖像數(shù)據(jù)的左眼圖像幀(frameO)部分和右眼圖像幀(frameO)部分上生成輸出立體圖像數(shù)據(jù)(參見圖46)。這里，根據(jù)視差信息，在疊加在左眼圖像上的字幕(左眼字幕)與疊加在右眼圖像上的字幕(右眼字幕)之間形成視差。
也就是說，位流處理單元201根據(jù)字幕數(shù)據(jù)生成顯示字幕的區(qū)域顯示數(shù)據(jù)。位流處理單元通過將區(qū)域顯示數(shù)據(jù)疊加在構(gòu)成立體圖像數(shù)據(jù)的左眼圖像幀(frameO)部分和右眼圖像幀(frameO)部分上獲取輸出立體圖像數(shù)據(jù)。這里，位流處理單元201根據(jù)視差信息偏移各自疊加顯示數(shù)據(jù)的位置。
此外，當(dāng)機(jī)頂盒200是2D兼容設(shè)備(2D STB)時(shí)，位流處理單元201獲取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、和字幕數(shù)據(jù)(不包括顯示控制信息)。位流處理單元201使用立體圖像數(shù)據(jù)和字幕數(shù)據(jù)生成疊加了字幕的2D圖像數(shù)據(jù)(參見圖47)。
也就是說，位流處理單元201根據(jù)字幕數(shù)據(jù)生成顯示字幕的區(qū)域顯示數(shù)據(jù)。位流處理單元201通過將區(qū)域顯示數(shù)據(jù)疊加在按照發(fā)送方案對(duì)立體圖像數(shù)據(jù)進(jìn)行處理獲得的2D圖像數(shù)據(jù)上獲取輸出2D圖像數(shù)據(jù)。
視頻信號(hào)處理電路205如有必要，對(duì)位流處理單元201獲得的圖像數(shù)據(jù)進(jìn)行圖像質(zhì)量調(diào)整處理，并將處理后的圖像數(shù)據(jù)供應(yīng)給HDMI發(fā)送單元206。音頻信號(hào)處理電路207如有必要，對(duì)從位流處理單元201輸出的音頻數(shù)據(jù)進(jìn)行聲音質(zhì)量調(diào)整處理，并將處理后的音頻數(shù)據(jù)供應(yīng)給HDMI。
HDMI發(fā)送單元206通過基于HDMI的通信將，例如，未壓縮的圖像數(shù)據(jù)和音頻數(shù)據(jù)發(fā)送給HDMI端子202。在這種情況下，當(dāng)在HDMI TMDS信道上發(fā)送時(shí)，將圖像數(shù)據(jù)和音頻數(shù)據(jù)打包并從HDMI發(fā)送單元206輸出到HDMI端子202。
CPU211控制機(jī)頂盒200的每個(gè)單元的操作。閃速ROM212存儲(chǔ)控制軟件和數(shù)據(jù)。DRAM213構(gòu)成CPU211的工作區(qū)。CPU211將從閃速ROM212讀取的軟件或數(shù)據(jù)部署在DRAM213上，并激活軟件以控制機(jī)頂盒200的每個(gè)單元。
RC接收單元251接收從RC發(fā)射器216發(fā)射的遙控信號(hào)(遙控代碼)，并將接收的遙控信號(hào)供應(yīng)給CPU211。CPU211根據(jù)遙控代碼控制機(jī)頂盒200的每個(gè)單元。CPU211、閃速ROM212、和DRAM213都與內(nèi)部總線214連接。
下面簡(jiǎn)要描述機(jī)頂盒200的操作。將輸入天線端子203的電視廣播信號(hào)供應(yīng)給數(shù)字調(diào)諧器204。數(shù)字調(diào)諧器204處理電視廣播信號(hào)并輸出與用戶選擇的頻道相對(duì)應(yīng)的傳輸流TS (位流數(shù)據(jù))。
將從數(shù)字調(diào)諧器204輸出的傳輸流TS (位流數(shù)據(jù))供應(yīng)給位流處理單元201。位流處理單元201按如下生成輸出到電視接收器300的輸出圖像數(shù)據(jù)。
當(dāng)機(jī)頂盒200是3D兼容設(shè)備(3D STB)時(shí)，從傳輸流TS中獲取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、和字幕數(shù)據(jù)(包括顯示控制信息)。位流處理單元201通過將字幕疊加在構(gòu)成立體圖像數(shù)據(jù)的左眼圖像幀(frameO)部分和右眼圖像幀(framel)部分上生成輸出立體圖像數(shù)據(jù)。這里，根據(jù)視差信息，在疊加在左眼圖像上的字幕與疊加在右眼圖像上的字幕之間形成視差。
此外，當(dāng)機(jī)頂盒200是2D兼容設(shè)備(2D STB)時(shí)，獲取立體圖像數(shù)據(jù)、音頻數(shù)據(jù)、和字幕數(shù)據(jù)(不包括顯示控制信息)。位流處理單元201使用立體圖像數(shù)據(jù)和字幕數(shù)據(jù)生成疊加了字幕的2D圖像數(shù)據(jù)。
將位流處理單元201獲得的輸出圖像數(shù)據(jù)供應(yīng)給視頻信號(hào)處理電路205。如有必要，視頻信號(hào)處理電路205對(duì)輸出圖像數(shù)據(jù)進(jìn)行圖像質(zhì)量調(diào)整處理。將從視頻信號(hào)處理電路205輸出的處理后圖像數(shù)據(jù)供應(yīng)給HDMI發(fā)送單元206。
此外，將位流處理單元201獲得的音頻數(shù)據(jù)供應(yīng)給音頻信號(hào)處理電路207。如有必要，音頻信號(hào)處理電路207對(duì)音頻數(shù)據(jù)進(jìn)行聲音質(zhì)量調(diào)整處理。將從音頻信號(hào)處理電路207輸出的處理后音頻數(shù)據(jù)供應(yīng)給HDMI發(fā)送單元206。通過HDMI TMDS信道將供應(yīng)給HDMI發(fā)送單元206的圖像數(shù)據(jù)和音頻數(shù)據(jù)從HDMI端子202發(fā)送給HDMI電纜400。
[位流處理單元的配置的示例]
圖51圖示了在機(jī)頂盒200是3D兼容設(shè)備(3D STB)的情況下位流處理單元201的配置的示例。位流處理單元201具有與上述圖示在圖2中的發(fā)送數(shù)據(jù)生成單元110相對(duì)應(yīng)的配置。位流處理單元201包括多路分用器221、視頻解碼器222、和音頻解碼器229。
此外，位流處理單元201還包括編碼數(shù)據(jù)緩沖器223、字幕解碼器224、像素緩沖器225、視差信息內(nèi)插單元226、位置控制單元227、和視頻疊加單元228。這里，編碼數(shù)據(jù)緩沖器223構(gòu)成解碼緩沖器。
多路分用器221從傳輸流TS中提取視頻數(shù)據(jù)流分組和音頻數(shù)據(jù)流分組，并將提取的分組提供給各自解碼器加以解碼。另外，多路分用器221提取如下流并將提取流暫時(shí)存儲(chǔ)在編碼數(shù)據(jù)緩沖器223中。在這種情況下，多路分用器221在第一種類型中提取2D流和3D擴(kuò)展流，在第二種類型中提取3D流。
在第一種類型中，CPU211與2D流和3D擴(kuò)展流相關(guān)聯(lián)地根據(jù)布置在PMT內(nèi)部的ES環(huán)中的字幕描述符中的“composition_page_id”的值識(shí)別解碼兩種PES流的必要性。也就是說，當(dāng)“composition_page_id”的值相等時(shí),意味著解碼兩種PES流?？商娲?，當(dāng)“composition_page_id”的值相等并且是特殊值(預(yù)定)時(shí)，意味著解碼兩種PES流。
此外，在第一種類型中，也可以考慮重新定義指示解碼兩種PES流(2D流和3D擴(kuò)展流)兩者的必要性、與兩種流相關(guān)聯(lián)的描述符，并將該描述符布置在預(yù)定位置上。通過該描述符，CPU211識(shí)別解碼兩種PES流的必要性，并控制位流處理單元201。
圖52圖示了可以用于將2D流與3D擴(kuò)展流相關(guān)聯(lián)的多解碼描述符的語法的示例。圖53圖示了該語法示例中的主要信息內(nèi)容(語義)。
“descriptor_tag”的8位字段指示描述符是多解碼描述符。“descriptor—length”的8位字段表示接在該字段之后的整個(gè)字節(jié)大小。
“streanucontent”的4位字段表示像視頻、音頻、和字幕那樣的主要流的流類型?！癱omponent_type”的4位字段表示像視頻、音頻、和字幕那樣的主要流的成分類型?！皊tream_content”和“component_type”是與與主要流相對(duì)應(yīng)的成分描述符中的“ stream_content ” 和 “ component_type ” 相同的信息。
在這個(gè)實(shí)施例中,主要流是2D流，“stream_content”是字幕“subtitle”，“ component_type ” 是二維 “ 2D ”。
“component_tag”具有與與主要流相對(duì)應(yīng)的stream_identifier描述符中的“component_tag”相同的值。于是，stream_identifier 描述符和 multi_decoding 描述符與 “component_tag” 相關(guān)聯(lián)。
“multi_decoding_count”的4位字段表示與主要流相關(guān)聯(lián)的目標(biāo)流的數(shù)量。在這個(gè)實(shí)施例中，與作為主要流的2D流相關(guān)聯(lián)的目標(biāo)流是3D擴(kuò)展流，“multi_decoding_count”是“ I'
“target_stream_component_type”的8位字段表示像視頻、音頻、和字幕那樣，加入主要流中的流的流類型。“component_type”的4位字段表示目標(biāo)流的成分類型。此外，“target_stream_component_tag”的8位字段具有與與目標(biāo)流相對(duì)應(yīng)的stream_identifier描述符中的“component_tag”相同的值。
在這個(gè)實(shí)施例中，目標(biāo)流是3D擴(kuò)展流，“target_stream_component_type”是三維“3D”，以及“target_stream_component_tag” 具有與 3D 擴(kuò)展流的“component_tag” 相同的值。
將multi_decoding描述符布置，例如，在PMT的下面或在EIT中。圖54圖示了在布置多解碼描述符的情況下第一種類型的傳輸流TS的配置的示例。
返回到圖51，視頻解碼器222進(jìn)行與上述的發(fā)送數(shù)據(jù)生成單元110的視頻編碼器112相反的處理。也就是說，視頻解碼器222從多路分用器221提取的視頻分組中重構(gòu)視頻數(shù)據(jù)流，進(jìn)行解碼處理，并獲取包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。立體圖像數(shù)據(jù)的發(fā)送格式的示例包括并排方案、頂?shù)追桨?、幀順序方案、和每個(gè)視圖占據(jù)整個(gè)屏幕大小的視頻發(fā)送格式。
字幕解碼器224進(jìn)行與上述的發(fā)送數(shù)據(jù)生成單元110的字幕編碼器125相反的處理。也就是說，字幕解碼器224從存儲(chǔ)在編碼數(shù)據(jù)緩沖器223中的字幕分組中每種流分組中重構(gòu)每種流，并進(jìn)行解碼處理。在CPU211的控制下，當(dāng)將解碼時(shí)間戳DTS編碼到3D擴(kuò)展流或3D流的PES分組中時(shí)，字幕解碼器224在那個(gè)定時(shí)從編碼數(shù)據(jù)緩沖器223中讀取相應(yīng)PES分組，并開始解碼處理。
字幕解碼器224獲取構(gòu)成字幕數(shù)據(jù)的每種分組數(shù)據(jù)，并且還獲取DSS段數(shù)據(jù)。字幕解碼器224根據(jù)DSS段數(shù)據(jù)獲取顯示控制信息(像視差信息和子區(qū)域的區(qū)域信息那樣)。
根據(jù)構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)和子區(qū)域區(qū)域信息，字幕解碼器224生成顯示字幕的區(qū)域顯示數(shù)據(jù)(位圖數(shù)據(jù))。這里，將透明顏色分配給處在該區(qū)域中并未被子區(qū)域包圍的區(qū)域。像素緩沖器225暫時(shí)存儲(chǔ)顯示數(shù)據(jù)。
視頻疊加單元228獲取輸出立體圖像數(shù)據(jù)Vout。在這種情況下，視頻疊加單元228將存儲(chǔ)在像素緩沖器225中的顯示數(shù)據(jù)疊加在視頻解碼器222獲得的立體圖像數(shù)據(jù)的左眼圖像巾貞(frameO)部分和右眼圖像巾貞(framel)部分上。在這種情況下，視頻疊加單元228按照立體圖像數(shù)據(jù)的發(fā)送方案(譬如，并排方案、頂?shù)追桨?、幀順序方案或MVC方案)適當(dāng)?shù)馗淖儻B加位置、大小等。視頻疊加單元228將輸出立體圖像數(shù)據(jù)Vout輸出到位流處理單元201的外部。
視差信息內(nèi)插單元226將字幕解碼器224獲得的視差信息提供給位置控制單元227。如有必要，視差信息內(nèi)插單元226對(duì)要提供給位置控制單元227的視差信息進(jìn)行內(nèi)插處理。位置控制單元227根據(jù)視差信息偏移疊加在每個(gè)幀上的顯示數(shù)據(jù)的位置(參見圖46)。在這種情況下，根據(jù)視差信息，位置控制單元227通過沿著相反方向偏移疊加在左眼圖像幀(frameO)部分和右眼圖像幀(framel)部分上的顯示數(shù)據(jù)(字幕圖案數(shù)據(jù))形成視差。
此外，顯示控制信息包括在字幕顯示時(shí)段中公用的視差信息。此外，顯示控制信息可以包括在字幕顯示時(shí)段中依次更新的視差信息。如上所述，在字幕顯示時(shí)段中依次更新的視差信息包括字幕顯示時(shí)段的初始幀的視差信息、和每個(gè)隨后更新幀間隔的幀的視差信肩、O
關(guān)于在字幕顯示時(shí)段中公用的視差信息，位置控制單元227不變地使用視差信息。另一方面，關(guān)于在字幕顯示時(shí)段中依次更新的視差信息，如有必要，位置控制單元227使用通過視差信息內(nèi)插單元226內(nèi)插的視差信息。例如，視差信息內(nèi)插單元226生成字幕顯示時(shí)段中的任意幀間隔的視差信息，例如，I幀間隔的視差信息。
作為內(nèi)插處理，例如，視差信息內(nèi)插單元226沿著時(shí)間方向(幀方向)不是進(jìn)行線性內(nèi)插處理而是伴隨著低通濾波(LPF)處理的內(nèi)插處理。于是，內(nèi)插處理之后沿著時(shí)間方向(幀方向)預(yù)定幀間隔的視差信息的變化變成平滑的。
此外，音頻解碼器229進(jìn)行與上述的發(fā)送數(shù)據(jù)生成單元110的音頻編碼器113相反的處理。也就是說，音頻解碼器229從多路分用器221提取的音頻分組中重構(gòu)音頻基本流，進(jìn)行解碼處理，并獲得輸出音頻數(shù)據(jù)Aout。音頻解碼器229將輸出音頻數(shù)據(jù)Aout輸出到位流處理單元201的外部。
下面簡(jiǎn)要描述圖示在圖51中的位流處理單元201的操作。將從數(shù)字調(diào)諧器204(參見圖50)輸出傳輸流TS供應(yīng)給多路分用器221。多路分用器221從傳輸流TS中提取視頻數(shù)據(jù)流分組和音頻數(shù)據(jù)流分組，并將提取的分組供應(yīng)給各自解碼器。此外，由多路分用器221提取2D流分組和3D擴(kuò)展流分組或3D流分組，并將提取的分組暫時(shí)存儲(chǔ)在編碼數(shù)據(jù)緩沖器223中。
視頻解碼器222從多路分用器221提取的視頻數(shù)據(jù)分組中重構(gòu)視頻數(shù)據(jù)流，進(jìn)行解碼處理，并獲取包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。將立體圖像數(shù)據(jù)供應(yīng)給視頻疊加單元228。
字幕解碼器224從編碼數(shù)據(jù)緩沖器223中讀取2D流分組和3D擴(kuò)展流分組或3D流分組，并解碼讀取的分組。根據(jù)構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)和子區(qū)域區(qū)域信息，字幕解碼器224生成顯示字幕的區(qū)域顯示數(shù)據(jù)(位圖數(shù)據(jù))。
將顯示數(shù)據(jù)暫時(shí)存儲(chǔ)在像素緩沖器225中。這里，當(dāng)將DTS編碼到3D擴(kuò)展流或3D流的PES分組中時(shí)，字幕解碼器224在那個(gè)定時(shí)從編碼數(shù)據(jù)緩沖器223中讀取相應(yīng)PES分組，并開始解碼處理。
視頻疊加單元228將存儲(chǔ)在像素緩沖器225中的顯示數(shù)據(jù)疊加在視頻解碼器222獲得的立體圖像數(shù)據(jù)的左眼圖像幀(frameO)部分和右眼圖像幀(framel)部分上。在這種情況下，按照立體圖像數(shù)據(jù)的發(fā)送方案(譬如，并排方案、頂?shù)追桨?、幀順序方案或MVC方案)適當(dāng)?shù)馗淖儻B加位置、大小等。將視頻疊加單元228輸出的輸出立體圖像數(shù)據(jù)Vout輸出到位流處理單元201的外部。
此外，通過視差信息內(nèi)插單元226將字幕解碼器224獲得的視差信息提供給位置控制單元227。如有必要，視差信息內(nèi)插單元226進(jìn)行內(nèi)插處理。例如，關(guān)于在字幕顯示時(shí)段中依次更新的幾個(gè)幀間隔上的視差信息，如有必要，由視差信息內(nèi)插單元226進(jìn)行內(nèi)插處理，生成任意幀間隔，例如，I幀間隔的視差信息。
根據(jù)視差信息，位置控制單元227偏移視頻疊加單元228疊加在左眼圖像幀(frameO)部分和右眼圖像幀(framel)部分上的顯示數(shù)據(jù)(字幕圖案數(shù)據(jù))，以便它們處在相反方向。于是，在顯示在左眼圖像上的左眼字幕與顯示在右眼圖像上的右眼字幕之間形成視差。于是，按照立體圖像的內(nèi)容實(shí)現(xiàn)了字幕(字幕)的3D顯示。
此外，音頻解碼器229從多路分用器221提取的音頻分組中重構(gòu)音頻基本流，進(jìn)行解碼處理，并獲取與用于顯示的上述立體圖像數(shù)據(jù)Vout相對(duì)應(yīng)的音頻數(shù)據(jù)Aout。將音頻數(shù)據(jù)Aout輸出到位流處理單元201的外部。
圖55圖示了在機(jī)頂盒200是2D兼容設(shè)備(2D STB)的情況下位流處理單元201的配置的示例。在圖55中，與圖51的那些相對(duì)應(yīng)的單元用相同標(biāo)號(hào)表示，并省略對(duì)它們的詳細(xì)描述。在下文中，為了便于描述起見，將圖示在圖51中的位流處理單元201稱為3D兼容位流處理單元201，將圖示在圖55中的位流處理單元201稱為2D兼容位流處理單元201。
在圖示在圖51中的3D兼容位流處理單元201中，視頻解碼器222從多路分用器221提取的視頻分組中重構(gòu)視頻數(shù)據(jù)流，進(jìn)行解碼處理，并獲取包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。在圖示在圖55中的2D兼容位流處理單元201中，視頻解碼器222獲取立體圖像數(shù)據(jù)，截取左眼圖像數(shù)據(jù)或右眼圖像數(shù)據(jù)，并且如有必要，進(jìn)行縮放處理，以獲取2D圖像數(shù)據(jù)。
此外，在圖示在圖51中的3D兼容位流處理單元201中，多路分用器221如上所述，在第一種類型中提取2D流分組和3D擴(kuò)展流，在第二種類型中提取3D流分組，并通過編碼數(shù)據(jù)緩沖器223將提取的流分組提供給字幕解碼器224。另一方面，在圖示在圖55中的2D兼容位流處理單元201中，多路分用器201在第一種類型和第二種類型的任一種中只提取2D流分組，并通過編碼數(shù)據(jù)緩沖器223將提取的流分組提供給字幕解碼器224。
此外，在圖示在圖51中的3D兼容位流處理單元201中，字幕解碼器224如上所述，例如，從2D流中獲取構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)，并從3D擴(kuò)展流中獲取DSS段數(shù)據(jù)。可替代地，字幕解碼器224從3D流中獲取構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)，并且還獲取DSS段數(shù)據(jù)。
另一方面，在圖示在圖55中的2D兼容位流處理單元201中，字幕解碼器224從2D流只獲取構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)。根據(jù)各自段數(shù)據(jù)和子區(qū)域區(qū)域信息，字幕解碼器224生成顯示字幕的區(qū)域顯示數(shù)據(jù)(位圖數(shù)據(jù))，并將生成的數(shù)據(jù)暫時(shí)存儲(chǔ)在像素緩沖器225中。在這種情況下，字幕解碼器224不讀取DSS段數(shù)據(jù)。因此，可以防止接收處理被該讀取中斷。
此外，在圖示在圖51中的3D兼容位流處理單元201中，視頻疊加單元228獲取輸出立體圖像數(shù)據(jù)Vout，并將輸出立體圖像數(shù)據(jù)Vout輸出到位流處理單元201的外部。在這種情況下，視頻疊加單元228通過將存儲(chǔ)在像素緩沖器225中的顯示數(shù)據(jù)疊加在視頻解碼器222獲取的立體圖像數(shù)據(jù)的左眼圖像幀(frameO)部分和右眼圖像幀(framel)部分上獲取輸出立體圖像數(shù)據(jù)Vout。根據(jù)視差信息，位置控制單元227沿著相反方向偏移顯示數(shù)據(jù)，并且在顯示在左眼圖像上的左眼字幕與顯示在右眼圖像上的右眼字幕之間形成視差。
另一方面，在圖示在圖55中的2D兼容位流處理單元201中，視頻疊加單元228通過將存儲(chǔ)在像素緩沖器225中的顯示數(shù)據(jù)疊加在視頻解碼器222獲取的2D圖像數(shù)據(jù)上獲取輸出2D圖像數(shù)據(jù)。視頻疊加單元228將輸出2D圖像數(shù)據(jù)Vout輸出到位流處理單元201的外部。
下面將簡(jiǎn)要描述圖示在圖55中的2D位流處理單元201的操作。此外，由于音頻系統(tǒng)的操作與圖示在圖51中的3D位流處理單元201的操作相同，所以省略對(duì)它的描述。
將從數(shù)字調(diào)諧器204 (參見圖50)輸出的傳輸流TS供應(yīng)給多路分用器221。多路分用器221從傳輸流TS中提取視頻數(shù)據(jù)流分組和音頻數(shù)據(jù)流分組，并將提取的分組供應(yīng)給各自解碼器。此外，由多路分用器221提取2D流分組，并將提取的分組暫時(shí)存儲(chǔ)在編碼數(shù)據(jù)緩沖器223中。
視頻解碼器222從多路分用器221提取的視頻數(shù)據(jù)分組中重構(gòu)視頻數(shù)據(jù)流，進(jìn)行解碼處理，并獲取包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的立體圖像數(shù)據(jù)。視頻解碼器222從立體圖像數(shù)據(jù)中截取左眼圖像數(shù)據(jù)或右眼圖像數(shù)據(jù)，并且如有必要，進(jìn)行縮放處理，以獲取2D圖像數(shù)據(jù)。將2D圖像數(shù)據(jù)供應(yīng)給視頻疊加單元228。
此外，字幕解碼器224從編碼數(shù)據(jù)緩沖器223中讀取2D流并解碼它。根據(jù)構(gòu)成字幕數(shù)據(jù)的各自段數(shù)據(jù)，字幕解碼器224生成顯示字幕的區(qū)域顯示數(shù)據(jù)(位圖數(shù)據(jù))。將顯示數(shù)據(jù)暫時(shí)存儲(chǔ)在像素緩沖器225中。
視頻疊加單元228通過將字幕的顯示數(shù)據(jù)(位圖數(shù)據(jù))疊加在視頻解碼器222獲取的2D圖像數(shù)據(jù)上獲取輸出2D圖像數(shù)據(jù)Vout。將輸出2D圖像數(shù)據(jù)Vout輸出到位流處理單元201的外部。
在圖示在圖50中的機(jī)頂盒200中，除了立體圖像數(shù)據(jù)和字幕數(shù)據(jù)之外，從數(shù)字調(diào)諧器204輸出的傳輸流TS還包括顯示控制信息。顯示控制信息包括像視差信息和子區(qū)域的區(qū)域信息那樣的顯示控制信息。因此，可以將視差提供給左眼字幕和右眼字幕的顯示位置。于是，在字幕(字幕)的顯示中，可以以最佳狀態(tài)保持圖像中各自物體之間的透視的一致性。
此外，在圖示在圖50中的機(jī)頂盒200中，當(dāng)3D兼容位流處理單元201 (參見圖51)的字幕解碼器224獲得的顯示控制信息包括在字幕顯示時(shí)段中依次更新的視差信息時(shí)，可以動(dòng)態(tài)地控制左眼字幕和右眼字幕的顯示位置。于是，可以結(jié)合圖像內(nèi)容的變化動(dòng)態(tài)地改變?cè)谧笱圩帜缓陀已圩帜恢g形成的視差。
此外，在圖示在圖50中的機(jī)頂盒200中，3D位流處理單元201 (參見圖51)的視差信息內(nèi)插單元226對(duì)構(gòu)成在字幕顯示時(shí)段(預(yù)定個(gè)幀的時(shí)段)中依次更新的視差信息的多個(gè)幀的視差信息進(jìn)行內(nèi)插處理。在這種情況下，即使在更新幀的間隔上從發(fā)送方發(fā)送視差信息，也可以在細(xì)小間隔上，例如，每個(gè)幀地控制在左眼字幕和右眼字幕之間形成的視差。
此外，在圖示在圖50中的機(jī)頂盒200中，3D位流處理單元201 (參見圖51)的視差信息內(nèi)插單元226中的內(nèi)插處理可能伴隨著,例如,沿著時(shí)間方向(巾貞方向)的低通濾波處理。因此，即使在更新幀的間隔上從發(fā)送方發(fā)送視差信息，也可以使內(nèi)插處理之后沿著時(shí)間方向的視差信息的變化變成平滑的。于是，可以抑制當(dāng)每個(gè)幀間隔在左眼字幕和右眼字幕之間形成的視差的偏移變成不連續(xù)時(shí)可能引起的不舒服感。
另外，盡管上面未描述，但當(dāng)機(jī)頂盒200是3D兼容設(shè)備時(shí)，用戶可以選擇2D顯示模式或3D顯示模式。在這種情況下，當(dāng)選擇3D顯示模式時(shí)，位流處理單元201可以具有與上述的3D兼容位流處理單元201 (參見圖51)相同的配置和功能。另一方面，當(dāng)選擇2D顯示模式時(shí)，位流處理單元201可以具有與上述的2D兼容位流處理單元201 (參見圖55)幾乎相同的配置和功能。
[電視接收器的描述]
返回到圖1，當(dāng)是3D兼容設(shè)備時(shí)，電視接收器300通過HDMI電纜400接收從機(jī)頂盒200發(fā)送的立體圖像數(shù)據(jù)。電視接收器300包括3D信號(hào)處理單元301。3D信號(hào)處理單元301對(duì)立體圖像數(shù)據(jù)進(jìn)行與發(fā)送格式相對(duì)應(yīng)的處理(解碼處理)，生成左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。
[電視接收器的配置的示例]
下面將描述3D兼容電視接收器300的配置的示例。圖56圖示了電視接收器300的配置的示例。電視接收器300包括3D信號(hào)處理單元301、HDMI端子302、HDMI接收單元303、天線端子304、數(shù)字調(diào)諧器305、和位流處理單元306。
此外，電視接收器300還包括視頻/圖形處理電路307、面板驅(qū)動(dòng)電路308、顯示面板309、音頻信號(hào)處理電路310、音頻放大電路311、和揚(yáng)聲器312。此外，電視接收器300還包括CPU321、閃速R0M322、DRAM323、內(nèi)部總線324、遙控接收單元(RC接收單元)325、和遙控發(fā)射器(RC發(fā)射器)326。
天線端子304是配置成輸入通過接收天線(未圖示)接收的電視廣播信號(hào)的端子。數(shù)字調(diào)諧器305處理輸入天線端子304中的電視廣播信號(hào)，并輸出與用戶選擇的頻道相對(duì)應(yīng)的傳輸流TS (位流數(shù)據(jù))。
根據(jù)傳輸流TS，位流處理單元306輸出音頻數(shù)據(jù)和疊加了字幕的輸出立體圖像數(shù)據(jù)。盡管未詳細(xì)描述，但，例如，位流處理單元201具有與上述的機(jī)頂盒200的3D兼容位流處理單元201 (參見圖51)相同的配置。關(guān)于立體圖像數(shù)據(jù)，位流處理單元306合成左眼字幕和右眼字幕的顯示數(shù)據(jù)，生成和輸出與字幕疊加的輸出立體圖像數(shù)據(jù)。
此外，例如，當(dāng)立體圖像數(shù)據(jù)的發(fā)送方案是并排方案、頂?shù)追桨傅葧r(shí)，位流處理單元306進(jìn)行縮放處理，以輸出全分辨率左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。此外，位流處理單元306輸出與圖像數(shù)據(jù)相對(duì)應(yīng)的音頻數(shù)據(jù)。
HDMI接收單元303通過基于HDMI的通信接收通過HDMI電纜400供應(yīng)給HDMI端子302的未壓縮圖像數(shù)據(jù)和音頻數(shù)據(jù)。HDMI接收單元303具有，例如，HDMI1.4a的版本，因此可以處理立體圖像數(shù)據(jù)。
3D信號(hào)處理單元301對(duì)通過HDMI接收單元303接收的立體圖像數(shù)據(jù)進(jìn)行解碼處理，生成全分辨率左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。3D信號(hào)處理單元301進(jìn)行與TMDS發(fā)送數(shù)據(jù)格式相對(duì)應(yīng)的解碼處理。此外，3D信號(hào)處理單元301不對(duì)位流處理單元306獲得的全分辨率左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)進(jìn)行任何處理。
視頻/圖形處理電路307根據(jù)3D信號(hào)處理單元301生成的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，生成顯示立體圖像的圖像數(shù)據(jù)。此外，如有必要，視頻/圖形處理電路307對(duì)圖像數(shù)據(jù)進(jìn)行圖像質(zhì)量調(diào)整處理。
此外，關(guān)于圖像數(shù)據(jù)，如有必要，視頻/圖形處理電路307合成像菜單或節(jié)目那樣的疊加信息。面板驅(qū)動(dòng)電路308根據(jù)從視頻/圖形處理電路307輸出的圖像數(shù)據(jù)驅(qū)動(dòng)顯示面板309。顯示面板309包括,例如，IXD (液晶顯示器)、Η)Ρ (等離子顯示面板)等。
音頻信號(hào)處理電路310對(duì)HDMI接收單元303接收的或位流處理單元306獲取的音頻數(shù)據(jù)進(jìn)行像D/A轉(zhuǎn)換那樣的必要處理。音頻放大電路311放大從音頻信號(hào)處理電路310輸出的音頻信號(hào)，并將放大的音頻信號(hào)供應(yīng)給揚(yáng)聲器312。
CPU321控制電視接收器300的每個(gè)單元的操作。閃速R0M322存儲(chǔ)控制軟件和數(shù)據(jù)。DRAM323構(gòu)成CPU321的工作區(qū)。CPU321將從閃速R0M322讀取的軟件或數(shù)據(jù)部署在DRAM323上，并激活軟件以控制電視接收器300的每個(gè)單元。
RC接收單元325接收從RC發(fā)射器326發(fā)射的遙控信號(hào)(遙控代碼)，并將接收的遙控信號(hào)供應(yīng)給CPU321。CPU321根據(jù)遙控代碼控制電視接收器300的每個(gè)單元。CPU321、閃速R0M322、和DRAM323都與內(nèi)部總線324連接。
下面簡(jiǎn)要描述圖示在圖56中的電視接收器300的操作。HDMI接收單元303接收從通過HDMI電纜400與HDMI端子302連接的機(jī)頂盒200發(fā)送的立體圖像數(shù)據(jù)和音頻數(shù)據(jù)。將HDMI接收單元303接收的立體圖像數(shù)據(jù)供應(yīng)給3D信號(hào)處理單元301。此外，將HDMI接收單元303接收的音頻數(shù)據(jù)供應(yīng)給音頻信號(hào)處理電路310。
將輸入天線端子304中的電視廣播信號(hào)供應(yīng)的數(shù)字調(diào)諧器305。數(shù)字調(diào)諧器305處理電視廣播信號(hào)并輸出與用戶選擇的頻道相對(duì)應(yīng)的傳輸流TS (位流數(shù)據(jù))。將傳輸流TS供應(yīng)給位流處理單元306。
根據(jù)視頻數(shù)據(jù)流、音頻數(shù)據(jù)流、2D流、3D擴(kuò)展流、和3D流，位流處理單元306獲取音頻數(shù)據(jù)和與字幕疊加的輸出立體圖像數(shù)據(jù)。在這種情況下，關(guān)于立體圖像數(shù)據(jù)，合成左眼字幕和右眼字幕的顯示數(shù)據(jù)，以生成與字幕疊加的輸出立體圖像數(shù)據(jù)(全分辨率左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù))。將輸出立體圖像數(shù)據(jù)通過3D信號(hào)處理單元301供應(yīng)給視頻/圖形處理電路307。
3D信號(hào)處理單元301對(duì)HDMI接收單元303接收的立體圖像數(shù)據(jù)進(jìn)行解碼處理，生成全分辨率左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。將左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)供應(yīng)給視頻/圖形處理電路307。視頻/圖形處理電路307根據(jù)左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)生成顯示立體圖像的圖像數(shù)據(jù)，并且如有必要，還進(jìn)行像圖像質(zhì)量調(diào)整處理那樣的疊加信息數(shù)據(jù)合成處理和OSD (屏幕顯示)處理。
將視頻/圖形處理電路307獲得的圖像數(shù)據(jù)供應(yīng)給面板驅(qū)動(dòng)電路308。因此，由顯示面板309顯示立體圖像。例如，顯示面板309以時(shí)分方式交替地顯示與左眼圖像數(shù)據(jù)相對(duì)應(yīng)的左眼圖像和與右眼圖像數(shù)據(jù)相對(duì)應(yīng)的右眼圖像。通過戴著，例如，具有與顯示面板309的顯示同步地交替打開的左眼快門和右眼快門的快門眼鏡，觀看可以只用左眼觀看左眼圖像和只用右眼觀看右眼圖像，因此識(shí)別立體圖像。
此外，將位流處理單元306獲得的音頻數(shù)據(jù)供應(yīng)給音頻信號(hào)處理電路310。音頻信號(hào)處理電路310對(duì)HDMI接收單元303接收的或位流處理單元306獲取的音頻數(shù)據(jù)進(jìn)行像D/A轉(zhuǎn)換那樣的必要處理。由音頻放大電路311放大音頻數(shù)據(jù),并將放大的音頻數(shù)據(jù)供應(yīng)給揚(yáng)聲器312。因此，從揚(yáng)聲器312輸出與顯示面板309的顯示圖像相對(duì)應(yīng)的聲音。
另外，圖56圖示了如上所述的3D兼容電視接收器300。盡管未詳細(xì)描述，但傳統(tǒng)2D兼容電視接收器具有幾乎相同的配置。但是，在傳統(tǒng)2D兼容電視接收器的情況下，位流處理單元306具有與上面圖示在圖51中的2D兼容位流處理單元201相同的配置和操作。此外，在傳統(tǒng)2D兼容電視接收器的情況下，3D信號(hào)處理單元301是多余的。
此外，在3D兼容電視接收器300的情況下，用戶可以選擇2D顯示模式或3D顯示模式。在這種情況下，當(dāng)選擇3D顯示模式時(shí)，位流處理單元306具有與如上所述相同的配置和功能。另一方面，當(dāng)選擇2D顯示模式時(shí)，位流處理單元306具有與上面圖示在圖55中的2D兼容位流處理單元201相同的配置和功能。
<2.修改例 >
另外，圖50圖示了配有與數(shù)字調(diào)諧器204連接的天線輸入端子203的機(jī)頂盒200。但是，也可以以相同方式配置接收通過電纜發(fā)送的RF信號(hào)的機(jī)頂盒。在這種情況下，提供電纜端子來取代天線端子203。
此外，也可以以相同方式配置直接或通過路由器與互聯(lián)網(wǎng)和家用網(wǎng)絡(luò)連接的機(jī)頂盒。在這種情況下，直接或通過路由器將上述傳輸流TS從互聯(lián)網(wǎng)和家用網(wǎng)絡(luò)發(fā)送到機(jī)頂盒。
圖57圖示了在那種情況下機(jī)頂盒200A的配置的示例。在圖57中，與圖50的那些相對(duì)應(yīng)的單元用相同標(biāo)號(hào)表示。機(jī)頂盒200A包括與網(wǎng)絡(luò)接口 209連接的網(wǎng)絡(luò)端子208。從網(wǎng)絡(luò)接口 209輸出傳輸流TS，然后將其供應(yīng)給位流處理單元201。盡管未詳細(xì)描述，但機(jī)頂盒200A的其他單元具有與圖示在圖50中的機(jī)頂盒200的相應(yīng)單元相同的配置和操作。
此外，圖56圖示了配有與數(shù)字調(diào)諧器204連接的天線輸入端子304的電視接收器300。但是，也可以以相同方式配置接收通過電纜發(fā)送的RF信號(hào)的電視接收器。在這種情況下，提供電纜端子來取代天線端子304。
此外，也可以以相同方式配置直接或通過路由器與互聯(lián)網(wǎng)和家用網(wǎng)絡(luò)連接的電視接收器。在這種情況下，直接或通過路由器將上述傳輸流TS從互聯(lián)網(wǎng)和家用網(wǎng)絡(luò)發(fā)送到電視接收器。
圖58圖示了在那種情況下電視接收器300A的配置的示例。在圖58中，與圖56的那些相對(duì)應(yīng)的單元用相同標(biāo)號(hào)表示。電視接收器300A包括與網(wǎng)絡(luò)接口 314連接的網(wǎng)絡(luò)端子313。從網(wǎng)絡(luò)接口 314輸出傳輸流TS，然后將其供應(yīng)給位流處理單元306。盡管未詳細(xì)描述，但電視接收器300A的其他單元具有與圖示在圖56中的電視接收器300的相應(yīng)單元相同的配置和操作。
此外，在上述實(shí)施例中，圖像發(fā)送/接收系統(tǒng)10被圖示成包括廣播站100、機(jī)頂盒200、和電視接收器300。但是，如圖56所圖示，電視接收器300還包括以與機(jī)頂盒200中的位流處理單元201相同的方式起作用的位流處理單元306。因此，如圖59所圖示，可以將圖像發(fā)送/接收系統(tǒng)10設(shè)計(jì)成包括廣播站100和電視接收器300。
此外，在上述實(shí)施例中，機(jī)頂盒200和電視接收器300被圖示成通過HDMI數(shù)字接口連接。但是，即使機(jī)頂盒200和電視接收器300通過與HDMI數(shù)字接口等效的任何其他數(shù)字接口(包括無線接口以及有線接口)連接，也可以類似地應(yīng)用本技術(shù)。
此外，在上述實(shí)施例中，將字幕(字幕)當(dāng)作疊加信息。但是，即使將像圖形信息和文本信息那樣的其他類型信息當(dāng)作疊加信息，以及即使與音頻流相關(guān)地處理劃分成基本流和附加流和編碼成以相關(guān)方式輸出的那些流，也可以類似地應(yīng)用本技術(shù)。
此外，本技術(shù)可以具有如下配置。
(I) 一種發(fā)送裝置，其包括:
圖像數(shù)據(jù)輸出單元，配置為輸出用于顯示立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)；
疊加信息數(shù)據(jù)輸出單元，配置為輸出要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息數(shù)據(jù)；
視差信息輸出單元，配置為通過偏移要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息，輸出用于提供視差的視差信息；以及
數(shù)據(jù)發(fā)送單元，配置為生成和發(fā)送傳輸流，所述傳輸流是通過多路復(fù)用包括從所述圖像數(shù)據(jù)輸出單元輸出的圖像數(shù)據(jù)的視頻數(shù)據(jù)流的PES分組、包括從所述疊加信息數(shù)據(jù)輸出單元輸出的疊加信息數(shù)據(jù)的第一專用數(shù)據(jù)流的PES分組、和包括從所述視差信息輸出單元輸出的視差信息的第二專用數(shù)據(jù)流的PES分組獲得的，
其中所述數(shù)據(jù)發(fā)送單元多路復(fù)用所述第二專用數(shù)據(jù)流的PES分組，以便PES分組比包括在PES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器。
(2)按照(I)所述的發(fā)送裝置，其中所述預(yù)定時(shí)段至少包括通過解碼第二專用數(shù)據(jù)流的PES分組獲取視差信息所需的時(shí)段。
( 3 )按照(I)所述的發(fā)送裝置，其中
所述傳輸流包括相對(duì)于第一專用數(shù)據(jù)流的一個(gè)PES分組的第二專用數(shù)據(jù)流的一個(gè)PES分組，以及
包括在第二專用數(shù)據(jù)流的PES分組中的視差信息是在顯示通過包括在第一專用數(shù)據(jù)流的PES分組中的疊加信息數(shù)據(jù)的疊加信息的時(shí)段內(nèi)依次更新的視差信息，并且包括在第二專用數(shù)據(jù)流的PES分組中的視差信息包括初始幀的視差信息以及用于每個(gè)隨后更新幀間隔的幀的視差信息。
( 4 )按照(I)所述的發(fā)送裝置，其中
所述傳輸流包括相對(duì)于第一專用數(shù)據(jù)流的一個(gè)PES分組的第二專用數(shù)據(jù)流的多個(gè)PES分組，以及
包括在第二專用數(shù)據(jù)流的多個(gè)PES分組中的視差信息是在顯示通過包括在第一專用數(shù)據(jù)流的PES分組中的疊加信息數(shù)據(jù)的疊加信息的時(shí)段內(nèi)依次更新的一條或多條視差/[目息。
(5)按照(4)所述的發(fā)送裝置，其中當(dāng)?shù)诙Ｓ脭?shù)據(jù)流的PES分組包括多條視差信息時(shí)，所述多條視差信息包括與包括在下一個(gè)PES分組中的初始巾貞的視差信息相同的巾貞的視差息。
(6)按照(4)所述的發(fā)送裝置，其中當(dāng)?shù)诙Ｓ脭?shù)據(jù)流的PES分組包括一條視差信息時(shí)，所述數(shù)據(jù)發(fā)送單元在第二個(gè)之后多路復(fù)用第二專用數(shù)據(jù)流的PES分組，以便第二專用數(shù)據(jù)流的PES分組在包括在前一 PES分組中的顯示時(shí)間戳的定時(shí)的下一個(gè)內(nèi)插幀之前到達(dá)接收方的解碼緩沖器。
(7)按照(I)至(6)的任何一項(xiàng)所述的發(fā)送裝置，其中設(shè)置所述數(shù)據(jù)發(fā)送單元，使得包括在第二專用數(shù)據(jù)流中的PES分組的解碼時(shí)間戳的定時(shí)比包括在該P(yáng)ES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段。
(8)按照(I)至(7)的任何一項(xiàng)所述的發(fā)送裝置，其中第一專用數(shù)據(jù)流的PES分組和第二專用數(shù)據(jù)流的PES分組包括用于同步通過疊加信息數(shù)據(jù)的顯示與通過視差信息的視差的同步信息。
(9)按照(I)至(8)的任何一項(xiàng)所述的發(fā)送裝置，其中所述傳輸流以插入方式包括用于將第一專用數(shù)據(jù)流的PES分組與第二專用數(shù)據(jù)流的PES分組相關(guān)聯(lián)的關(guān)聯(lián)信息。
(10)按照(I)至(9)的任何一項(xiàng)所述的發(fā)送裝置，其中
所述疊加信息數(shù)據(jù)是DVB字幕數(shù)據(jù)，以及
所述視差信息是以區(qū)域或包括在區(qū)域中的子區(qū)域?yàn)閱挝坏囊暡钚畔?，或以包括所有區(qū)域的頁面為單位的視差信息。
(11)按照(I)至(10)的任何一項(xiàng)所述的發(fā)送裝置，其中第二專用數(shù)據(jù)流的PES分組包括視差信息和疊加信息數(shù)據(jù)兩者。
(12) 一種發(fā)送方法，其包括以下步驟:
輸出用于顯示立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)；
輸出要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息數(shù)據(jù)；
通過偏移要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息，輸出用于提供視差的視差信息；以及
生成和發(fā)送傳輸流，所述傳輸流是通過多路復(fù)用包括在所述圖像數(shù)據(jù)輸出步驟中輸出的圖像數(shù)據(jù)的視頻數(shù)據(jù)流的PES分組、包括在所述疊加信息數(shù)據(jù)輸出步驟中輸出的疊加信息數(shù)據(jù)的第一專用數(shù)據(jù)流的PES分組、和包括在所述視差信息輸出步驟中輸出的視差信息的第二專用數(shù)據(jù)流的PES分組獲得的，
其中所述數(shù)據(jù)發(fā)送步驟多路復(fù)用所述第二專用數(shù)據(jù)流的PES分組，以便PES分組比包括在PES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器。
(13) 一種接收裝置，其包括:
數(shù)據(jù)接收單元，配置為接收傳輸流，所述傳輸流是通過多路復(fù)用包括用于顯示立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的視頻數(shù)據(jù)流的PES分組、包括要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息數(shù)據(jù)的第一專用數(shù)據(jù)流的PES分組、和包括通過偏移要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息提供視差的視差信息的第二專用數(shù)據(jù)流的PES數(shù)據(jù)獲得的，多路復(fù)用第二專用數(shù)據(jù)流的PES分組，使得PES分組比包括在PES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器；
圖像數(shù)據(jù)獲取單元，配置為通過對(duì)從由所述數(shù)據(jù)接收單元接收的傳輸流提取的視頻數(shù)據(jù)流的PES分組進(jìn)行解碼處理，獲取圖像數(shù)據(jù)；
解碼緩沖器，配置為臨時(shí)存儲(chǔ)從由所述數(shù)據(jù)接收單元接收的傳輸流提取的第一專用數(shù)據(jù)流的PES分組和第二專用數(shù)據(jù)流的PES分組；
疊加信息數(shù)據(jù)獲取單元，配置為通過從所述解碼緩沖器讀取第一專用數(shù)據(jù)流的PES分組并對(duì)讀取的PES分組進(jìn)行解碼處理，獲取疊加信息數(shù)據(jù)；
視差信息獲取單元，配置為通過從所述解碼緩沖器讀取第二專用數(shù)據(jù)流的PES分組并對(duì)讀取的PES分組進(jìn)行解碼處理，獲取視差信息；以及
圖像數(shù)據(jù)處理單元，配置為通過使用由所述圖像數(shù)據(jù)獲取單元獲取的圖像數(shù)據(jù)、由所述疊加信息數(shù)據(jù)獲取單元獲取的疊加信息數(shù)據(jù)、和由所述視差信息獲取單元獲取的視差信息，將視差提供給疊加在左眼圖像和右眼圖像上的相同疊加信息，并獲取疊加了疊加信息的左眼圖像的數(shù)據(jù)和疊加了疊加信息的右眼圖像的數(shù)據(jù)。
( 14)按照(13)所述的接收裝置，進(jìn)一步包含視差信息內(nèi)插單元，配置為通過對(duì)由所述視差信息獲取單元獲取和在顯示疊加信息的預(yù)定數(shù)目的幀的時(shí)段內(nèi)依次更新的視差信息進(jìn)行內(nèi)插處理，生成在預(yù)定數(shù)目的幀的時(shí)段內(nèi)的任何幀間隔的視差信息，
其中所述圖像數(shù)據(jù)處理單元使用由所述視差信息內(nèi)插單元生成的任何幀間隔的視差息O
(15)按照(13)或(14)所述的接收裝置，其中
將包括在第二專用數(shù)據(jù)流的PES分組中的解碼時(shí)間戳的定時(shí)設(shè)置成比包括在該P(yáng)ES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段，以及
所述視差信息獲取單元通過在包括在第二專用數(shù)據(jù)流的PES分組中的解碼時(shí)間戳的定時(shí)，從解碼緩沖器讀取第二專用數(shù)據(jù)流的PES分組，進(jìn)行解碼處理。
標(biāo)號(hào)列表
10，IOA圖像發(fā)送/接收系統(tǒng)
100廣播站
111L，11 IR相機(jī)
112視頻成幀單元
113視差矢量檢測(cè)單元
114麥克風(fēng)
115數(shù)據(jù)提取單元
115a數(shù)據(jù)記錄介質(zhì)
116-118切換開關(guān)
119視頻編碼器
120音頻編碼器
121字幕生成單元
122視差信息創(chuàng)建單元
123字幕處理單元
125字幕編碼器
126多路復(fù)用器
200，200A機(jī)頂盒(STB)
210視頻流處理單元
202HDMI 端子
203天線端子
204數(shù)字調(diào)諧器
205視頻信號(hào)處理電路
206HDMI 發(fā)送單元
207音頻信號(hào)處理電路
208網(wǎng)絡(luò)端子
209網(wǎng)絡(luò)接口
211CPU
215遙控接收單元
216遙控發(fā)射器
221多路分用器
222視頻解碼器
223編碼數(shù)據(jù)緩沖器
224字幕解碼器
225像素緩沖器
228視頻疊加單元
229音頻解碼器
300,300A 電視接收器(TV)
3013D信號(hào)處理單元
302HDMI 端子
303HDMI 接收單元
304天線端子
305數(shù)字調(diào)諧器
306視頻流處理單元
307視頻/圖形處理單元
308面板驅(qū)動(dòng)電路 0494]309顯示面板
310音頻信號(hào)處理電路
311音頻放大電路
312揚(yáng)聲器
313網(wǎng)絡(luò)端子
314網(wǎng)絡(luò)接口
321CPU
325遙控接收單元
326遙控發(fā)射器
400HDMI 電纜
權(quán)利要求
1.一種發(fā)送裝置，其包含: 圖像數(shù)據(jù)輸出單元，配置為輸出用于顯示立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)； 疊加信息數(shù)據(jù)輸出單元，配置為輸出要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息數(shù)據(jù)； 視差信息輸出單元，配置為通過偏移要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息，輸出用于提供視差的視差信息；以及 數(shù)據(jù)發(fā)送單元，配置為生成和發(fā)送傳輸流，所述傳輸流是通過多路復(fù)用包括從所述圖像數(shù)據(jù)輸出單元輸出的圖像數(shù)據(jù)的視頻數(shù)據(jù)流的PES分組、包括從所述疊加信息數(shù)據(jù)輸出單元輸出的疊加信息數(shù)據(jù)的第一專用數(shù)據(jù)流的PES分組、和包括從所述視差信息輸出單元輸出的視差信息的第二專用數(shù)據(jù)流的PES分組獲得的， 其中所述數(shù)據(jù)發(fā)送單元多路復(fù)用所述第二專用數(shù)據(jù)流的PES分組，以便PES分組比包括在PES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器。
2.按照權(quán)利要求1所述的發(fā)送裝置，其中所述預(yù)定時(shí)段至少包括通過解碼所述第二專用數(shù)據(jù)流的PES分組獲取視差信息所需的時(shí)段。
3.按照權(quán)利要求1所述的發(fā)送裝置，其中 所述傳輸流包括相對(duì)于第一專用數(shù)據(jù)流的一個(gè)PES分組的第二專用數(shù)據(jù)流的一個(gè)PES分組，以及 包括在第二專用數(shù)據(jù)流的PES分組中的視差信息是在顯示通過包括在第一專用數(shù)據(jù)流的PES分組中的疊加信息數(shù)據(jù)的疊加信息的時(shí)段內(nèi)依次更新的視差信息，并且包括在第二專用數(shù)據(jù)流的PES分組中的視差信息包括初始幀的視差信息以及用于每個(gè)隨后更新幀間隔的幀的視差信息。
4.按照權(quán)利要求1所述的發(fā)送裝置，其中 所述傳輸流包括相對(duì)于第一專用數(shù)據(jù)流的一個(gè)PES分組的第二專用數(shù)據(jù)流的多個(gè)PES分組，以及 包括在第二專用數(shù)據(jù)流的多個(gè)PES分組中的視差信息是在顯示通過包括在第一專用數(shù)據(jù)流的PES分組中的疊加信息數(shù)據(jù)的疊加信息的時(shí)段內(nèi)依次更新的一條或多條視差信息
5.按照權(quán)利要求4所述的發(fā)送裝置，其中當(dāng)?shù)诙Ｓ脭?shù)據(jù)流的PES分組包括多條視差信息時(shí)，所述多條視差信息包括與包括在下一個(gè)PES分組中的初始幀的視差信息相同的幀的視差信息。
6.按照權(quán)利要求4所述的發(fā)送裝置， 其中當(dāng)?shù)诙Ｓ脭?shù)據(jù)流的PES分組包括一條視差信息時(shí)，所述數(shù)據(jù)發(fā)送單元在第二個(gè)之后多路復(fù)用第二專用數(shù)據(jù)流的PES分組，以便第二專用數(shù)據(jù)流的PES分組在包括在前一 PES分組中的顯示時(shí)間戳的定時(shí)的下一個(gè)內(nèi)插幀之前到達(dá)接收方的解碼緩沖器。
7.按照權(quán)利要求1所述的發(fā)送裝置，其中設(shè)置所述數(shù)據(jù)發(fā)送單元，使得包括在第二專用數(shù)據(jù)流的PES分組中的解碼時(shí)間戳的定時(shí)比包括在該P(yáng)ES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段。
8.按照權(quán)利要求1所述的發(fā)送裝置，其中第一專用數(shù)據(jù)流的PES分組和第二專用數(shù)據(jù)流的PES分組包括用于同步通過疊加信息數(shù)據(jù)的顯示與通過視差信息的視差的同步信息。
9.按照權(quán)利要求1所述的發(fā)送裝置，其中所述傳輸流以插入方式包括用于將第一專用數(shù)據(jù)流的PES分組與第二專用數(shù)據(jù)流的PES分組相關(guān)聯(lián)的關(guān)聯(lián)信息。
10.按照權(quán)利要求1所述的發(fā)送裝置，其中 所述疊加信息數(shù)據(jù)是DVB字幕數(shù)據(jù)，以及 所述視差信息是以區(qū)域或包括在區(qū)域中的子區(qū)域?yàn)閱挝坏囊暡钚畔?，或以包括所有區(qū)域的頁面為單位的視差信息。
11.按照權(quán)利要求1所述的發(fā)送裝置，其中第二專用數(shù)據(jù)流的PES分組包括視差信息和疊加信息數(shù)據(jù)兩者。
12.一種發(fā)送方法，其包括以下步驟: 輸出用于顯示立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)； 輸出要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息數(shù)據(jù)； 通過偏移要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息，輸出用于提供視差的視差信息；以及 生成和發(fā)送傳輸流，所述傳輸流是通過多路復(fù)用包括在所述圖像數(shù)據(jù)輸出步驟中輸出的圖像數(shù)據(jù)的視頻數(shù)據(jù)流的PES分組、包括在所述疊加信息數(shù)據(jù)輸出步驟中輸出的疊加信息數(shù)據(jù)的第一專用數(shù)據(jù)流的PES分組、和包括在所述視差信息輸出步驟中輸出的視差信息的第二專用數(shù)據(jù)流的PES分組獲得的， 其中所述數(shù)據(jù)發(fā)送步驟多路復(fù)用所述第二專用數(shù)據(jù)流的PES分組，以便PES分組比包括在PES分組中的 顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器。
13.一種接收裝置，其包含: 數(shù)據(jù)接收單元，配置為接收傳輸流，所述傳輸流是通過多路復(fù)用包括用于顯示立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的視頻數(shù)據(jù)流的PES分組、包括要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息數(shù)據(jù)的第一專用數(shù)據(jù)流的PES分組、和包括通過偏移要疊加在通過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像上的疊加信息提供視差的視差信息的第二專用數(shù)據(jù)流的PES數(shù)據(jù)獲得的，多路復(fù)用第二專用數(shù)據(jù)流的PES分組，使得PES分組比包括在PES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段到達(dá)接收方的解碼器緩沖器； 圖像數(shù)據(jù)獲取單元，配置為通過對(duì)從由所述數(shù)據(jù)接收單元接收的傳輸流提取的視頻數(shù)據(jù)流的PES分組進(jìn)行解碼處理，獲取圖像數(shù)據(jù)； 解碼緩沖器，配置為臨時(shí)存儲(chǔ)從由所述數(shù)據(jù)接收單元接收的傳輸流提取的第一專用數(shù)據(jù)流的PES分組和第二專用數(shù)據(jù)流的PES分組； 疊加信息數(shù)據(jù)獲取單元，配置為通過從所述解碼緩沖器讀取第一專用數(shù)據(jù)流的PES分組并對(duì)讀取的PES分組進(jìn)行解碼處理，獲取疊加信息數(shù)據(jù)； 視差信息獲取單元，配置為通過從所述解碼緩沖器讀取第二專用數(shù)據(jù)流的PES分組并對(duì)讀取的PES分組進(jìn)行解碼處理，獲取視差信息；以及 圖像數(shù)據(jù)處理單元，配置為通過使用由所述圖像數(shù)據(jù)獲取單元獲取的圖像數(shù)據(jù)、由所述疊加信息數(shù)據(jù)獲取單元獲取的疊加信息數(shù)據(jù)、和由所述視差信息獲取單元獲取的視差信息，將視差提供給疊加在左眼圖像和右眼圖像上的相同疊加信息，并獲取疊加了疊加信息的左眼圖像的數(shù)據(jù)和疊加了疊加信息的右眼圖像的數(shù)據(jù)。
14.按照權(quán)利要求13所述的接收裝置，進(jìn)一步包含視差信息內(nèi)插單元，配置為通過對(duì)由所述視差信息獲取單元獲取和在顯示疊加信息的預(yù)定數(shù)目的幀的時(shí)段內(nèi)依次更新的視差信息進(jìn)行內(nèi)插處理，生成在預(yù)定數(shù)目的幀的時(shí)段內(nèi)的任何幀間隔的視差信息， 其中所述圖像數(shù)據(jù)處理單元使用由所述視差信息內(nèi)插單元生成的任何幀間隔的視差信息。
15.按照權(quán)利要求13所述的接收裝置，其中 將包括在第二專用數(shù)據(jù)流的PES分組中的解碼時(shí)間戳的定時(shí)設(shè)置成比包括在該P(yáng)ES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)段，以及 所述視差信息獲取單元通過在包括在第二專用數(shù)據(jù)流的PES分組中的解碼時(shí)間戳的定時(shí)， 從解碼緩沖器讀取第二專用數(shù)據(jù)流的PES分組，進(jìn)行解碼處理。
全文摘要
本發(fā)明的目的是有效地發(fā)送包含視差信息的PES分組。輸出顯示三維圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。輸出關(guān)于要疊加在由左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)產(chǎn)生的圖像上的疊加信息的數(shù)據(jù)。偏移要疊加在由左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)產(chǎn)生的圖像上的疊加信息，并且輸出用于產(chǎn)生視差的視差信息。發(fā)送包含包括圖像數(shù)據(jù)的視頻數(shù)據(jù)流的PES分組、和包括疊加信息的第一專用數(shù)據(jù)流的PES分組的傳輸流。多路復(fù)用第二專用數(shù)據(jù)流的PES分組，以便比包括在PES分組中的顯示時(shí)間戳的定時(shí)早預(yù)定時(shí)間到達(dá)接收側(cè)解碼器緩沖器。
文檔編號(hào)H04N21/236GK103168476SQ201280003261
公開日2013年6月19日 申請(qǐng)日期2012年7月3日 優(yōu)先權(quán)日2011年7月15日
發(fā)明者塚越郁夫 申請(qǐng)人:索尼公司