編碼裝置和方法、再現(xiàn)裝置和方法以及程序與流程

本技術(shù)涉及編碼裝置、編碼方法、再現(xiàn)裝置、再現(xiàn)方法、以及程序，并且更具體地，涉及使得每個(gè)再現(xiàn)裝置能夠以簡(jiǎn)化的方式來再現(xiàn)適當(dāng)?shù)膬?nèi)容的編碼裝置、編碼方法、再現(xiàn)裝置、再現(xiàn)方法、以及程序。

背景技術(shù)：

近年來，已知被稱為4K或8K的高分辨率的視頻內(nèi)容。經(jīng)常在考慮大視角即在大屏幕上再現(xiàn)的情況下生成這種4K或8K的視頻內(nèi)容。

另外，由于4K或8K的視頻內(nèi)容具有高分辨率，所以在這樣的視頻內(nèi)容的畫面的一部分被裁剪的情況下分辨率也是足夠的，因此，這樣的視頻內(nèi)容可以被裁剪和再現(xiàn)(例如，參見非專利文獻(xiàn)1)。

引用列表

非專利文獻(xiàn)

非專利文獻(xiàn)1：FDR-AX100，[在線]，[2014年9月24日檢索]，因特網(wǎng)<URL:http://www.sony.net/Products/di/en-us/products/j4it/index.html>

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的問題

同時(shí)，視頻再現(xiàn)設(shè)備被多樣化，并且考慮以從大屏幕到智能電話(多功能移動(dòng)電話)的各種屏幕尺寸的再現(xiàn)。然而，在當(dāng)前情況下，相同的內(nèi)容被放大或縮小地再現(xiàn)，以匹配每個(gè)屏幕尺寸。

同時(shí)，上述4K或8K的視頻內(nèi)容經(jīng)常在考慮在大屏幕上再現(xiàn)的情況下生成。因此，使用具有相對(duì)小屏幕的再現(xiàn)設(shè)備如平板個(gè)人計(jì)算機(jī)(PC)或智能電話來再現(xiàn)這樣的視頻內(nèi)容是不合適的。

因此，例如，對(duì)于具有彼此不同的屏幕尺寸等的再現(xiàn)設(shè)備，為了提供適合于每種屏幕尺寸、屏幕形狀等的內(nèi)容，需要單獨(dú)準(zhǔn)備適合于每種屏幕尺寸、屏幕形狀等的內(nèi)容。

本技術(shù)考慮了這些情況，并且使得每個(gè)再現(xiàn)設(shè)備能夠以簡(jiǎn)化的方式來再現(xiàn)適當(dāng)?shù)膬?nèi)容。

問題的解決方案

根據(jù)本技術(shù)的第一方面的再現(xiàn)裝置包括：解碼單元，其對(duì)經(jīng)編碼的視頻數(shù)據(jù)或者經(jīng)編碼的音頻數(shù)據(jù)進(jìn)行解碼；縮放區(qū)域選擇單元，其從指定待縮放的區(qū)域的多條縮放區(qū)域信息中選擇一條或多條縮放區(qū)域信息；以及數(shù)據(jù)處理單元，其基于所選擇的縮放區(qū)域信息對(duì)通過解碼而獲得的視頻數(shù)據(jù)執(zhí)行裁剪處理或者對(duì)通過解碼而獲得的音頻數(shù)據(jù)執(zhí)行音頻轉(zhuǎn)換處理。

在多條縮放區(qū)域信息中，可以包括指定針對(duì)每種類型的再現(xiàn)目標(biāo)設(shè)備的區(qū)域的縮放區(qū)域信息。

在多條縮放區(qū)域信息中，可以包括指定針對(duì)每個(gè)再現(xiàn)目標(biāo)設(shè)備旋轉(zhuǎn)方向的區(qū)域的縮放區(qū)域信息。

在多條縮放區(qū)域信息中，可以包括指定針對(duì)每個(gè)特定視頻對(duì)象的區(qū)域的縮放區(qū)域信息。

可以使縮放區(qū)域選擇單元根據(jù)用戶的操作輸入來選擇縮放區(qū)域信息。

可以使縮放區(qū)域選擇單元基于與再現(xiàn)裝置有關(guān)的信息來選擇縮放區(qū)域信息。

可以使縮放區(qū)域選擇單元通過使用表示再現(xiàn)裝置的類型的信息和表示再現(xiàn)裝置的旋轉(zhuǎn)方向的信息中的至少任一種信息作為與再現(xiàn)裝置有關(guān)的信息來選擇縮放區(qū)域信息。

根據(jù)本技術(shù)的第一方面的再現(xiàn)方法或程序包括下述步驟：對(duì)經(jīng)編碼的視頻數(shù)據(jù)或者經(jīng)編碼的音頻數(shù)據(jù)進(jìn)行解碼；從指定待縮放的區(qū)域的多條縮放區(qū)域信息中選擇一條或多條縮放區(qū)域信息；以及基于所選擇的縮放區(qū)域信息，對(duì)通過解碼而獲得的視頻數(shù)據(jù)執(zhí)行裁剪處理或者對(duì)通過解碼而獲得的音頻數(shù)據(jù)執(zhí)行音頻轉(zhuǎn)換處理。

根據(jù)本技術(shù)的第一方面，對(duì)經(jīng)編碼的視頻數(shù)據(jù)或者經(jīng)編碼的音頻數(shù)據(jù)進(jìn)行解碼；從指定待縮放的區(qū)域的多條縮放區(qū)域信息中選擇一條或多條縮放區(qū)域信息；以及基于所選擇的縮放區(qū)域信息，對(duì)通過解碼而獲得的視頻數(shù)據(jù)執(zhí)行裁剪處理或者對(duì)通過解碼而獲得的音頻數(shù)據(jù)執(zhí)行音頻轉(zhuǎn)換處理。

根據(jù)本技術(shù)的第二方面的編碼裝置包括：編碼單元，其對(duì)視頻數(shù)據(jù)進(jìn)行編碼或者對(duì)音頻數(shù)據(jù)進(jìn)行編碼；以及多路復(fù)用器，其通過將經(jīng)編碼的視頻數(shù)據(jù)或者經(jīng)編碼的音頻數(shù)據(jù)與指定待縮放的區(qū)域的多條縮放區(qū)域信息進(jìn)行多路復(fù)用來生成比特流。

根據(jù)本技術(shù)的第二方面的編碼方法或程序包括下述步驟：對(duì)視頻數(shù)據(jù)進(jìn)行編碼或者對(duì)音頻數(shù)據(jù)進(jìn)行編碼；以及通過將經(jīng)編碼的視頻數(shù)據(jù)或者經(jīng)編碼的音頻數(shù)據(jù)與指定待縮放的區(qū)域的多條縮放區(qū)域信息進(jìn)行多路復(fù)用來生成比特流。

根據(jù)本技術(shù)的第二方面，對(duì)視頻數(shù)據(jù)進(jìn)行編碼或者對(duì)音頻數(shù)據(jù)進(jìn)行編碼；以及通過將經(jīng)編碼的視頻數(shù)據(jù)或者經(jīng)編碼的音頻數(shù)據(jù)與指定待縮放的區(qū)域的多條縮放區(qū)域信息進(jìn)行多路復(fù)用來生成比特流。

本發(fā)明的效果

根據(jù)本技術(shù)的第一方面和第二方面，每個(gè)再現(xiàn)設(shè)備能夠以簡(jiǎn)化的方式來再現(xiàn)適當(dāng)?shù)膬?nèi)容。

注意，本技術(shù)的效果不限于此處描述的效果，而是可以為本公開內(nèi)容中描述的任何效果。

附圖說明

圖1是示出編碼裝置的配置的示例的圖。

圖2是示出經(jīng)編碼的內(nèi)容數(shù)據(jù)的配置的圖。

圖3是示出縮放區(qū)域信息的圖。

圖4是示出縮放區(qū)域信息存在標(biāo)志的語(yǔ)法的圖。

圖5是示出縮放區(qū)域信息的語(yǔ)法的圖。

圖6是示出縮放區(qū)域信息的語(yǔ)法的圖。

圖7是示出縮放區(qū)域信息的語(yǔ)法的圖。

圖8是示出縮放區(qū)域信息的語(yǔ)法的圖。

圖9是示出縮放區(qū)域信息的語(yǔ)法的圖。

圖10是示出縮放區(qū)域信息的語(yǔ)法的圖。

圖11是示出縮放區(qū)域信息的圖。

圖12是示出縮放區(qū)域信息的圖。

圖13是示出縮放區(qū)域信息的語(yǔ)法的圖。

圖14是示出縮放區(qū)域信息存在標(biāo)志等的語(yǔ)法的圖。

圖15是示出縮放區(qū)域信息的語(yǔ)法的圖。

圖16是示出縮放區(qū)域輔助信息等的語(yǔ)法的圖。

圖17是示出縮放規(guī)格的圖。

圖18是示出再現(xiàn)的內(nèi)容的示例的圖。

圖19是示出編碼處理的流程圖。

圖20是示出再現(xiàn)裝置的配置的示例的圖。

圖21是示出再現(xiàn)處理的流程圖。

圖22是示出再現(xiàn)裝置的配置的示例的圖。

圖23是示出再現(xiàn)處理的流程圖。

圖24是示出再現(xiàn)裝置的配置的示例的圖。

圖25是示出再現(xiàn)處理的流程圖。

圖26是示出再現(xiàn)裝置的配置的示例的圖。

圖27是示出再現(xiàn)處理的流程圖。

圖28是示出計(jì)算機(jī)的配置的示例的圖。

具體實(shí)施方式

在下文中，將參照附圖來描述應(yīng)用本技術(shù)的實(shí)施方式。

<第一實(shí)施方式>

<編碼裝置的配置的示例>

本技術(shù)使得具有彼此不同的顯示屏尺寸的再現(xiàn)設(shè)備如TV接收機(jī)和智能電話能夠以簡(jiǎn)化的方式來再現(xiàn)適當(dāng)?shù)膬?nèi)容如適合于這種再現(xiàn)設(shè)備的內(nèi)容。這里描述的內(nèi)容例如可以是由視頻和音頻形成的內(nèi)容或者由視頻和音頻中任一者形成的內(nèi)容。在下文中，將使用由視頻和伴隨該視頻的音頻形成的內(nèi)容的情況的示例來繼續(xù)描述。

圖1是示出根據(jù)本技術(shù)的編碼裝置的配置的示例的圖。

該編碼裝置11對(duì)由內(nèi)容生成者生成的內(nèi)容進(jìn)行編碼，并且輸出其中存儲(chǔ)作為其結(jié)果而獲得的經(jīng)編碼的數(shù)據(jù)的比特流(代碼串)。

編碼裝置11包括：視頻數(shù)據(jù)編碼單元21；音頻數(shù)據(jù)編碼單元22；元數(shù)據(jù)編碼單元23；多路復(fù)用器24；以及輸出單元25。

在本示例中，構(gòu)成內(nèi)容的視頻的視頻數(shù)據(jù)和音頻的音頻數(shù)據(jù)分別被提供給視頻數(shù)據(jù)編碼單元21和音頻數(shù)據(jù)編碼單元22，并且內(nèi)容的元數(shù)據(jù)被提供給元數(shù)據(jù)編碼單元23。

視頻數(shù)據(jù)編碼單元21對(duì)所提供的內(nèi)容的視頻數(shù)據(jù)進(jìn)行編碼，并且將作為其結(jié)果而獲得的經(jīng)編碼的視頻數(shù)據(jù)提供給多路復(fù)用器24。音頻數(shù)據(jù)編碼單元22對(duì)所提供的內(nèi)容的音頻數(shù)據(jù)進(jìn)行編碼，并且將作為其結(jié)果而獲得的經(jīng)編碼的音頻數(shù)據(jù)提供給多路復(fù)用器24。

元數(shù)據(jù)編碼單元23對(duì)所提供的內(nèi)容的元數(shù)據(jù)進(jìn)行編碼，并且將作為其結(jié)果而獲得的經(jīng)編碼的元數(shù)據(jù)提供給多路復(fù)用器24。

多路復(fù)用器24通過將從視頻數(shù)據(jù)編碼單元21提供的經(jīng)編碼的視頻數(shù)據(jù)、從音頻數(shù)據(jù)編碼單元22提供的經(jīng)編碼的音頻數(shù)據(jù)以及從元數(shù)據(jù)編碼單元23提供的經(jīng)編碼的元數(shù)據(jù)進(jìn)行多路復(fù)用來生成比特流，并且將所生成的比特流提供給輸出單元25。輸出單元25將從多路復(fù)用器24提供的比特流輸出給再現(xiàn)設(shè)備等。

注意，在下文中，從輸出單元25輸出的比特流也被將稱為經(jīng)編碼的內(nèi)容數(shù)據(jù)。

<經(jīng)編碼的內(nèi)容數(shù)據(jù)>

根據(jù)需要在考慮進(jìn)行裁剪和再現(xiàn)的情況下生成由編碼裝置11編碼的內(nèi)容。換言之，內(nèi)容制作者在考慮直接再現(xiàn)內(nèi)容或者對(duì)構(gòu)成內(nèi)容的視頻的整個(gè)區(qū)域的一部分進(jìn)行裁剪和再現(xiàn)的情況下生成內(nèi)容。

例如，內(nèi)容制作者從構(gòu)成內(nèi)容的視頻(圖像)的整個(gè)區(qū)域中選擇待裁剪和再現(xiàn)的部分區(qū)域即通過裁剪而被縮放和再現(xiàn)的區(qū)域作為縮放區(qū)域。

注意，例如，用于實(shí)現(xiàn)適合于所考慮的再現(xiàn)設(shè)備的視角等目的的縮放區(qū)域可以由內(nèi)容制作者自由地確定。此外，可以基于縮放目的來確定縮放區(qū)域，縮放目的例如對(duì)特定對(duì)象如內(nèi)容的視頻內(nèi)的歌手或演奏者等進(jìn)行放大和跟蹤。

以這種方式，在由制作者側(cè)對(duì)內(nèi)容指定若干縮放區(qū)域的情況下，在從編碼裝置11輸出的比特流中，即在經(jīng)編碼的內(nèi)容數(shù)據(jù)中，指定縮放區(qū)域的縮放區(qū)域信息被存儲(chǔ)為元數(shù)據(jù)。此時(shí)，當(dāng)希望針對(duì)每個(gè)預(yù)定時(shí)間單位來指定縮放區(qū)域時(shí)，可以針對(duì)上述每個(gè)時(shí)間單位將縮放區(qū)域信息存儲(chǔ)在經(jīng)編碼的內(nèi)容數(shù)據(jù)中。

更具體地，例如，如圖2所示，在針對(duì)每個(gè)幀將內(nèi)容存儲(chǔ)在比特流中的情況下，可以針對(duì)每個(gè)幀將縮放區(qū)域信息存儲(chǔ)在比特流中。

在圖2所示的示例中，在比特流即經(jīng)編碼的內(nèi)容數(shù)據(jù)的開始處布置了其中存儲(chǔ)頭信息等的頭區(qū)段HD，并且在頭區(qū)段HD之后布置了其中存儲(chǔ)經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)的數(shù)據(jù)區(qū)段DA。

在頭區(qū)段HD中，設(shè)置了其中存儲(chǔ)與構(gòu)成內(nèi)容的視頻有關(guān)的頭信息的視頻信息頭區(qū)段PHD、其中存儲(chǔ)與構(gòu)成內(nèi)容的音頻有關(guān)的頭信息的音頻信息頭區(qū)段AHD以及其中存儲(chǔ)與內(nèi)容的元數(shù)據(jù)有關(guān)的頭信息的元信息頭區(qū)段MHD。

此外，在元信息頭區(qū)段MHD中，設(shè)置了其中存儲(chǔ)與縮放區(qū)域信息有關(guān)的信息的縮放區(qū)域信息頭區(qū)段ZHD。例如，在縮放區(qū)域信息頭區(qū)段ZHD中，存儲(chǔ)表示是否在數(shù)據(jù)區(qū)段DA中存儲(chǔ)了縮放區(qū)域信息的縮放區(qū)域信息存在標(biāo)志等。

此外，在數(shù)據(jù)區(qū)段DA中，設(shè)置了其中針對(duì)內(nèi)容的每個(gè)幀存儲(chǔ)經(jīng)編碼的內(nèi)容的數(shù)據(jù)的數(shù)據(jù)區(qū)段。在本示例中，在數(shù)據(jù)區(qū)段DA的開始處設(shè)置了其中存儲(chǔ)第一幀的數(shù)據(jù)的數(shù)據(jù)區(qū)段DAF-1，并且在數(shù)據(jù)區(qū)段DAF-1之后設(shè)置了其中存儲(chǔ)內(nèi)容的第二幀的數(shù)據(jù)的數(shù)據(jù)區(qū)段DAF-2。另外，此處，在附圖中未示出第三幀和后續(xù)幀的數(shù)據(jù)區(qū)段。在下文中，在每個(gè)幀的數(shù)據(jù)區(qū)段DAF-1或數(shù)據(jù)區(qū)段DAF-2不需要彼此特別區(qū)分的情況下，數(shù)據(jù)區(qū)段DAF-1和數(shù)據(jù)區(qū)段DAF-2中的每個(gè)將被簡(jiǎn)稱為數(shù)據(jù)區(qū)段DAF。

在第一幀的數(shù)據(jù)區(qū)段DAF-1中設(shè)置了其中存儲(chǔ)經(jīng)編碼的視頻數(shù)據(jù)的視頻信息數(shù)據(jù)區(qū)段PD-1、其中存儲(chǔ)經(jīng)編碼的音頻數(shù)據(jù)的音頻信息數(shù)據(jù)區(qū)段AD-1以及其中存儲(chǔ)經(jīng)編碼的元數(shù)據(jù)的元信息數(shù)據(jù)區(qū)段MD-1。

例如，在元信息數(shù)據(jù)區(qū)段MD-1中，包括內(nèi)容的第一幀中所包括的視頻對(duì)象和聲源對(duì)象的位置信息等。另外，在元信息數(shù)據(jù)區(qū)段MD-1內(nèi)設(shè)置了其中存儲(chǔ)經(jīng)編碼的元數(shù)據(jù)中的經(jīng)編碼的縮放區(qū)域信息的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD-1。視頻對(duì)象和聲源對(duì)象的位置信息、縮放區(qū)域信息等被設(shè)定為內(nèi)容的元數(shù)據(jù)。

同樣，與數(shù)據(jù)區(qū)段DAF-1類似，在數(shù)據(jù)區(qū)段DAF-2中設(shè)置了其中存儲(chǔ)經(jīng)編碼的視頻數(shù)據(jù)的視頻信息數(shù)據(jù)區(qū)段PD-2、其中存儲(chǔ)經(jīng)編碼的音頻數(shù)據(jù)的音頻信息數(shù)據(jù)區(qū)段AD-2以及其中存儲(chǔ)經(jīng)編碼的元數(shù)據(jù)的元信息數(shù)據(jù)區(qū)段MD-2。另外，在元信息數(shù)據(jù)區(qū)段MD-2中，設(shè)置了其中存儲(chǔ)經(jīng)編碼的縮放區(qū)域信息的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD-2。

此外，在下文中，在視頻信息數(shù)據(jù)區(qū)段PD-1和視頻信息數(shù)據(jù)區(qū)段PD-2不需要彼此特別區(qū)分的情況下，視頻信息數(shù)據(jù)區(qū)段PD-1和視頻信息數(shù)據(jù)區(qū)段PD-2中的每個(gè)也將被簡(jiǎn)稱為視頻信息數(shù)據(jù)區(qū)段PD，并且在音頻信息數(shù)據(jù)區(qū)段AD-1和音頻信息數(shù)據(jù)區(qū)段AD-2不需要彼此特別區(qū)分的情況下，音頻信息數(shù)據(jù)區(qū)段AD-1和音頻信息數(shù)據(jù)區(qū)段AD-2中的每個(gè)也將被簡(jiǎn)稱為音頻信息數(shù)據(jù)區(qū)段AD。另外，在元信息數(shù)據(jù)區(qū)段MD-1和元信息數(shù)據(jù)區(qū)段MD-2不需要彼此特別區(qū)分的情況下，元信息數(shù)據(jù)區(qū)段MD-1和元信息數(shù)據(jù)區(qū)段MD-2中的每個(gè)將被簡(jiǎn)稱為元信息數(shù)據(jù)區(qū)段MD，并且在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD-1和縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD-2不需要彼此特別區(qū)分的情況下，縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD-1和縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD-2中的每個(gè)也將被簡(jiǎn)稱為縮放區(qū)域信息數(shù)據(jù)段ZD。

此外，在圖2的情況下，在每個(gè)數(shù)據(jù)區(qū)段DAF中，描述了設(shè)置視頻信息數(shù)據(jù)區(qū)段PD、音頻信息數(shù)據(jù)區(qū)段AD和元信息數(shù)據(jù)區(qū)段MD的示例。然而，元信息數(shù)據(jù)區(qū)段MD可以被設(shè)置在視頻信息數(shù)據(jù)區(qū)段PD和音頻信息數(shù)據(jù)區(qū)段AD中的每個(gè)中或者其中之一中。在這種情況下，縮放區(qū)域信息被存儲(chǔ)在設(shè)置在視頻信息數(shù)據(jù)區(qū)段PD或音頻信息數(shù)據(jù)區(qū)段AD內(nèi)的元信息數(shù)據(jù)區(qū)段MD的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

類似地，雖然描述了視頻信息頭區(qū)段PHD、音頻信息頭區(qū)段AHD和元信息頭區(qū)段MHD被設(shè)置在頭區(qū)段HD中的示例，但是元信息頭區(qū)段MHD可以被設(shè)置在視頻信息頭區(qū)段PHD和音頻信息頭區(qū)段AHD中的二者中或者任何一者中。

另外，在內(nèi)容的每個(gè)幀中的縮放區(qū)域信息相同的情況下，縮放區(qū)域信息可以被配置成存儲(chǔ)在頭區(qū)段HD中。在這種情況下，不需要將縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD設(shè)置在每個(gè)數(shù)據(jù)區(qū)段DAF中。

<縮放區(qū)域信息的具體示例1>

隨后，將描述縮放區(qū)域信息的更具體的示例。

上述縮放區(qū)域信息是指定待縮放的區(qū)域的縮放區(qū)域的信息，更具體地，縮放區(qū)域信息是表示縮放區(qū)域的位置的信息。例如，如圖3所示的縮放區(qū)域可以使用縮放區(qū)域的中心位置的坐標(biāo)、起點(diǎn)的坐標(biāo)、終點(diǎn)的坐標(biāo)、豎直寬度、水平寬度等來指定。

在圖3所示的情況下，內(nèi)容的整個(gè)視頻(圖像)的區(qū)域是原始區(qū)域OR，并且在原始區(qū)域OR內(nèi)指定一個(gè)矩形縮放區(qū)域ZE。在本示例中，縮放區(qū)域ZE在圖的橫向(水平方向)上的寬度是水平寬度XW，并且縮放區(qū)域ZE在圖的縱向(豎直方向)上的寬度是豎直寬度YW。

此處，在圖中，XY坐標(biāo)系中的將橫向(水平方向)作為X方向并且將縱向(豎直方向)作為Y方向的點(diǎn)將被表示為坐標(biāo)(X，Y)。

現(xiàn)在，當(dāng)縮放區(qū)域ZE的中心位置(中心位置)的點(diǎn)P11的坐標(biāo)為(XC，YC)時(shí)，可以使用該中心坐標(biāo)(XC，YC)以及縮放區(qū)域ZE的水平寬度XW和豎直寬度YW來指定縮放區(qū)域ZE。因此，可以將中心坐標(biāo)(XC，YC)、水平寬度XW和豎直寬度YW設(shè)定為縮放區(qū)域信息。

另外，例如，在縮放區(qū)域ZE是矩形區(qū)域的情況下，縮放區(qū)域ZE在圖中的左上頂點(diǎn)P12被設(shè)定為起點(diǎn)，并且縮放區(qū)域ZE在圖中的右下頂點(diǎn)P13被設(shè)定為終點(diǎn)，并且也可以使用起點(diǎn)(頂點(diǎn)P12)的坐標(biāo)(X0，Y0)和終點(diǎn)(頂點(diǎn)P13)的坐標(biāo)(X1，Y1)來指定縮放區(qū)域ZE。因此，可以將起點(diǎn)的坐標(biāo)(X0，Y0)和終點(diǎn)的坐標(biāo)(X1，Y1)設(shè)定為縮放區(qū)域信息。

更具體地，將起點(diǎn)的坐標(biāo)(X0，Y0)和終點(diǎn)的坐標(biāo)(X1，Y1)設(shè)定為縮放區(qū)域信息。在這種情況下，例如，可以配置成使得根據(jù)縮放區(qū)域信息存在標(biāo)志的值，將圖4所示的縮放區(qū)域信息存儲(chǔ)在上述縮放區(qū)域信息頭區(qū)段ZHD中，以及將圖5所示的縮放區(qū)域信息存儲(chǔ)在每個(gè)縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

圖4是示出縮放區(qū)域信息存在標(biāo)志的語(yǔ)法的圖。在本示例中，“hasZoomAreaInfo”表示縮放區(qū)域信息存在標(biāo)志，并且縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo的值為“0”和“1”中之一。

此處，在縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo的值為“0”的情況下，表示經(jīng)編碼的內(nèi)容數(shù)據(jù)中不包括縮放區(qū)域信息。與此相反，在縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo的值為“1”的情況下，表示經(jīng)編碼的內(nèi)容數(shù)據(jù)中包括縮放區(qū)域信息。

另外，在縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo的值為“1”的情況下，縮放區(qū)域信息被存儲(chǔ)在每個(gè)幀的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。例如，以圖5所示的語(yǔ)法將縮放區(qū)域信息存儲(chǔ)在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

在圖5中，“ZoomAreaX0”和“ZoomAreaY0”分別表示縮放區(qū)域ZE的起點(diǎn)的X坐標(biāo)X0和Y坐標(biāo)Y0。另外，“ZoomAreaX1”和“ZoomAreaY1”分別表示縮放區(qū)域ZE的終點(diǎn)的X坐標(biāo)X1和Y坐標(biāo)Y1。

例如，在待編碼的內(nèi)容的視頻是8K視頻的情況下，“ZoomAreaX0”和“ZoomAreaX1”的值中的每個(gè)值被設(shè)定為值0至7679中之一，并且“ZoomAreaY0”和“ZoomAreaY1”中的每個(gè)值被設(shè)定為值0至4319中之一。

<縮放區(qū)域信息的具體示例2>

另外，例如，同樣在中心坐標(biāo)(XC，YC)、水平寬度XW和豎直寬度YW被設(shè)定為縮放區(qū)域信息的情況下，圖4所示的縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo被存儲(chǔ)在縮放區(qū)域信息頭區(qū)段ZHD中。當(dāng)縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo的值為“1”時(shí)，縮放區(qū)域信息被存儲(chǔ)在每個(gè)幀的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。在這種情況下，例如，以圖6所示的語(yǔ)法將縮放區(qū)域信息存儲(chǔ)在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

在圖6的情況下，“ZoomAreaXC”和“ZoomAreaYC”分別表示縮放區(qū)域ZE的中心坐標(biāo)(XC，YC)的X坐標(biāo)XC和Y坐標(biāo)YC。

另外，“ZoomAreaXW”和“ZoomAreaYW”分別表示縮放區(qū)域ZE的水平寬度XW和豎直寬度YW。

同樣在本示例中，例如，在待編碼的內(nèi)容的視頻是8K視頻的情況下，“ZoomAreaXC”和“ZoomAreaXW”的值中的每個(gè)值被設(shè)定為值0至7679中之一，并且“ZoomAreaYC”和“ZoomAreaYW”的值中的每個(gè)值被設(shè)定為值0至4319中之一。

<縮放區(qū)域信息的具體示例3>

另外，例如，在使用中心坐標(biāo)(XC，YC)、水平寬度XW和豎直寬度YW來指定縮放區(qū)域并且水平寬度XW和豎直寬度YW被設(shè)定為固定值的情況下，可以只將中心坐標(biāo)(XC，YC)的差作為縮放區(qū)域信息存儲(chǔ)在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

在這種情況下，例如，在設(shè)置在第一幀的數(shù)據(jù)區(qū)段DAF-1中的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD-1中，存儲(chǔ)圖6所示的縮放區(qū)域信息。另外，在設(shè)置在第二幀和隨后幀中的每個(gè)幀的數(shù)據(jù)區(qū)段DAF中的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中，以圖7所示的語(yǔ)法來存儲(chǔ)縮放區(qū)域信息。

在圖7的情況下，“nbits”、“ZoomAreaXCshift”和“ZoomAreaYCshift”被存儲(chǔ)為縮放區(qū)域信息。“nbits”是表示“ZoomAreaXCshift”和“ZoomAreaYCshift”中的每個(gè)的信息的位數(shù)的位數(shù)信息。

另外，“ZoomAreaXCshift”表示作為中心坐標(biāo)(XC，YC)的X坐標(biāo)的XC與預(yù)定基準(zhǔn)值的差。例如，坐標(biāo)XC的基準(zhǔn)值可以是第一幀中的中心坐標(biāo)(XC，YC)的X坐標(biāo)或者當(dāng)前幀的前一幀中的中心坐標(biāo)(XC，YC)的X坐標(biāo)。

“ZoomAreaYCshift”表示作為中心坐標(biāo)(XC，YC)的Y坐標(biāo)的YC與預(yù)定基準(zhǔn)值的差。例如，與坐標(biāo)XC的基準(zhǔn)值類似，坐標(biāo)YC的基準(zhǔn)值可以是第一幀中的中心坐標(biāo)(XC，YC)的Y坐標(biāo)或者當(dāng)前幀的前一幀中的中心坐標(biāo)(XC，YC)的Y坐標(biāo)。

這樣的“ZoomAreaXCshift”和“ZoomAreaYCshift”表示從中心坐標(biāo)(XC，YC)的基準(zhǔn)值的移動(dòng)量。

注意，例如，在中心坐標(biāo)(XC，YC)的基準(zhǔn)值在內(nèi)容的再現(xiàn)側(cè)是已知的情況下，在中心坐標(biāo)(XC，YC)的基準(zhǔn)值被存儲(chǔ)在縮放區(qū)域信息頭區(qū)段ZHD等的情況下，圖7所示的縮放區(qū)域信息可以被存儲(chǔ)在每個(gè)幀的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

<縮放區(qū)域信息的具體示例4>

另外，例如，在使用中心坐標(biāo)(XC，YC)、水平寬度XW和豎直寬度YW來指定縮放區(qū)域并且中心坐標(biāo)(XC，YC)被設(shè)定為固定值的情況下，可以只將差即水平寬度XW和豎直寬度YW的變化量作為縮放區(qū)域信息存儲(chǔ)在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

在這種情況下，例如，在設(shè)置在第一幀的數(shù)據(jù)區(qū)段DAF-1中的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD-1中，存儲(chǔ)圖6所示的縮放區(qū)域信息。另外，在設(shè)置在第二幀和隨后幀的每個(gè)中的數(shù)據(jù)區(qū)段DAF中設(shè)置的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中，以圖8所示的語(yǔ)法來存儲(chǔ)縮放區(qū)域信息。

在圖8中，“nbits”、“ZoomAreaXWshift”和“ZoomAreaYWshift”被存儲(chǔ)為縮放區(qū)域信息?！皀bits”是表示“ZoomAreaXWshift”和“ZoomAreaYWshift”中的每個(gè)的信息的位數(shù)的位數(shù)信息。

另外，“ZoomAreaXWshift”表示相對(duì)于水平寬度XW的預(yù)定基準(zhǔn)值的變化量。例如，水平寬度XW的基準(zhǔn)值可以是第一幀中的水平寬度XW或者當(dāng)前幀的前一幀的水平寬度XW。

“ZoomAreaYWshift”表示相對(duì)于豎直寬度YW的基準(zhǔn)值的變化量。例如，與水平寬度XW的基準(zhǔn)值類似，豎直寬度YW的基準(zhǔn)值可以是第一幀中的豎直寬度YW或者當(dāng)前幀的前一幀的豎直寬度YW。

注意，例如，在水平寬度XW和豎直寬度YW的基準(zhǔn)值在內(nèi)容的再現(xiàn)側(cè)是已知的情況下，在水平寬度XW和豎直寬度YW的基準(zhǔn)值被存儲(chǔ)在縮放區(qū)域信息頭區(qū)段ZHD等中的情況下，圖8所示的縮放區(qū)域信息可以被存儲(chǔ)在每個(gè)幀的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

<縮放區(qū)域信息的具體示例5>

另外，例如，在使用中心坐標(biāo)(XC，YC)、水平寬度XW和豎直寬度YW來指定縮放區(qū)域的情況下，如圖7和圖8中的情況那樣，中心坐標(biāo)(XC，YC)、水平寬度XW和豎直寬度YW的差可以作為縮放區(qū)域信息存儲(chǔ)在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

在這種情況下，例如，在設(shè)置在第一幀的數(shù)據(jù)區(qū)段DAF-1中設(shè)置的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD-1中，存儲(chǔ)圖6所示的縮放區(qū)域信息。另外，在設(shè)置在第二幀和隨后幀中的每個(gè)的數(shù)據(jù)區(qū)段DAF中的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中，以圖9所示的語(yǔ)法來存儲(chǔ)縮放區(qū)域信息。

在圖9的情況下，“nbits”、“ZoomAreaXCshift”、“ZoomAreaYCshift”、“ZoomAreaXWshift”和“ZoomAreaYWshift”被存儲(chǔ)為縮放區(qū)域信息。

“nbits”是表示“ZoomAreaXCshift”、“ZoomAreaYCshift”、“ZoomAreaXWshift”和“ZoomAreaYWshift”中的每個(gè)的信息的位數(shù)的位數(shù)信息。

如圖7中的情況，“ZoomAreaXCshift”和“ZoomAreaYCshift”分別表示與中心坐標(biāo)(XC，YC)的X坐標(biāo)和Y坐標(biāo)的基準(zhǔn)值的差。

另外，如圖8中的情況，“ZoomAreaXWshift”和“ZoomAreaYWshift”分別表示相對(duì)于水平寬度XW和豎直寬度YW的基準(zhǔn)值的變化量。

此處，中心坐標(biāo)(XC，YC)、水平寬度XW和豎直寬度YW的基準(zhǔn)值可以被設(shè)定為第一幀或者當(dāng)前幀的前一幀中的中心坐標(biāo)(XC，YC)、水平寬度XW和豎直寬度YW。此外，在中心坐標(biāo)(XC，YC)、水平寬度XW和豎直寬度YW的基準(zhǔn)值在內(nèi)容的再現(xiàn)側(cè)是已知的情況下，或者在基準(zhǔn)值被存儲(chǔ)在縮放區(qū)域信息頭區(qū)段ZHD中的情況下，圖9所示的縮放區(qū)域信息可以被存儲(chǔ)在每個(gè)幀的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

<縮放區(qū)域信息的具體示例6>

另外，通過將上述圖6至圖9所示的示例進(jìn)行組合，例如，可以以圖10所示的語(yǔ)法將縮放區(qū)域信息存儲(chǔ)每個(gè)縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

在這種情況下，圖4所示的縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo被存儲(chǔ)在縮放區(qū)域信息頭區(qū)段ZHD中。此外，當(dāng)縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo的值為“1”時(shí)，縮放區(qū)域信息被存儲(chǔ)在每個(gè)幀的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。例如，以圖10所示的語(yǔ)法將縮放區(qū)域信息存儲(chǔ)在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

在圖10所示的情況下，在縮放區(qū)域信息的開始處布置了編碼模式信息，編碼模式信息表示圖6至圖9所示的格式中的描述縮放區(qū)域信息(更具體地，指定縮放區(qū)域的位置的信息)的格式。在圖10中，“mode”表示編碼模式信息。

此處，編碼模式信息mode的值被設(shè)定為值0至3中之一。

例如，在編碼模式信息mode的值為“0”的情況下，如圖中的“case0”及以下所示，與圖6所示的示例類似，表示坐標(biāo)XC的“ZoomAreaXC”、表示坐標(biāo)YC的“ZoomAreaYC”、表示水平寬度XW的“ZoomAreaXW”和表示豎直寬度YW的“ZoomAreaYW”被存儲(chǔ)為縮放區(qū)域信息。

另一方面，在編碼模式信息mode的值為“1”的情況下，如圖中的“case 1”及以下所示，類似于圖7所示的示例，表示位數(shù)信息的“nbits”、表示坐標(biāo)XC的差的“ZoomAreaXCshift”和表示坐標(biāo)YC的差的“ZoomAreaYCshift”被存儲(chǔ)為縮放區(qū)域信息。

在編碼模式信息mode的值為“2”的情況下，如圖中的“case 2”及以下所示，與圖8所示的示例類似，表示位數(shù)信息的“nbits”、表示水平寬度XW的變化量的“ZoomAreaXWshift”、表示豎直寬度YW的變化量的“ZoomAreaYWshift”被存儲(chǔ)為縮放區(qū)域信息。

此外，在編碼模式信息mode的值為“3”的情況下，如圖中的“case3”及以下所示，與圖9所示的示例類似，表示位數(shù)信息的“nbits”、表示坐標(biāo)XC的差的“ZoomAreaXCshift”、表示坐標(biāo)YC的差的“ZoomAreaYCshift”、表示水平寬度XW的變化量的“ZoomAreaXWshift”以及表示豎直寬度YW的變化量“ZoomAreaYWshift”被存儲(chǔ)為縮放區(qū)域信息。

<縮放區(qū)域信息的具體示例7>

另外，盡管以上描述了將坐標(biāo)信息存儲(chǔ)為縮放區(qū)域信息的示例，但是可以將指定縮放區(qū)域的角度信息作為縮放區(qū)域信息存儲(chǔ)在每個(gè)縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

例如，如圖11所示，將位于具有與原始區(qū)域OR的中心位置CP相同高度的位置并且與中心位置CP向圖11中的前側(cè)分隔開預(yù)定距離的點(diǎn)設(shè)定為觀看內(nèi)容時(shí)的基準(zhǔn)的觀看點(diǎn)WP。另外，假設(shè)中心位置CP與觀看點(diǎn)WP之間的位置關(guān)系恒定地為相同的位置關(guān)系而與內(nèi)容的幀無關(guān)。注意，在圖11中，相同的附圖標(biāo)記被分配給與圖3所示的情況相對(duì)應(yīng)的部分，并且將適當(dāng)?shù)夭怀尸F(xiàn)其描述。

在圖11中，將連接中心位置CP與觀看點(diǎn)WP的直線設(shè)定為直線L11。另外，將圖中的縮放區(qū)域ZE的左邊的中點(diǎn)設(shè)定為點(diǎn)P21，并且將連接點(diǎn)P21與觀看點(diǎn)WP的直線設(shè)定為直線L12。此外，由直線L11與直線L12形成的夾角被設(shè)定為水平角φ_左。

類似地，將圖中的縮放區(qū)域ZE的右邊的中點(diǎn)設(shè)定為點(diǎn)P22，并且將連接點(diǎn)P22與觀看點(diǎn)WP的直線設(shè)定為直線L13。另外，由直線L11與直線L13形成的夾角被設(shè)定為水平角φ_右。

另外，將具有與圖中的縮放區(qū)域ZE的右邊的中心位置CP相同的Y坐標(biāo)的位置的點(diǎn)設(shè)定為點(diǎn)P23，并且將連接點(diǎn)P23與觀看點(diǎn)WP的直線設(shè)定為為直線L14。另外，將圖中的縮放區(qū)域ZE的右上頂點(diǎn)設(shè)定為點(diǎn)P24，將連接點(diǎn)P24與觀看點(diǎn)WP的直線設(shè)定為直線L15，并且將由直線L14與直線L15形成的夾角設(shè)定為俯仰角θ_頂。

類似地，將圖中的縮放區(qū)域ZE的右下頂點(diǎn)設(shè)定為點(diǎn)P25，將連接點(diǎn)P25與觀看點(diǎn)WP的直線設(shè)定為直線L16，并且將由直線L14與直線L16形成的夾角設(shè)定為俯仰角θ_底。

此時(shí)，可以使用水平角φ_左、水平角φ_右、俯仰角θ_頂和俯仰角θ_底來指定縮放區(qū)域ZE。相應(yīng)地，可以將水平角φ_左、水平角φ_右、俯仰角θ_頂和俯仰角θ_底作為縮放區(qū)域信息存儲(chǔ)在圖2所示的每個(gè)縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。此外，可以將水平角φ_左、水平角φ_右、俯仰角θ_頂和俯仰角θ_底中的一些或全部的變化量設(shè)定為縮放區(qū)域信息。

<縮放區(qū)域信息的具體示例8>

另外，例如，如圖12所示，可以將基于中心位置CP、位于縮放區(qū)域ZE的中心位置處的點(diǎn)P11和觀看點(diǎn)WP之間的位置關(guān)系而確定的角度信息設(shè)定為縮放區(qū)域信息。注意，在圖12中，相同的附圖標(biāo)記被分配給與圖3或圖11所示的情況對(duì)應(yīng)的部分，并且將適當(dāng)?shù)夭怀尸F(xiàn)其描述。

在圖12中，將連接位于縮放區(qū)域ZE的中心位置處的點(diǎn)P11與觀看點(diǎn)WP的直線設(shè)定為直線L21。此外，將具有與位于縮放區(qū)域ZE的中心位置處的點(diǎn)P11相同的X坐標(biāo)并且具有與原始區(qū)域OR的中心位置CP相同的Y坐標(biāo)的點(diǎn)設(shè)定為點(diǎn)P31，并且將連接點(diǎn)P31與觀看點(diǎn)WP的直線設(shè)定為直線L22。

另外，將圖中的縮放區(qū)域ZE的上邊的中點(diǎn)設(shè)定為點(diǎn)P32，將連接點(diǎn)P32與觀看點(diǎn)WP的直線設(shè)定為直線L23，將圖中的縮放區(qū)域ZE的下邊的中點(diǎn)設(shè)定為點(diǎn)P33，并且將連接點(diǎn)P33與觀看點(diǎn)WP的直線設(shè)定為直線L24。

此外，將由直線L12與直線L13形成的夾角設(shè)定為水平視角φ_W，并且將由直線L11與直線L22形成的夾角設(shè)定為水平角φ_C。另外，由直線L23與直線L24形成的夾角設(shè)定為豎直視角θ_W，并且將由直線L21與直線L22形成的夾角設(shè)定為俯仰角θ_C。

此處，水平角φ_C和俯仰角θ_C分別表示從觀看點(diǎn)WP相對(duì)于位于縮放區(qū)域ZE的中心的點(diǎn)P11的水平角和俯仰角。

此時(shí)，可以使用水平視角φ_W、水平角φ_C、豎直視角θ_W和俯仰角θ_C來指定縮放區(qū)域ZE。因此，可以將水平視角φ_W、水平角φ_C、豎直視角θ_W和俯仰角θ_C或者這些角度的變化量作為縮放區(qū)域信息存儲(chǔ)在圖2所示的每個(gè)縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

在這種情況下，例如，圖4所示的縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo被存儲(chǔ)在縮放區(qū)域信息頭區(qū)段ZHD中。此外，當(dāng)縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo的值為“1”時(shí)，縮放區(qū)域信息被存儲(chǔ)在每個(gè)幀的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。例如，以圖13所示的語(yǔ)法將縮放區(qū)域信息存儲(chǔ)在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

在圖13所示的情況下，在縮放區(qū)域信息的開始處布置了編碼模式信息，編碼模式信息表示其中描述縮放區(qū)域信息(更具體地，縮放區(qū)域的位置的信息)的多種格式之中的一種格式。

在圖13中，“mode”表示編碼模式信息，并且編碼模式信息mode的值被設(shè)定為值0至3中之一。

例如，在編碼模式信息mode的值為“0”的情況下，如圖中的“case0”及以下所示，表示水平角φ_C的“ZoomAreaAZC”、表示俯仰角θ_C的“ZoomAreaELC”、表示水平視角φ_W的“ZoomAreaAZW”和表示豎直視角θ_W的“ZoomAreaELW”被存儲(chǔ)為縮放區(qū)域信息。

在編碼模式信息的值為“1”的情況下，如圖中的“case 1”及其以下所示，表示位數(shù)信息的“nbits”、表示水平角φ_C的偏移角度的“ZoomAreaAZCshift”和表示俯仰角θ_C的偏移角度的“ZoomAreaELCshift”被存儲(chǔ)為縮放區(qū)域信息。

此處，位數(shù)信息nbits是表示“ZoomAreaAZCshift”和“ZoomAreaELCshift”中的每個(gè)的信息的位數(shù)的信息。

另外，“ZoomAreaAZCshift”被設(shè)定為當(dāng)前幀的前一幀的水平角φ_C或者作為預(yù)定基準(zhǔn)的水平角φ_C與當(dāng)前幀的水平角φ_C之間的差，“ZoomAreaELCshift”被設(shè)定為當(dāng)前幀的前一幀的俯仰角θ_C或者作為預(yù)定基準(zhǔn)的俯仰角θ_C與當(dāng)前幀的俯仰角θ_C之間的差，等等。

在編碼模式信息mode的值為“2”的情況下，如圖中的“case 2”及以下所示，表示位數(shù)信息的“nbits”、表示水平視角φ_W的變化量的“ZoomAreaAZWshift”和表示豎直視角θ_W的變化量的“ZoomAreaELWshift”被存儲(chǔ)為縮放區(qū)域信息。

此處，位數(shù)信息nbits是表示“ZoomAreaAZWshift”和“ZoomAreaELWshift”中的每個(gè)的信息的位數(shù)的信息。

另外，“ZoomAreaAZWshift”被設(shè)定為當(dāng)前幀的前一幀的水平視角φ_W或者作為預(yù)定基準(zhǔn)的水平視角φ_W與當(dāng)前幀的水平視角φ_W之間的差，“ZoomAreaELWshift”被設(shè)定為當(dāng)前幀的前一幀的豎直視角θ_W或者作為預(yù)定基準(zhǔn)的豎直視角θ_W與當(dāng)前幀的豎直視角θ_W之間的差，等等。

另外，在編碼模式信息mode的值為“3”的情況下，如圖中的“case3”及以下所示，表示位數(shù)信息的“nbits”、表示水平角φ_C的偏移角度的“ZoomAreaAZCshift”、表示俯仰角θ_C的偏移角度的“ZoomAreaELCshift”、表示水平視角φ_W的變化量的“ZoomAreaAZWshift”以及表示豎直視角θ_W的變化量的“ZoomAreaELWshift”被存儲(chǔ)為縮放區(qū)域信息。

在這種情況下，位數(shù)信息nbits是表示“ZoomAreaAZCshift”、“ZoomAreaELCshift”、“ZoomAreaAZWshift”和“ZoomAreaELWshift”中的每個(gè)的信息的位數(shù)的信息。

注意，縮放區(qū)域信息的配置不限于圖13所示的示例，并且可以僅將“ZoomAreaAZC”、“ZoomAreaELC”、“ZoomAreaAZW”和“ZoomAreaELW”設(shè)定為縮放區(qū)域信息。此外，可以將“ZoomAreaAZCshift”和“ZoomAreaELCshift”和“ZoomAreaAZWshift”和“ZoomAreaELWshift”兩側(cè)或僅一側(cè)設(shè)定為縮放區(qū)域信息。

<縮放區(qū)域信息的具體示例9>

另外，盡管以上描述了僅存在一條縮放區(qū)域信息的情況，但是可以將多條縮放區(qū)域信息存儲(chǔ)在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。換言之，通過針對(duì)一個(gè)內(nèi)容指定多個(gè)縮放區(qū)域，可以將縮放區(qū)域信息存儲(chǔ)在每個(gè)縮放區(qū)域的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

在這種情況下，例如，以圖14所示的語(yǔ)法將每個(gè)信息存儲(chǔ)在縮放區(qū)域信息頭區(qū)段ZHD中，并且進(jìn)一步以圖15所示的語(yǔ)法將縮放區(qū)域信息存儲(chǔ)在每個(gè)幀的縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

在圖14所示的示例中，“hasZoomAreaInfo”表示縮放區(qū)域信息存在標(biāo)志。在縮放區(qū)域信息存在標(biāo)志的值為“1”的情況下，“numZoomAreas”被存儲(chǔ)在縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo之后。

此處，“numZoomAreas”表示縮放區(qū)域數(shù)目信息，縮放區(qū)域數(shù)目信息表示在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中描述的縮放區(qū)域信息的條數(shù)，即針對(duì)內(nèi)容設(shè)定的縮放區(qū)域的數(shù)目。在本示例中，縮放區(qū)域數(shù)目信息numZoomAreas的值是值0至15中之一。

在經(jīng)編碼的內(nèi)容數(shù)據(jù)中，縮放區(qū)域信息，更具體地，指定與通過將縮放區(qū)域數(shù)目信息numZoomAreas的值加1而獲得的值對(duì)應(yīng)的每個(gè)縮放區(qū)域的位置的信息被存儲(chǔ)在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

相應(yīng)地，例如，在縮放區(qū)域數(shù)目信息numZoomAreas的值為“0”的情況下，在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中，對(duì)于一個(gè)縮放區(qū)域，存儲(chǔ)指定該縮放區(qū)域的位置的信息。

另外，在縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo的值為“1”的情況下，縮放區(qū)域信息被存儲(chǔ)在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。例如，以圖15所示的語(yǔ)法在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中描述縮放區(qū)域信息。

在圖15所示的示例中，存儲(chǔ)與縮放區(qū)域數(shù)目信息numZoomAreas表示的數(shù)目對(duì)應(yīng)的縮放區(qū)域信息。

在圖15中，“mode[idx]”表示由索引idx指定的縮放區(qū)域的編碼模式信息，并且編碼模式信息mode[idx]的值被設(shè)定為值0至3之一。注意，索引idx是0至numZoomAreas中的每個(gè)值。

例如，在編碼模式信息mode[idx]的值為“0”的情況下，如圖中的“case0”及以下所示，表示坐標(biāo)XC的“ZoomAreaXC[idx]”、表示坐標(biāo)YC的“ZoomAreaYC[idx]”、表示水平寬度XW的“ZoomAreaXW[idx]”、和表示豎直寬度YW的“ZoomAreaYW[idx]”被存儲(chǔ)為由索引idx指定的縮放區(qū)域的縮放區(qū)域信息。

另外，在編碼模式信息mode[idx]的值為“1”的情況下，如圖中的“case1”及以下所示，作為位數(shù)信息的“nbits”、表示坐標(biāo)XC的差的“ZoomAreaXCshift[idx]”和表示坐標(biāo)YC的差的“ZoomAreaYCshift[idx]”被存儲(chǔ)為由索引idx指定的縮放區(qū)域的縮放區(qū)域信息。此處，位數(shù)信息nbits表示“ZoomAreaXCshift[idx]”和“ZoomAreaYCshift[idx]”中的每個(gè)的信息的位數(shù)。

在編碼模式信息mode[idx]的值為“2”的情況下，如圖中的“case 2”及以下所示，表示位數(shù)信息的“nbits”、表示水平寬度XW的變化量的“ZoomAreaXWshift[idx]和表示豎直寬度YW的變化量的“ZoomAreaYWshift[idx]”被存儲(chǔ)為由索引idx指定的縮放區(qū)域的縮放區(qū)域信息。此處，位數(shù)信息nbits表示“ZoomAreaXWshift[idx]”和“ZoomAreaYWshift[idx]”中的每個(gè)的信息的位數(shù)。

此外，在編碼模式信息mode[idx]的值為“3”的情況下，如圖中的“case3”及以下所示，作為位數(shù)信息的“nbits”、表示坐標(biāo)XC的差的“ZoomAreaXCshift[idx]”、表示坐標(biāo)YC的差的“ZoomAreaYCshift[idx]”、表示水平寬度XW的變化量的“ZoomAreaXWshift[idx]”和表示豎直寬度YW的變化量的“ZoomAreaYWshift[idx]”被存儲(chǔ)為由索引idx指定的縮放區(qū)域的縮放區(qū)域信息。此處，位數(shù)信息nbits表示“ZoomAreaXCshift[idx]”、“ZoomAreaYCshift[idx]”、“ZoomAreaXWshift[idx]”和“ZoomAreaYWshift[idx]”中的每個(gè)的信息的位數(shù)。

在圖15所示的示例中，編碼模式信息mode[idx]和與縮放區(qū)域的數(shù)目對(duì)應(yīng)的縮放區(qū)域信息被存儲(chǔ)在縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中。

注意，可替代地，縮放區(qū)域信息可以僅由坐標(biāo)XC和坐標(biāo)YC、水平角φ_C和俯仰角θ_C、坐標(biāo)XC的差和坐標(biāo)YC的差或者水平角φ_C的差和俯仰角θ_C的差構(gòu)成。

在這種情況下，水平寬度XW和豎直寬度YW以及水平視角φ_W和豎直視角θ_W可以在再現(xiàn)側(cè)設(shè)定。此時(shí)，水平寬度XW和豎直寬度YW以及水平視角φ_W和豎直視角θ_W可以在再現(xiàn)側(cè)設(shè)備中自動(dòng)設(shè)定或者可以由用戶指定。

在這樣的示例中，例如，在內(nèi)容是球類運(yùn)動(dòng)的視頻和音頻的情況下，表示球的位置的坐標(biāo)XC和坐標(biāo)YC被設(shè)定為縮放區(qū)域信息，并且固定的或由用戶指定的水平寬度XW和豎直寬度YW在再現(xiàn)側(cè)設(shè)備上使用。

<縮放區(qū)域輔助信息>

另外，在縮放區(qū)域信息頭區(qū)段ZHD中，作為縮放區(qū)域輔助信息，可以包括補(bǔ)充信息，如表示再現(xiàn)目標(biāo)設(shè)備的ID或者縮放目的和其他文本信息。

在這種情況下，在縮放區(qū)域信息頭區(qū)段ZHD中，例如，以圖16所示的語(yǔ)法來存儲(chǔ)縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo和縮放區(qū)域輔助信息。

在圖16所示的示例中，縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo被布置在開始處，并且在縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo的值為“1”的情況下，每個(gè)信息如縮放區(qū)域輔助信息被存儲(chǔ)在其后。

換言之，在本示例中，在縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo之后，存儲(chǔ)了表示縮放區(qū)域信息數(shù)據(jù)區(qū)段ZD中描述的縮放區(qū)域信息的數(shù)目的縮放區(qū)域數(shù)目信息“numZoomAreas”。此處，縮放區(qū)域數(shù)目信息numZoomAreas的值被設(shè)定為值0至15中之一。

另外，在縮放區(qū)域數(shù)目信息numZoomAreas之后，布置了與由縮放區(qū)域數(shù)目信息numZoomAreas表示的數(shù)目對(duì)應(yīng)的索引idx指定的每個(gè)縮放區(qū)域的信息。此處，索引idx被設(shè)定為0至numZoomAreas中的每個(gè)值。

換言之，縮放區(qū)域數(shù)目信息numZoomAreas之后的“hasExtZoomAreaInfo[idx]”表示輔助信息標(biāo)志，輔助信息標(biāo)志表示是否存儲(chǔ)了由索引idx指定的縮放區(qū)域的縮放區(qū)域輔助信息。此處，輔助信息標(biāo)志hasExtZoomAreaInfo[idx]的值被設(shè)定為“0”和“1”中之一。

在輔助信息標(biāo)志hasExtZoomAreaInfo[idx]的值為“0”的情況下，表示由索引idx指定的縮放區(qū)域的縮放區(qū)域輔助信息未被存儲(chǔ)在縮放區(qū)域信息頭區(qū)段ZHD中。與此相反，在輔助信息標(biāo)志hasExtZoomAreaInfo[idx]的值為“1”的情況下，表示由索引idx指定的縮放區(qū)域的縮放區(qū)域輔助信息被存儲(chǔ)在縮放區(qū)域信息頭區(qū)段ZHD中。

在輔助信息標(biāo)志hasExtZoomAreaInfo[idx]的值為“1”的情況下，在輔助信息標(biāo)志hasExtZoomAreaInfo[idx]之后，布置了表示由索引idx指定的縮放區(qū)域的規(guī)格的規(guī)格ID。

另外，“hasZoomAreaCommentary”表示補(bǔ)充信息標(biāo)志，補(bǔ)充信息標(biāo)志表示對(duì)于由索引idx指定的縮放區(qū)域是否存在除了規(guī)格ID以外的新的補(bǔ)充信息，例如包括縮放區(qū)域的描述等的文本信息。

例如，在該補(bǔ)充信息標(biāo)志hasZoomAreaCommentary的值為“0”的情況下，表示不存在補(bǔ)充信息。與此相反，在該補(bǔ)充信息標(biāo)志hasZoomAreaCommentary的值為“1”的情況下，表示存在補(bǔ)充信息，并且在補(bǔ)充信息標(biāo)志hasZoomAreaCommentary之后，布置了作為字節(jié)數(shù)信息的“nbytes”以及作為補(bǔ)充信息的“ZoomAreaCommentary[idx]”。

此處，字節(jié)數(shù)信息nbytes表示補(bǔ)充信息ZoomAreaCommentary[idx]的信息的字節(jié)數(shù)。另外，補(bǔ)充信息ZoomAreaCommentary[idx]被設(shè)定為描述由索引idx指定的縮放區(qū)域的文本信息。

更具體地，例如，假設(shè)內(nèi)容由直播視頻及其音頻構(gòu)成，并且由索引idx指定的縮放區(qū)域是用于對(duì)作為視頻對(duì)象的歌手進(jìn)行連續(xù)縮放的縮放區(qū)域。在這種情況下，例如，文本信息如“歌手縮放”被設(shè)定為補(bǔ)充信息ZoomAreaCommentary[idx]。

在縮放區(qū)域信息頭區(qū)段ZHD中，根據(jù)需要，存儲(chǔ)了與使用縮放區(qū)域數(shù)目信息numZoomAreas表示的數(shù)目對(duì)應(yīng)的下述項(xiàng)的設(shè)定：輔助信息標(biāo)志hasExtZoomAreaInfo[idx]、作為規(guī)格ID的ZoomAreaSpecifiedID[idx]、補(bǔ)充信息標(biāo)志hasZoomAreaCommentary、字節(jié)數(shù)信息nbytes以及補(bǔ)充信息ZoomAreaCommentary[idx]。然而，對(duì)于其輔助信息標(biāo)志hasExtZoomAreaInfo[idx]的值為“0”的縮放區(qū)域，不存儲(chǔ)ZoomAreaSpecifiedID[idx]、補(bǔ)充信息標(biāo)志hasZoomAreaCommentary、字節(jié)數(shù)信息nbytes和補(bǔ)充信息ZoomAreaCommentary[idx]。類似地，對(duì)于其補(bǔ)充信息標(biāo)志hasZoomAreaCommentary的值為“0”的縮放區(qū)域，不存儲(chǔ)字節(jié)數(shù)信息nbytes和補(bǔ)充信息ZoomAreaCommentary[idx]。

另外，作為規(guī)格ID的ZoomAreaSpecifiedID[idx]是表示縮放規(guī)格如用于縮放區(qū)域的再現(xiàn)目標(biāo)設(shè)備和縮放目的的信息，并且例如，如圖17所示，針對(duì)ZoomAreaSpecifiedID[idx]的每個(gè)值設(shè)定縮放規(guī)格。

在本示例中，例如，在ZoomAreaSpecifiedID[idx]的值為“1”的情況下，表示由規(guī)格ID表示的縮放規(guī)格的縮放區(qū)域是假設(shè)再現(xiàn)目標(biāo)設(shè)備為投影儀的縮放區(qū)域。

另外，在ZoomAreaSpecifiedID[idx]的值為2至4的情況下，這些值分別表示由規(guī)格ID表示的縮放規(guī)格的縮放區(qū)域是假設(shè)再現(xiàn)目標(biāo)設(shè)備是具有超過50型、30至50型以及不到30型的屏幕的電視接收機(jī)的縮放區(qū)域。

以這種方式，在圖17所示的示例中，其ZoomAreaSpecifiedID[idx]的值為“1”至“4”中之一的縮放區(qū)域信息是表示針對(duì)每種類型的再現(xiàn)目標(biāo)設(shè)備設(shè)定的縮放區(qū)域的信息。

另外，例如，在ZoomAreaSpecifiedID[idx]的值為“7”的情況下，表示由規(guī)格ID表示的縮放規(guī)格的縮放區(qū)域是假設(shè)再現(xiàn)目標(biāo)設(shè)備為智能電話并且該智能電話的旋轉(zhuǎn)方向?yàn)樨Q直方向的縮放區(qū)域。

此處，智能電話的旋轉(zhuǎn)方向?yàn)樨Q直方向表示在用戶使用智能電話觀看內(nèi)容時(shí)智能電話的方向是豎直方向，即從用戶的角度來看，智能電話的顯示屏的縱向方向是豎直方向(向上/向下的方向)。因此，例如，在ZoomAreaSpecifiedID[idx]的值為“7”的情況下，縮放區(qū)域被認(rèn)為是在豎直方向上較長(zhǎng)的區(qū)域。

另外，例如，在ZoomAreaSpecifiedID[idx]的值為“8”的情況下，表示由規(guī)格ID表示的縮放規(guī)格的縮放區(qū)域是假設(shè)再現(xiàn)目標(biāo)設(shè)備為智能電話并且該智能電話的旋轉(zhuǎn)方向?yàn)樗椒较虻目s放區(qū)域。在這種情況下，例如，縮放區(qū)域被認(rèn)為是在水平方向上較長(zhǎng)的區(qū)域。

以這種方式，在圖17所示的示例中，其ZoomAreaSpecifiedID[idx]的值為“5”至“8”中之一的縮放區(qū)域信息是表示針對(duì)該類型的再現(xiàn)目標(biāo)設(shè)備以及該再現(xiàn)目標(biāo)設(shè)備的旋轉(zhuǎn)方向設(shè)定的縮放區(qū)域的信息。

另外，例如，在ZoomAreaSpecifiedID[idx]的值為“9”的情況下，表示由規(guī)格ID表示的縮放規(guī)格的縮放區(qū)域是具有由內(nèi)容制作者設(shè)定的預(yù)定縮放目的的縮放區(qū)域。此處，預(yù)定縮放目的例如是顯示特定縮放視圖，例如顯示預(yù)定視頻對(duì)象的縮放。

因此，例如，在ZoomAreaSpecifiedID[idx]的值“9”表示為了對(duì)歌手進(jìn)行連續(xù)縮放的縮放規(guī)格的情況下，索引idx的補(bǔ)充信息ZoomAreaCommentary[idx]被設(shè)定為文本信息如“歌手縮放”。用戶可以基于規(guī)格ID或者與規(guī)格ID有關(guān)聯(lián)的信息、規(guī)格ID的補(bǔ)充信息等，獲得由每個(gè)規(guī)格ID表示的縮放規(guī)格的內(nèi)容。

以這種方式，在圖17所示的示例中，其ZoomAreaSpecifiedID[idx]的值為“9”至“15”中之一的每個(gè)縮放區(qū)域信息是表示由內(nèi)容生成者側(cè)自由設(shè)定的任意縮放區(qū)域的信息，例如針對(duì)每個(gè)特定視頻對(duì)象設(shè)定的縮放區(qū)域。

如上所述，通過針對(duì)一個(gè)內(nèi)容設(shè)定一個(gè)或多個(gè)縮放區(qū)域，例如，如圖18所示，可以簡(jiǎn)化的方式提供與用戶的喜好相匹配的內(nèi)容或者適合于每個(gè)再現(xiàn)設(shè)備的內(nèi)容。

在圖18中，圖像Q11示出了預(yù)定內(nèi)容的視頻(圖像)。該內(nèi)容是直播視頻的內(nèi)容，并且圖像Q11是廣角圖像，在圖像Q11中投影了直播的表演者即歌手M11、吉他手M12和貝斯手M13，并且投影了整個(gè)狀態(tài)、觀眾等。

針對(duì)構(gòu)成這樣的內(nèi)容的圖像Q11，內(nèi)容制作者根據(jù)再現(xiàn)目標(biāo)設(shè)備的縮放規(guī)格或縮放目的來設(shè)定一個(gè)或多個(gè)縮放區(qū)域。

例如，為了顯示將作為視頻對(duì)象的歌手M11放大的縮放視圖，在將圖像Q11上的以歌手M11為中心的區(qū)域設(shè)定為縮放區(qū)域的情況下，可以在再現(xiàn)側(cè)將圖像Q12。

類似地，例如，為了顯示將作為視頻對(duì)象的吉他手M12放大的縮放視圖，在將圖像Q11上的以吉他手M12為中心的區(qū)域設(shè)定為縮放區(qū)域的情況下，可以在再現(xiàn)側(cè)將再現(xiàn)圖像Q13再現(xiàn)為內(nèi)容。

另外，例如，通過在再現(xiàn)側(cè)選擇多個(gè)縮放區(qū)域并且通過將這些縮放區(qū)域?qū)R來構(gòu)成一個(gè)屏幕，可以在再現(xiàn)側(cè)將再現(xiàn)圖像Q14再現(xiàn)為內(nèi)容。

在本示例中，圖像Q14由具有略小于圖像Q11的視角的縮放區(qū)域的圖像Q21、具有將歌手M11放大的縮放區(qū)域的圖像Q22、具有將吉他手M12放大的縮放區(qū)域的圖像Q23以及具有將貝斯手M13放大的縮放區(qū)域的圖像Q24構(gòu)成。即圖像Q14具有多畫面配置。在內(nèi)容提供者側(cè)預(yù)先設(shè)定多個(gè)縮放區(qū)域的情況下，在內(nèi)容再現(xiàn)側(cè)，通過選擇若干個(gè)縮放區(qū)域，可以通過采用多畫面配置如圖像Q14來再現(xiàn)內(nèi)容。

另外，例如，在考慮到再現(xiàn)設(shè)備如具有不那么大的顯示屏的平板PC而設(shè)定Q11的視角的一半的視角時(shí)，即將包括圖像Q11的中心的具有整個(gè)圖像Q11的大約一半面積的區(qū)域設(shè)定為縮放區(qū)域的情況下，在再現(xiàn)側(cè)可以再現(xiàn)圖像Q15作為內(nèi)容。在本示例中，在具有不那么大的顯示屏的再現(xiàn)設(shè)備中，也可以以足夠大的尺寸來顯示每個(gè)表演者。

另外，例如，在考慮到其旋轉(zhuǎn)方向是水平方向即顯示屏處于在水平方向上較長(zhǎng)的狀態(tài)的智能電話而將圖像Q11內(nèi)的包括圖像Q11的中心的相對(duì)窄的在水平方向上較長(zhǎng)的區(qū)域設(shè)定為縮放區(qū)域的情況下，可以在再現(xiàn)側(cè)再現(xiàn)圖像Q16作為內(nèi)容。

例如，在考慮到其旋轉(zhuǎn)方向是豎直方向即其顯示屏處于在豎直方向上較長(zhǎng)的狀態(tài)的智能電話而將圖像Q11的中心附近的在豎直方向上較長(zhǎng)的區(qū)域設(shè)定為縮放區(qū)域的情況下，可以在再現(xiàn)側(cè)再現(xiàn)圖像Q17作為內(nèi)容。

在圖像Q17中，作為表演者之一的歌手M11被放大顯示。在本示例中，由于考慮到小的在豎直方向上較長(zhǎng)的顯示屏，而不是顯示沿水平方向布置的所有表演者，因此對(duì)于再現(xiàn)目標(biāo)設(shè)備而言，放大顯示一個(gè)表演者是適當(dāng)?shù)娘@示，因此，設(shè)定這樣的縮放區(qū)域。

另外，例如，考慮到再現(xiàn)設(shè)備具有相對(duì)大的顯示屏如大尺寸電視接收機(jī)，在將視角設(shè)定為略小于圖像Q11的視角的情況下，即在將圖像Q11內(nèi)的包括圖像Q11的中心的相對(duì)大的區(qū)域設(shè)定為縮放區(qū)域的情況下，可以在再現(xiàn)側(cè)再現(xiàn)圖像Q18作為內(nèi)容。

如上所述，通過在內(nèi)容提供者側(cè)設(shè)定縮放區(qū)域并且在再現(xiàn)側(cè)生成包括表示縮放區(qū)域的縮放區(qū)域信息的經(jīng)編碼的內(nèi)容數(shù)據(jù)，作為觀看內(nèi)容的人的用戶可以選擇直接再現(xiàn)內(nèi)容或者基于縮放區(qū)域信息進(jìn)行縮放再現(xiàn)即裁剪再現(xiàn)。

具體地，在存在多條縮放區(qū)域信息的情況下，用戶可以根據(jù)這些多條縮放區(qū)域信息中的特定縮放區(qū)域信息來選擇縮放再現(xiàn)。

另外，在經(jīng)編碼的內(nèi)容數(shù)據(jù)中存儲(chǔ)了縮放區(qū)域輔助信息的情況下，在再現(xiàn)側(cè)，通過參考再現(xiàn)目標(biāo)設(shè)備、縮放目的、縮放規(guī)格如縮放內(nèi)容和輔助信息，可以選擇適合于再現(xiàn)設(shè)備或者用戶的喜好的縮放區(qū)域。對(duì)縮放區(qū)域的選擇可以由用戶指定或者可以由再現(xiàn)設(shè)備自動(dòng)執(zhí)行

<對(duì)編碼處理的描述>

接著，將描述編碼裝置11的具體操作。

當(dāng)構(gòu)成內(nèi)容的視頻數(shù)據(jù)和音頻數(shù)據(jù)以及內(nèi)容的元數(shù)據(jù)從外部提供時(shí)，編碼裝置11執(zhí)行編碼處理并且輸出經(jīng)編碼的內(nèi)容數(shù)據(jù)。在下文中，將參照?qǐng)D19所示的流程圖來描述由編碼裝置11執(zhí)行的編碼處理。

在步驟S11中，視頻數(shù)據(jù)編碼單元21對(duì)所提供的內(nèi)容的視頻數(shù)據(jù)進(jìn)行編碼，并且將作為其結(jié)果獲得的經(jīng)編碼的視頻數(shù)據(jù)提供給多路復(fù)用器24。

在步驟S12中，音頻數(shù)據(jù)編碼單元22對(duì)所提供的內(nèi)容的音頻數(shù)據(jù)進(jìn)行編碼，并且將作為其結(jié)果獲得的經(jīng)編碼的音頻數(shù)據(jù)提供給多路復(fù)用器24。

在步驟S13中，元數(shù)據(jù)編碼單元23對(duì)所提供的內(nèi)容的元數(shù)據(jù)進(jìn)行編碼，并且將作為其結(jié)果獲得的經(jīng)編碼的元數(shù)據(jù)提供給多路復(fù)用器24。

在本文中，例如，在待編碼的元數(shù)據(jù)中包括上述縮放區(qū)域信息?？s放區(qū)域信息例如可以是參照?qǐng)D5至圖10、圖13和圖15等描述的信息以外的任何信息。

另外，元數(shù)據(jù)編碼單元23還根據(jù)需要對(duì)縮放區(qū)域信息的頭信息如縮放區(qū)域信息存在標(biāo)志hasZoomAreaInfo、縮放區(qū)域數(shù)目信息numZoomAreas和縮放區(qū)域輔助信息進(jìn)行編碼，并且將經(jīng)編碼的頭信息提供給多路復(fù)用器24。

在步驟S14中，多路復(fù)用器24通過對(duì)從視頻數(shù)據(jù)編碼單元21提供的經(jīng)編碼的視頻數(shù)據(jù)、從音頻數(shù)據(jù)編碼單元22提供的經(jīng)編碼的音頻數(shù)據(jù)以及從元數(shù)據(jù)編碼單元23提供的經(jīng)編碼的元數(shù)據(jù)進(jìn)行多路復(fù)用來生成比特流，并且將生成的比特流提供給輸出單元25。此時(shí)，多路復(fù)用器24還將從元數(shù)據(jù)編碼單元23提供的縮放區(qū)域信息的經(jīng)編碼的頭信息存儲(chǔ)在比特流中。

因此，例如，可以獲得圖2所示的經(jīng)編碼的內(nèi)容數(shù)據(jù)作為比特流。注意，經(jīng)編碼的內(nèi)容數(shù)據(jù)的縮放區(qū)域信息頭區(qū)段ZHD的配置例如可以是任何配置，如圖4、圖14或圖16所示的配置。

在步驟S15中，輸出單元25輸出從多路復(fù)用器24提供的比特流，并且編碼處理結(jié)束。

如上所述，編碼設(shè)備11將包括縮放區(qū)域信息的元數(shù)據(jù)連同內(nèi)容一起進(jìn)行編碼，從而生成比特流。

以這種方式，通過生成包括用于指定縮放區(qū)域的縮放區(qū)域信息的比特流，而不準(zhǔn)備用于每個(gè)再現(xiàn)設(shè)備的內(nèi)容，可以以簡(jiǎn)化的方式提供與用戶的喜好相匹配的內(nèi)容或者適合于每個(gè)再現(xiàn)設(shè)備的內(nèi)容。

換言之，內(nèi)容制作者可以僅通過指定縮放區(qū)域，而不準(zhǔn)備用于每種喜好或者每個(gè)再現(xiàn)設(shè)備的內(nèi)容，以簡(jiǎn)化的方式來提供被認(rèn)為對(duì)于用戶的喜好、再現(xiàn)設(shè)備的屏幕尺寸、再現(xiàn)設(shè)備的旋轉(zhuǎn)方向等最佳的內(nèi)容。

另外，在再現(xiàn)側(cè)，通過選擇縮放區(qū)域并根據(jù)需要裁剪內(nèi)容，可以觀看對(duì)于用戶的喜好、再現(xiàn)設(shè)備的屏幕尺寸、再現(xiàn)設(shè)備的旋轉(zhuǎn)方向等最佳的內(nèi)容。

<再現(xiàn)裝置的配置的示例>

接著，將描述接收從編碼裝置11輸出的比特流即經(jīng)編碼的內(nèi)容數(shù)據(jù)并且再現(xiàn)該內(nèi)容的再現(xiàn)裝置。

圖20是示出根據(jù)本技術(shù)的實(shí)施方式的再現(xiàn)裝置的配置的示例的圖。

在本示例中，根據(jù)需要，在選擇縮放區(qū)域時(shí)顯示信息的顯示裝置52、輸出內(nèi)容的視頻的視頻輸出裝置53和輸出內(nèi)容的音頻的音頻輸出裝置54連接至再現(xiàn)裝置51。

注意，顯示裝置52、視頻輸出裝置53和音頻輸出裝置54可以被設(shè)置在再現(xiàn)裝置51中。另外，顯示裝置52和視頻輸出裝置53可以是同一裝置。

再現(xiàn)裝置51包括：內(nèi)容數(shù)據(jù)解碼單元61；縮放區(qū)域選擇單元62；視頻數(shù)據(jù)解碼單元63；視頻分割單元64；音頻數(shù)據(jù)解碼單元65；以及音頻轉(zhuǎn)換單元66。

內(nèi)容數(shù)據(jù)解碼單元61接收從編碼裝置11發(fā)送的比特流即經(jīng)編碼的內(nèi)容數(shù)據(jù)，并且從經(jīng)編碼的內(nèi)容數(shù)據(jù)中分離經(jīng)編碼的視頻數(shù)據(jù)、經(jīng)編碼的音頻數(shù)據(jù)和經(jīng)編碼的元數(shù)據(jù)。

內(nèi)容數(shù)據(jù)解碼單元61將經(jīng)編碼的視頻數(shù)據(jù)提供給視頻數(shù)據(jù)解碼單元63，并且將經(jīng)編碼的音頻數(shù)據(jù)提供給音頻數(shù)據(jù)解碼單元65。

內(nèi)容數(shù)據(jù)解碼單元61通過對(duì)經(jīng)編碼的元數(shù)據(jù)進(jìn)行解碼來獲得元數(shù)據(jù)，并且根據(jù)需要將所獲得的元數(shù)據(jù)提供給再現(xiàn)裝置51的每個(gè)單元。另外，在元數(shù)據(jù)中包括縮放區(qū)域信息的情況下，內(nèi)容數(shù)據(jù)解碼單元61將縮放區(qū)域信息提供給縮放區(qū)域選擇單元62。此外，在比特流中存儲(chǔ)了縮放區(qū)域輔助信息的情況下，內(nèi)容數(shù)據(jù)解碼單元61讀取縮放區(qū)域輔助信息，根據(jù)需要對(duì)縮放區(qū)域輔助信息進(jìn)行解碼，并且將得到的縮放區(qū)域輔助信息提供給縮放區(qū)域選擇單元62。

縮放區(qū)域選擇單元62從由內(nèi)容數(shù)據(jù)解碼單元61提供的一條或多條縮放區(qū)域信息中選擇一條縮放區(qū)域信息，并且將所選擇的縮放區(qū)域信息作為選擇縮放區(qū)域信息提供給視頻分割單元64和音頻轉(zhuǎn)換單元66。換言之，在縮放區(qū)域選擇單元62中，基于從內(nèi)容數(shù)據(jù)解碼單元61提供的縮放區(qū)域信息來選擇縮放區(qū)域。

例如，在從內(nèi)容數(shù)據(jù)解碼單元61提供縮放區(qū)域輔助信息的情況下，縮放區(qū)域選擇單元62將縮放區(qū)域輔助信息提供給顯示裝置52以在顯示裝置52上進(jìn)行顯示。以這種方式，例如，在顯示裝置52上顯示下述補(bǔ)充信息作為縮放區(qū)域輔助信息，如縮放區(qū)域的目的和內(nèi)容、表示縮放規(guī)格的規(guī)格ID如再現(xiàn)目標(biāo)設(shè)備等、基于規(guī)格ID的信息和文本信息。

然后，用戶檢查顯示在顯示裝置52上的縮放區(qū)域輔助信息，并且通過操作圖中未示出的輸入單元來選擇期望的縮放區(qū)域?？s放區(qū)域選擇單元62基于根據(jù)從輸入單元提供的用戶的操作的信號(hào)來選擇縮放區(qū)域，并且輸出表示所選擇的縮放區(qū)域的選擇縮放區(qū)域信息。換言之，選擇由用戶指定的縮放區(qū)域的縮放區(qū)域信息，并且輸出所選擇的縮放區(qū)域信息作為選擇縮放區(qū)域信息。

注意，可以使用任何方法來執(zhí)行對(duì)縮放區(qū)域的選擇，例如由縮放區(qū)域選擇單元62根據(jù)縮放區(qū)域信息生成表示每個(gè)縮放區(qū)域的位置和大小的信息，并且將該信息顯示在顯示裝置52上，并且用戶基于該顯示來選擇縮放區(qū)域。

注意，在不執(zhí)行對(duì)縮放區(qū)域的選擇的情況下，即在選擇再現(xiàn)原始內(nèi)容的情況下，選擇縮放區(qū)域信息被設(shè)定為指示不進(jìn)行裁剪等的信息。

此外，例如，在再現(xiàn)裝置51預(yù)先記錄了表示自身設(shè)備的類型如智能電話或電視接收機(jī)的再現(xiàn)設(shè)備信息的情況下，可以通過使用再現(xiàn)設(shè)備信息來選擇縮放區(qū)域信息(縮放區(qū)域)。

在這種情況下，例如，縮放區(qū)域選擇單元62獲得再現(xiàn)設(shè)備信息并通過使用所獲得的再現(xiàn)設(shè)備信息和縮放區(qū)域輔助信息來選擇縮放區(qū)域信息。

更具體地，縮放區(qū)域選擇單元62從規(guī)格ID中選擇表示再現(xiàn)目標(biāo)設(shè)備是由再現(xiàn)設(shè)備信息表示的類型的設(shè)備的規(guī)格ID作為縮放區(qū)域輔助信息。然后，縮放區(qū)域選擇單元62將與所選擇的規(guī)格ID對(duì)應(yīng)的縮放區(qū)域信息，即其索引idx與所選擇的規(guī)格ID相同的縮放區(qū)域信息設(shè)定為所選擇的縮放區(qū)域信息。

另外，例如，在再現(xiàn)裝置51是移動(dòng)裝置如智能電話或平板PC的情況下，縮放區(qū)域選擇單元62可以從圖中未示出的陀螺儀傳感器獲得表示再現(xiàn)裝置51的旋轉(zhuǎn)方向的方向信息等，并且通過使用該方向信息來選擇縮放區(qū)域信息。

在這種情況下，例如，縮放區(qū)域選擇單元62選擇表示再現(xiàn)目標(biāo)設(shè)備是由再現(xiàn)設(shè)備信息表示的類型的設(shè)備的規(guī)格ID，并且假設(shè)的旋轉(zhuǎn)方向是由作為縮放區(qū)域輔助信息的規(guī)格ID中獲得的方向信息表示的方向。然后，縮放區(qū)域選擇單元62將與所選擇的規(guī)格ID對(duì)應(yīng)的縮放區(qū)域信息設(shè)定為所選擇的縮放區(qū)域信息。以這種方式，在用戶以豎直方向(在豎直方向上較長(zhǎng)的屏幕)使用再現(xiàn)裝置51的狀態(tài)以及用戶以水平方向(在水平方向上較長(zhǎng)的屏幕)使用再現(xiàn)裝置51的狀態(tài)這兩種狀態(tài)下，選擇對(duì)于當(dāng)前狀態(tài)最佳的縮放區(qū)域的縮放區(qū)域信息。

注意，除此以外，可以僅使用再現(xiàn)設(shè)備信息和方向信息之一來選擇縮放區(qū)域信息，或者可以使用與再現(xiàn)裝置51有關(guān)的任何其他信息來選擇縮放區(qū)域信息。

視頻數(shù)據(jù)解碼單元63對(duì)從內(nèi)容數(shù)據(jù)解碼單元61提供的經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼，并且將作為其結(jié)果而獲得的視頻數(shù)據(jù)提供給視頻分割單元64。

視頻分割單元64從基于從視頻數(shù)據(jù)解碼單元63提供的視頻數(shù)據(jù)的視頻(圖像)中裁剪(分割)由從縮放區(qū)域選擇單元62提供的選擇縮放區(qū)域信息表示的縮放區(qū)域，并且將作為其結(jié)果而獲得的視頻數(shù)據(jù)輸出給視頻輸出裝置53。

注意，在選擇縮放區(qū)域信息是指示不進(jìn)行裁剪的信息的情況下，視頻分割單元64不對(duì)視頻數(shù)據(jù)執(zhí)行裁剪處理，并且將視頻數(shù)據(jù)直接輸出給視頻輸出裝置53作為縮放視頻數(shù)據(jù)。

音頻數(shù)據(jù)解碼單元65對(duì)從內(nèi)容數(shù)據(jù)解碼單元61提供的經(jīng)編碼的音頻數(shù)據(jù)進(jìn)行解碼，并且將作為其結(jié)果而獲得的音頻數(shù)據(jù)提供給音頻轉(zhuǎn)換單元66。

音頻轉(zhuǎn)換單元66基于從縮放區(qū)域選擇單元62提供的選擇縮放區(qū)域信息，對(duì)從音頻數(shù)據(jù)解碼單元65提供的音頻數(shù)據(jù)執(zhí)行音頻轉(zhuǎn)換處理，并且將作為結(jié)果而獲得的縮放音頻數(shù)據(jù)提供給音頻輸出裝置54。

此處，音頻轉(zhuǎn)換處理是用于適合于對(duì)內(nèi)容的視頻進(jìn)行縮放的音頻再現(xiàn)的轉(zhuǎn)換。

例如，根據(jù)對(duì)縮放區(qū)域的裁剪處理，即對(duì)縮放區(qū)域的分割處理，從視頻內(nèi)部的對(duì)象到成為基準(zhǔn)的觀看點(diǎn)的距離發(fā)生改變。因此，例如，在音頻數(shù)據(jù)是基于對(duì)象的音頻的情況下，音頻轉(zhuǎn)換單元66基于選擇縮放區(qū)域信息將從內(nèi)容數(shù)據(jù)解碼單元61通過音頻數(shù)據(jù)解碼單元65提供的對(duì)象的位置信息轉(zhuǎn)換為元數(shù)據(jù)。換言之，音頻轉(zhuǎn)換單元66基于選擇縮放區(qū)域信息來移動(dòng)作為聲源的對(duì)象的位置，即改變距對(duì)象的距離。

然后，音頻轉(zhuǎn)換單元66基于其中對(duì)象的位置已經(jīng)被移動(dòng)的音頻數(shù)據(jù)來執(zhí)行渲染處理，并且將作為其結(jié)果而獲得的縮放音頻數(shù)據(jù)提供給音頻輸出裝置54，從而再現(xiàn)音頻。

注意，例如，在PCT/JP2014/067508等中詳細(xì)描述了這樣的音頻轉(zhuǎn)換處理。

另外，在選擇縮放區(qū)域信息是指示不進(jìn)行裁剪的信息的情況下，音頻轉(zhuǎn)換單元66不對(duì)音頻數(shù)據(jù)執(zhí)行音頻轉(zhuǎn)換處理，并且將音頻數(shù)據(jù)作為縮放音頻數(shù)據(jù)直接輸出給音頻輸出裝置54。

<對(duì)再現(xiàn)處理的描述>

隨后，將描述再現(xiàn)裝置51的操作。

當(dāng)接收到從編碼裝置11輸出的經(jīng)編碼的內(nèi)容數(shù)據(jù)時(shí)，再現(xiàn)裝置51執(zhí)行其中對(duì)接收到的經(jīng)編碼的內(nèi)容數(shù)據(jù)進(jìn)行解碼的再現(xiàn)處理，并且再現(xiàn)內(nèi)容。在下文中，將參照?qǐng)D21所示的流程圖來描述由再現(xiàn)裝置51執(zhí)行的再現(xiàn)處理。

在步驟S41中，內(nèi)容數(shù)據(jù)解碼單元61從接收到的經(jīng)編碼的內(nèi)容數(shù)據(jù)中分離經(jīng)編碼的視頻數(shù)據(jù)、經(jīng)編碼的音頻數(shù)據(jù)和經(jīng)編碼的元數(shù)據(jù)，并且對(duì)經(jīng)編碼的元數(shù)據(jù)進(jìn)行解碼。

然后，內(nèi)容數(shù)據(jù)解碼單元61將經(jīng)編碼的視頻數(shù)據(jù)提供給視頻數(shù)據(jù)解碼單元63，并且將經(jīng)編碼的音頻數(shù)據(jù)提供給音頻數(shù)據(jù)解碼單元65。另外，內(nèi)容數(shù)據(jù)解碼單元61根據(jù)需要將通過解碼而獲得的元數(shù)據(jù)提供給再現(xiàn)裝置51的每個(gè)單元。

此時(shí)，內(nèi)容數(shù)據(jù)解碼單元61將作為元數(shù)據(jù)獲得的縮放區(qū)域信息提供給縮放區(qū)域選擇單元62。另外，在經(jīng)編碼的內(nèi)容數(shù)據(jù)中存儲(chǔ)了作為元數(shù)據(jù)的頭信息的縮放區(qū)域輔助信息的情況下，內(nèi)容數(shù)據(jù)解碼單元61讀取縮放區(qū)域輔助信息，并且將讀取的縮放區(qū)域輔助信息提供給縮放區(qū)域選擇單元62。例如，作為縮放區(qū)域輔助信息，讀取上述補(bǔ)充信息ZoomAreaCommentary[idx]、作為規(guī)格ID的ZoomAreaSpecifiedID[idx]等。

在步驟S42中，縮放區(qū)域選擇單元62從由內(nèi)容數(shù)據(jù)解碼單元61提供的縮放區(qū)域信息中選擇一條縮放區(qū)域信息，并且根據(jù)選擇結(jié)果將選擇縮放區(qū)域信息提供給視頻分割單元64和音頻轉(zhuǎn)換單元66。

例如，當(dāng)選擇了縮放區(qū)域信息時(shí)，縮放區(qū)域選擇單元62將縮放區(qū)域輔助信息提供給顯示裝置52以在顯示裝置52上進(jìn)行顯示，并且基于由看到了該顯示的用戶的操作輸入提供的信號(hào)來選擇縮放區(qū)域信息。

另外，如上所述，通過不僅使用縮放區(qū)域輔助信息和來自用戶的操作輸入，而且還使用再現(xiàn)設(shè)備信息或方向信息，可以選擇縮放區(qū)域信息。

在步驟S43中，視頻數(shù)據(jù)解碼單元63對(duì)從內(nèi)容數(shù)據(jù)解碼單元61提供的經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼，并且將作為其結(jié)果而獲得的視頻數(shù)據(jù)提供給視頻分割單元64。

在步驟S44中，視頻分割單元64對(duì)于基于從視頻數(shù)據(jù)解碼單元63提供的視頻數(shù)據(jù)的視頻分割(裁剪)由從縮放區(qū)域選擇單元62提供的選擇縮放區(qū)域信息表示的縮放區(qū)域。以這種方式，獲得用于再現(xiàn)由選擇縮放區(qū)域信息表示的縮放區(qū)域的視頻的縮放視頻數(shù)據(jù)。

視頻分割單元64將通過分割而獲得的縮放視頻數(shù)據(jù)提供給視頻輸出裝置53，從而再現(xiàn)經(jīng)裁剪的內(nèi)容的視頻。視頻輸出裝置53基于從視頻分割單元64提供的縮放視頻數(shù)據(jù)來再現(xiàn)(顯示)視頻。

在步驟S45中，音頻數(shù)據(jù)解碼單元65對(duì)從內(nèi)容數(shù)據(jù)解碼單元61提供的經(jīng)編碼的音頻數(shù)據(jù)進(jìn)行解碼，并且將作為其結(jié)果而獲得的音頻數(shù)據(jù)提供給音頻轉(zhuǎn)換單元66。

在步驟S46中，音頻轉(zhuǎn)換單元66基于從縮放區(qū)域選擇單元62提供的選擇縮放區(qū)域信息，對(duì)從音頻數(shù)據(jù)解碼單元65提供的音頻數(shù)據(jù)執(zhí)行音頻轉(zhuǎn)換處理。另外，音頻轉(zhuǎn)換單元66將通過音頻轉(zhuǎn)換處理而獲得的縮放音頻數(shù)據(jù)提供給音頻輸出裝置54，從而輸出音頻。音頻輸出裝置54基于從音頻轉(zhuǎn)換單元66提供的縮放音頻數(shù)據(jù)來再現(xiàn)執(zhí)行過音頻轉(zhuǎn)換處理的內(nèi)容的音頻，并且再現(xiàn)處理結(jié)束。

注意，更具體地，步驟S43和S44的處理以及步驟S45和S46的處理被相互并行地執(zhí)行。

如上所述，再現(xiàn)裝置51選擇適當(dāng)?shù)目s放區(qū)域信息，根據(jù)選擇的結(jié)果基于選擇縮放區(qū)域信息來執(zhí)行視頻數(shù)據(jù)的裁剪和對(duì)音頻數(shù)據(jù)的音頻轉(zhuǎn)換處理，并且再現(xiàn)內(nèi)容。

以這種方式，通過選擇縮放區(qū)域信息，可以以簡(jiǎn)化的方式來再現(xiàn)被適當(dāng)?shù)夭眉舨⑶揖哂薪?jīng)轉(zhuǎn)換的音頻的內(nèi)容，例如與用戶的喜好相匹配的內(nèi)容或者適合于再現(xiàn)裝置51的顯示屏的大小、再現(xiàn)裝置51的旋轉(zhuǎn)方向等的內(nèi)容。另外，在用戶基于由顯示裝置52呈現(xiàn)的縮放區(qū)域輔助信息來選擇縮放區(qū)域的情況下，用戶可以以簡(jiǎn)化的方式選擇期望的縮放區(qū)域。

注意，在參照?qǐng)D21描述的再現(xiàn)處理中，雖然描述了其中基于選擇縮放區(qū)域信息來執(zhí)行對(duì)構(gòu)成內(nèi)容的視頻的裁剪和對(duì)構(gòu)成內(nèi)容的音頻的音頻轉(zhuǎn)換處理二者的情況，但是可以僅執(zhí)行其中之一。

另外，同樣在內(nèi)容僅由視頻或音頻構(gòu)成的情況下，仍對(duì)這樣的視頻或音頻執(zhí)行裁剪或音頻轉(zhuǎn)換處理，并且可以再現(xiàn)視頻或音頻。

例如，同樣在內(nèi)容僅由音頻構(gòu)成的情況下，通過選擇表示待縮放的區(qū)域的縮放區(qū)域信息并且根據(jù)所選擇的縮放區(qū)域信息通過音頻轉(zhuǎn)換處理來改變距聲源對(duì)象的距離等，可以實(shí)現(xiàn)對(duì)適合于用戶的喜好、再現(xiàn)設(shè)備等的的內(nèi)容的再現(xiàn)。

<第二實(shí)施方式>

<再現(xiàn)裝置的配置的示例>

注意，雖然以上描述了由視頻分割單元64根據(jù)一條選擇縮放區(qū)域信息從內(nèi)容的視頻中裁剪縮放區(qū)域的示例，但是可以被配置成選擇多個(gè)縮放區(qū)域，并且以多屏幕布置來輸出這樣的多個(gè)縮放區(qū)域。

在這種情況下，例如，再現(xiàn)裝置51被配置成如圖22所示。注意，在圖22中，相同的附圖標(biāo)記被分配給與圖20所示的情況對(duì)應(yīng)的部分，并且將適當(dāng)?shù)夭怀尸F(xiàn)其描述。

圖22所示的再現(xiàn)裝置51包括：內(nèi)容數(shù)據(jù)解碼單元61；縮放區(qū)域選擇單元62；視頻數(shù)據(jù)解碼單元63；視頻分割單元64；視頻布置單元91；音頻數(shù)據(jù)解碼單元65；以及音頻轉(zhuǎn)換單元66。

圖22所示的再現(xiàn)裝置51的配置與圖20所示的再現(xiàn)裝置51的不同之處在于：在視頻分割單元64的后一級(jí)處新設(shè)置了視頻布置單元91，并且在其他方面與圖20所示的再現(xiàn)裝置51的配置相同。

在本示例中，縮放區(qū)域選擇單元62選擇一條或更多條縮放區(qū)域信息，并且將這樣的縮放區(qū)域信息提供給視頻分割單元64作為選擇縮放區(qū)域信息。另外，縮放區(qū)域選擇單元62選擇一條縮放區(qū)域信息，并且將該縮放區(qū)域信息提供給音頻轉(zhuǎn)換單元66作為選擇縮放區(qū)域信息。

注意，與圖20所示的再現(xiàn)裝置51中的情況一樣，由縮放區(qū)域選擇單元62執(zhí)行的對(duì)縮放區(qū)域信息的選擇可以根據(jù)用戶的輸入操作來執(zhí)行，或者可以基于縮放區(qū)域輔助信息、再現(xiàn)設(shè)備信息、方向信息等來執(zhí)行。

此外，作為提供給音頻轉(zhuǎn)換單元66的選擇縮放區(qū)域信息的縮放區(qū)域信息可以根據(jù)用戶的輸入操作來選擇，或者可以是布置在預(yù)定位置處的縮放區(qū)域信息，如經(jīng)編碼的內(nèi)容數(shù)據(jù)的開始位置。除此之外，縮放區(qū)域信息可以是具有代表性縮放區(qū)域如具有最大尺寸的縮放區(qū)域的縮放區(qū)域信息。

視頻分割單元64從基于從視頻數(shù)據(jù)解碼單元63提供的視頻數(shù)據(jù)的視頻(圖像)中裁剪由從縮放區(qū)域選擇單元62提供的一條或更多條選擇縮放區(qū)域信息中的每一條表示的縮放區(qū)域，從而生成每個(gè)縮放區(qū)域的縮放視頻數(shù)據(jù)。另外，視頻分割單元64將通過裁剪而獲得的每個(gè)縮放區(qū)域的縮放視頻數(shù)據(jù)提供給視頻布置單元91。

注意，視頻分割單元64可以將未被裁剪的視頻數(shù)據(jù)作為一條縮放視頻數(shù)據(jù)直接提供給視頻布置單元91。

視頻布置單元91基于從視頻分割單元64提供的一條或更多條縮放視頻數(shù)據(jù)生成以基于在多個(gè)屏幕上布置的這樣的多屏幕視頻數(shù)據(jù)的視頻來再現(xiàn)的多屏幕視頻數(shù)據(jù)，并且將所生成的多屏幕視頻數(shù)據(jù)提供給視頻輸出裝置53。此處，基于多屏幕視頻數(shù)據(jù)來再現(xiàn)的視頻例如類似于圖18所示的圖像Q14是這樣的視頻：其中所選擇的縮放區(qū)域的視頻(圖像)被布置為對(duì)齊。

另外，音頻轉(zhuǎn)換單元66基于從縮放區(qū)域選擇單元62提供的選擇縮放區(qū)域信息，對(duì)從音頻數(shù)據(jù)解碼單元65提供的音頻數(shù)據(jù)執(zhí)行音頻轉(zhuǎn)換處理，并且將作為其結(jié)果而獲得的縮放音頻數(shù)據(jù)作為多屏幕布置的代表性音頻的音頻數(shù)據(jù)提供給音頻輸出裝置54。另外，音頻轉(zhuǎn)換單元66可以將從音頻數(shù)據(jù)解碼單元65提供的音頻數(shù)據(jù)作為代表性音頻的音頻數(shù)據(jù)(縮放音頻數(shù)據(jù))直接提供給音頻輸出裝置54。

<對(duì)再現(xiàn)處理的描述>

接著，將參照?qǐng)D23所示的流程圖來描述由圖22所示的再現(xiàn)裝置51執(zhí)行的再現(xiàn)處理。注意，步驟S71的處理與圖21所示的步驟S41的處理類似，因此省略其說明。

在步驟S72中，縮放區(qū)域選擇單元62從由內(nèi)容數(shù)據(jù)解碼單元61提供的縮放區(qū)域信息中選擇一條或多條縮放區(qū)域信息，并且根據(jù)選擇結(jié)果將選擇縮放區(qū)域信息提供給視頻分割單元64。

注意，除了所選擇的縮放區(qū)域信息的數(shù)目不同之外，這里描述的選擇縮放區(qū)域信息的處理基本上類似于圖21所示的步驟S42的處理。

另外，縮放區(qū)域選擇單元62從內(nèi)容數(shù)據(jù)解碼單元61提供的縮放區(qū)域信息中選擇一個(gè)代表性縮放區(qū)域的縮放區(qū)域信息，并且根據(jù)選擇結(jié)果將選擇縮放區(qū)域信息提供給音頻轉(zhuǎn)換單元66。此處，提供給音頻轉(zhuǎn)換單元66的選擇縮放區(qū)域信息與提供給視頻分割單元64的一條或更多條選擇縮放區(qū)域信息中的一條相同。

當(dāng)選擇了縮放區(qū)域信息時(shí)，此后，執(zhí)行步驟S73和S74的處理，并且執(zhí)行對(duì)經(jīng)編碼的視頻數(shù)據(jù)的解碼和從視頻裁剪縮放區(qū)域。然而，這樣的處理類似于圖21所示的步驟S43和S44的處理，因此省略其說明。然而，在步驟S74中，對(duì)于一條或更多條選擇縮放區(qū)域信息中的每一條，執(zhí)行從基于視頻數(shù)據(jù)的視頻中的由選擇縮放區(qū)域信息表示的縮放區(qū)域的裁剪(分割)，并且將每個(gè)縮放區(qū)域的縮放視頻數(shù)據(jù)提供給視頻布置單元91。

在步驟S75中，視頻布置單元91基于從視頻分割單元64提供的一條或更多條縮放視頻數(shù)據(jù)來執(zhí)行視頻布置處理。換言之，視頻布置單元91基于一條或多條縮放視頻數(shù)據(jù)來生成多屏幕視頻數(shù)據(jù)，并且將所生成的多屏幕視頻數(shù)據(jù)提供給視頻輸出裝置53，從而再現(xiàn)內(nèi)容的每個(gè)縮放區(qū)域的視頻。視頻輸出裝置53基于從視頻布置單元91提供的多屏幕視頻數(shù)據(jù)來再現(xiàn)(顯示)布置在多個(gè)屏幕中的視頻。例如，在選擇了多個(gè)縮放區(qū)域的情況下，以類似于圖18所示的圖像Q14的多屏幕配置來再現(xiàn)內(nèi)容。

當(dāng)執(zhí)行了視頻布置處理時(shí)，此后，執(zhí)行步驟S76和S77的處理，并且再現(xiàn)處理結(jié)束。然而，這種處理類似于圖21所示的步驟S45和S46的處理，因此省略其說明。

如上所述，再現(xiàn)裝置51選擇一條或多條縮放區(qū)域信息，根據(jù)選擇的結(jié)果，基于選擇縮放區(qū)域信息來執(zhí)行對(duì)視頻數(shù)據(jù)的裁剪和對(duì)音頻數(shù)據(jù)的音頻轉(zhuǎn)換處理，并且再現(xiàn)內(nèi)容。

以這種方式，通過選擇一條或多條縮放區(qū)域信息，可以以簡(jiǎn)化的方式來再現(xiàn)適當(dāng)?shù)膬?nèi)容，例如與用戶的喜好相匹配的內(nèi)容或者適合于再現(xiàn)裝置51的顯示屏的大小的內(nèi)容等。特別地，在選擇了多條縮放區(qū)域信息的情況下，可以在與用戶的喜好等相匹配的多屏幕顯示中再現(xiàn)內(nèi)容視頻。

另外，在用戶基于由顯示裝置52呈現(xiàn)的縮放區(qū)域輔助信息來選擇縮放區(qū)域的情況下，用戶可以以簡(jiǎn)化的方式選擇期望的縮放區(qū)域。

<第三實(shí)施方式>

<再現(xiàn)裝置的配置的示例>

另外，在通過網(wǎng)絡(luò)發(fā)送上述內(nèi)容的情況下，再現(xiàn)側(cè)設(shè)備可以被配置成有效地接收僅對(duì)于所選擇的縮放區(qū)域的再現(xiàn)所必需的數(shù)據(jù)。在這種情況下，例如，再現(xiàn)裝置被配置成如圖24所示。注意，在圖24中，相同的附圖標(biāo)記被分配給與圖20所示的情況對(duì)應(yīng)的部分，并且將適當(dāng)?shù)夭怀尸F(xiàn)其描述。

在圖24所示的情況下，再現(xiàn)內(nèi)容的再現(xiàn)裝置121從其中記錄內(nèi)容和元數(shù)據(jù)的內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122接收對(duì)期望的經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)的提供。換言之，內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122以編碼狀態(tài)或未編碼狀態(tài)記錄內(nèi)容和內(nèi)容的元數(shù)據(jù)，并且響應(yīng)于來自再現(xiàn)裝置121的請(qǐng)求來分發(fā)內(nèi)容。

在本示例中，再現(xiàn)裝置121包括：通信單元131；元數(shù)據(jù)解碼單元132；視頻/音頻數(shù)據(jù)解碼單元133；縮放區(qū)域選擇單元62；視頻數(shù)據(jù)解碼單元63；視頻分割單元64；音頻數(shù)據(jù)解碼單元65；以及音頻轉(zhuǎn)換單元66。

通信單元131通過網(wǎng)絡(luò)向內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122發(fā)送各種類型的數(shù)據(jù)以及從內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122接收各種類型的數(shù)據(jù)。

例如，通信單元131從內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122接收經(jīng)編碼的元數(shù)據(jù)，并且將接收到的經(jīng)編碼的元數(shù)據(jù)提供給元數(shù)據(jù)解碼單元132，或者從內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122接收經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)，并且將接收到的數(shù)據(jù)提供給視頻/音頻數(shù)據(jù)解碼單元133。此外，通信單元131將從縮放區(qū)域選擇單元62提供的選擇縮放區(qū)域信息發(fā)送給內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122。

元數(shù)據(jù)解碼單元132通過對(duì)從通信單元131提供的經(jīng)編碼的元數(shù)據(jù)進(jìn)行解碼來獲得元數(shù)據(jù)，并且根據(jù)需要將所獲得的元數(shù)據(jù)提供給再現(xiàn)裝置121的每個(gè)單元。

另外，在元數(shù)據(jù)中包括縮放區(qū)域信息的情況下，元數(shù)據(jù)解碼單元132將縮放區(qū)域信息提供給縮放區(qū)域選擇單元62。此外，在從內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122接收到縮放區(qū)域輔助信息的情況下，元數(shù)據(jù)解碼單元132將縮放區(qū)域輔助信息提供給縮放區(qū)域選擇單元62。

當(dāng)從通信單元131提供了經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)時(shí)，視頻/音頻數(shù)據(jù)解碼單元133將經(jīng)編碼的視頻數(shù)據(jù)提供給視頻數(shù)據(jù)解碼單元63，并且將經(jīng)編碼的音頻數(shù)據(jù)提供給音頻數(shù)據(jù)解碼單元65，

<對(duì)再現(xiàn)處理的描述>

隨后，將描述再現(xiàn)裝置121的操作。

再現(xiàn)裝置121請(qǐng)求內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122發(fā)送經(jīng)編碼的元數(shù)據(jù)。然后，當(dāng)從內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122發(fā)送經(jīng)編碼的元數(shù)據(jù)時(shí)，再現(xiàn)裝置121通過執(zhí)行再現(xiàn)處理來再現(xiàn)內(nèi)容。在下文中，將參照?qǐng)D25所示的流程圖來描述由再現(xiàn)裝置121執(zhí)行的再現(xiàn)處理。

在步驟S101中，通信單元131接收從內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122發(fā)送的經(jīng)編碼的元數(shù)據(jù)，并且將接收到的元數(shù)據(jù)提供給元數(shù)據(jù)解碼單元132。注意，更具體地，通信單元131還根據(jù)需要從內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122接收元數(shù)據(jù)的頭信息如縮放區(qū)域數(shù)目信息和縮放區(qū)域輔助信息，并且將接收到的頭信息提供給元數(shù)據(jù)解碼單元132。

在步驟S102中，元數(shù)據(jù)解碼單元132對(duì)從通信單元131提供的經(jīng)編碼的元數(shù)據(jù)進(jìn)行解碼，并且根據(jù)需要將通過解碼而獲得的元數(shù)據(jù)提供給再現(xiàn)裝置121的每個(gè)單元。另外，元數(shù)據(jù)解碼單元132將作為元數(shù)據(jù)而獲得的縮放區(qū)域信息提供給縮放區(qū)域選擇單元62，并且在作為元數(shù)據(jù)的頭信息的縮放區(qū)域輔助信息存在的情況下，還將縮放區(qū)域輔助信息提供給縮放區(qū)域選擇單元62。

以這種方式，在獲得了元數(shù)據(jù)的情況下，隨后，通過執(zhí)行步驟S103的處理來選擇縮放區(qū)域信息。然而，步驟S103的處理類似于圖21所示的步驟S42的處理，因此省略對(duì)其的說明。然而，在步驟S103中，通過選擇縮放區(qū)域信息而獲得的選擇縮放區(qū)域信息被提供給視頻分割單元64、音頻轉(zhuǎn)換單元66和通信單元131。

在步驟S104中，通信單元131通過網(wǎng)絡(luò)將從縮放區(qū)域選擇單元62提供的選擇縮放區(qū)域信息發(fā)送給內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122。

已經(jīng)接收到選擇縮放區(qū)域信息的內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122針對(duì)記錄的內(nèi)容的視頻數(shù)據(jù)進(jìn)行由選擇縮放區(qū)域信息表示的縮放區(qū)域的裁剪(分割)，從而生成縮放視頻數(shù)據(jù)。以這種方式獲得的縮放視頻數(shù)據(jù)是對(duì)原始內(nèi)容的整個(gè)視頻中僅由選擇縮放區(qū)域信息表示的縮放區(qū)域進(jìn)行再現(xiàn)的視頻數(shù)據(jù)。

內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122將構(gòu)成內(nèi)容的通過對(duì)縮放視頻數(shù)據(jù)進(jìn)行編碼而獲得的經(jīng)編碼的視頻數(shù)據(jù)和對(duì)音頻數(shù)據(jù)進(jìn)行編碼而獲得的經(jīng)編碼的音頻數(shù)據(jù)發(fā)送給再現(xiàn)裝置121。

注意，在內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122中，可以預(yù)先準(zhǔn)備每個(gè)縮放區(qū)域的縮放視頻數(shù)據(jù)。另外，在內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122中，關(guān)于構(gòu)成內(nèi)容的音頻數(shù)據(jù)，雖然通常將所有音頻數(shù)據(jù)編碼，并且與所選擇的縮放區(qū)域無關(guān)地輸出經(jīng)編碼的音頻數(shù)據(jù)，但是可以被配置成僅輸出音頻數(shù)據(jù)中的一部分的經(jīng)編碼的音頻數(shù)據(jù)。例如，在構(gòu)成內(nèi)容的音頻數(shù)據(jù)是每個(gè)對(duì)象的音頻數(shù)據(jù)的情況下，可以僅對(duì)由選擇縮放區(qū)域信息表示的縮放區(qū)域內(nèi)的對(duì)象的音頻數(shù)據(jù)進(jìn)行編碼，并且將其發(fā)送給再現(xiàn)裝置121。

在步驟S105中，通信單元131接收從內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122發(fā)送的經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)，并且將經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)提供給視頻/音頻數(shù)據(jù)解碼單元133。另外，視頻/音頻數(shù)據(jù)解碼單元133將從通信單元131提供的經(jīng)編碼的視頻數(shù)據(jù)提供給視頻數(shù)據(jù)解碼單元63，并且將從通信單元131提供的經(jīng)編碼的音頻數(shù)據(jù)提供給音頻數(shù)據(jù)解碼單元65。

當(dāng)獲得了經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)時(shí)，此后，執(zhí)行步驟S106至S109的處理，并且再現(xiàn)處理結(jié)束。然而，這樣的處理類似于圖21所示的步驟S43至S46的處理，因此省略其說明。

然而，由于由視頻數(shù)據(jù)解碼單元63對(duì)經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼所獲得的信號(hào)是已經(jīng)被裁剪的縮放視頻數(shù)據(jù)，因此基本上不由視頻分割單元64進(jìn)行裁剪處理。僅在需要另外裁剪的情況下，視頻分割單元64基于從縮放區(qū)域選擇單元62提供的選擇縮放區(qū)域信息，對(duì)從視頻數(shù)據(jù)解碼單元63提供的縮放視頻數(shù)據(jù)進(jìn)行裁剪。

以這種方式，當(dāng)由視頻輸出裝置53和音頻輸出裝置54基于縮放視頻數(shù)據(jù)和縮放音頻數(shù)據(jù)來再現(xiàn)內(nèi)容時(shí)，再現(xiàn)根據(jù)所選擇的縮放區(qū)域的內(nèi)容，例如如圖18所示的內(nèi)容。

如上所述，再現(xiàn)裝置121選擇適當(dāng)?shù)目s放區(qū)域信息，根據(jù)選擇結(jié)果將選擇縮放區(qū)域信息發(fā)送給內(nèi)容數(shù)據(jù)分發(fā)服務(wù)器122，并且接收經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)。

以這種方式，通過接收根據(jù)選擇縮放區(qū)域信息的經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)，可以以簡(jiǎn)化的方式來再現(xiàn)適當(dāng)?shù)膬?nèi)容，如與用戶的喜好相匹配的內(nèi)容或者適合于再現(xiàn)裝置121的顯示屏的大小、再現(xiàn)裝置121的旋轉(zhuǎn)方向等的內(nèi)容。此外，可以有效地僅獲得內(nèi)容中的需要被再現(xiàn)的數(shù)據(jù)。

<第四實(shí)施方式>

<再現(xiàn)裝置的配置的示例>

另外，以上描述了在經(jīng)編碼的內(nèi)容數(shù)據(jù)中包括縮放區(qū)域信息的示例。然而，例如，可以根據(jù)在網(wǎng)絡(luò)如因特網(wǎng)上公開的縮放區(qū)域信息或者在預(yù)定記錄介質(zhì)上記錄的縮放區(qū)域信息，即以縮放區(qū)域信息與內(nèi)容分開的方式來裁剪和再現(xiàn)內(nèi)容。在這種情況下，例如，可以通過獲得不僅由內(nèi)容制作者而且由內(nèi)容制作者以外的第三方即其他用戶生成的縮放區(qū)域信息來執(zhí)行剪裁再現(xiàn)。

以這種方式，在單獨(dú)獲得內(nèi)容以及包括縮放區(qū)域信息的元數(shù)據(jù)的情況下，例如，再現(xiàn)裝置被配置成如圖26所示。注意，在圖26中，相同的附圖標(biāo)記被分配給與圖20所示的情況對(duì)應(yīng)的部分，并且將適當(dāng)?shù)夭怀尸F(xiàn)其描述。

圖26所示的再現(xiàn)裝置161包括：元數(shù)據(jù)解碼單元171；內(nèi)容數(shù)據(jù)解碼單元172；縮放區(qū)域選擇單元62；視頻數(shù)據(jù)解碼單元63；視頻分割單元64；音頻數(shù)據(jù)解碼單元65；以及音頻轉(zhuǎn)換單元66。

元數(shù)據(jù)解碼單元171例如從網(wǎng)絡(luò)上的裝置、連接至再現(xiàn)裝置161的記錄介質(zhì)等獲得包括縮放區(qū)域信息的元數(shù)據(jù)的經(jīng)編碼的元數(shù)據(jù)，并且對(duì)獲得的經(jīng)編碼的元數(shù)據(jù)進(jìn)行解碼。

另外，元數(shù)據(jù)解碼單元171根據(jù)需要將通過對(duì)經(jīng)編碼的元數(shù)據(jù)進(jìn)行解碼而獲得的元數(shù)據(jù)提供給再現(xiàn)裝置161的每個(gè)單元，并且將包括在元數(shù)據(jù)中的縮放區(qū)域信息提供給縮放區(qū)域選擇單元62。此外，單元171根據(jù)需要連同經(jīng)編碼的元數(shù)據(jù)一起獲得元數(shù)據(jù)的頭信息如縮放區(qū)域輔助信息，并且將獲得的頭信息提供給縮放區(qū)域選擇單元62。

內(nèi)容數(shù)據(jù)解碼單元172例如從網(wǎng)絡(luò)上的裝置、連接至再現(xiàn)裝置161的記錄介質(zhì)等獲得內(nèi)容的經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)。另外，內(nèi)容數(shù)據(jù)解碼單元172將獲得的經(jīng)編碼的視頻數(shù)據(jù)提供給視頻數(shù)據(jù)解碼單元63，并且將獲得的經(jīng)編碼的音頻數(shù)據(jù)提供給音頻數(shù)據(jù)解碼單元65.注意，在本示例中，經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)以及經(jīng)編碼的元數(shù)據(jù)是從相互不同的裝置、記錄介質(zhì)等獲得的。

<對(duì)再現(xiàn)處理的描述>

隨后，將描述再現(xiàn)裝置161的操作。

當(dāng)指示再現(xiàn)內(nèi)容時(shí)，再現(xiàn)裝置161執(zhí)行獲得經(jīng)編碼的元數(shù)據(jù)和經(jīng)編碼的內(nèi)容的再現(xiàn)處理，并且再現(xiàn)內(nèi)容。在下文中，將參照?qǐng)D27所示的流程圖來描述由再現(xiàn)裝置161執(zhí)行的再現(xiàn)處理。

在步驟S131中，元數(shù)據(jù)解碼單元171例如從網(wǎng)絡(luò)上的裝置、連接至再現(xiàn)裝置161的記錄介質(zhì)等獲得包括縮放區(qū)域信息的經(jīng)編碼的元數(shù)據(jù)。注意，可以在再現(xiàn)處理開始之前預(yù)先獲得經(jīng)編碼的元數(shù)據(jù)。

在步驟S132中，元數(shù)據(jù)解碼單元171對(duì)獲得的經(jīng)編碼的元數(shù)據(jù)進(jìn)行解碼，并且根據(jù)需要將作為其結(jié)果而獲得的元數(shù)據(jù)提供給再現(xiàn)裝置161的每個(gè)單元。另外，元數(shù)據(jù)解碼單元171將包括在元數(shù)據(jù)中的縮放區(qū)域信息提供給縮放區(qū)域選擇單元62，并且還根據(jù)需要將元數(shù)據(jù)的頭信息如縮放區(qū)域輔助信息提供給縮放區(qū)域選擇單元62。

當(dāng)通過解碼獲得元數(shù)據(jù)時(shí)，執(zhí)行步驟S133的處理，并且選擇縮放區(qū)域信息。然而，步驟S133的處理類似于圖21所示的步驟S42的處理，因此省略其說明。

在步驟S134中，內(nèi)容數(shù)據(jù)解碼單元172例如從網(wǎng)絡(luò)上的裝置、連接至再現(xiàn)裝置161的記錄介質(zhì)等獲得內(nèi)容的經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)。另外，內(nèi)容數(shù)據(jù)解碼單元172將獲得的經(jīng)編碼的視頻數(shù)據(jù)提供給視頻數(shù)據(jù)解碼單元63，并且將獲得的經(jīng)編碼的音頻數(shù)據(jù)提供給音頻數(shù)據(jù)解碼單元65。

以這種方式，當(dāng)獲得了內(nèi)容的經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)時(shí)，此后，執(zhí)行步驟S135至S138的處理，并且再現(xiàn)處理結(jié)束。然而，這樣的處理類似于圖21所示的步驟S43至S46的處理，因此省略其描述。

如上，再現(xiàn)裝置161單獨(dú)地獲得內(nèi)容的經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)以及包括縮放區(qū)域信息的經(jīng)編碼的元數(shù)據(jù)。然后，再現(xiàn)裝置161選擇適當(dāng)?shù)目s放區(qū)域信息，并且根據(jù)選擇的結(jié)果基于選擇縮放區(qū)域信息執(zhí)行對(duì)視頻數(shù)據(jù)的裁剪和對(duì)音頻數(shù)據(jù)的音頻轉(zhuǎn)換處理，并且再現(xiàn)內(nèi)容。

以這種方式，通過從經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)單獨(dú)獲得包括縮放區(qū)域信息的經(jīng)編碼的元數(shù)據(jù)，可以裁剪和再現(xiàn)不僅由內(nèi)容制作者設(shè)定的而且由其他用戶等設(shè)定的縮放區(qū)域。

同時(shí)，上述一系列處理可以通過硬件或軟件來執(zhí)行。在通過軟件執(zhí)行一系列處理的情況下，將配置軟件的程序安裝到計(jì)算機(jī)。此處，計(jì)算機(jī)包括內(nèi)置在專用硬件中的計(jì)算機(jī)，例如能夠通過向其安裝各種程序來執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)等。

圖28是示出通過使用程序來執(zhí)行上述一系列處理的計(jì)算機(jī)的硬件配置的示例的框圖。

在計(jì)算機(jī)中，中央處理單元(CPU)501、只讀存儲(chǔ)器(ROM)502和隨機(jī)存取存儲(chǔ)器(RAM)503通過總線504互連。

另外，輸入/輸出接口505連接至總線504。輸入單元506、輸出單元507、記錄單元508、通信單元509和驅(qū)動(dòng)器510連接至輸入/輸出接口505。

輸入單元506由鍵盤、鼠標(biāo)、麥克風(fēng)、成像裝置等配置而成。輸出單元507由顯示器、揚(yáng)聲器等配置而成。記錄單元508由硬盤、非易失性存儲(chǔ)器等配置而成。通信單元509由網(wǎng)絡(luò)接口等配置而成。驅(qū)動(dòng)器510驅(qū)動(dòng)可移除介質(zhì)511如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器。

在如上配置的計(jì)算機(jī)中，CPU 501例如通過輸入/輸出接口505和總線504將記錄在記錄單元508中的程序加載到RAM 503中，并且執(zhí)行所加載的程序，從而執(zhí)行一系列過程。

例如，由計(jì)算機(jī)(CPU 501)執(zhí)行的程序可以以被記錄在可移動(dòng)介質(zhì)511上的形式作為封裝介質(zhì)等來提供。另外，可以通過有線或無線傳輸介質(zhì)如局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播來提供程序。

在計(jì)算機(jī)中，通過將可移除介質(zhì)511加載到驅(qū)動(dòng)器510中，可以通過輸入/輸出接口505將程序安裝到記錄單元508。此外，程序可以由通信單元509通過有線或無線傳輸介質(zhì)接收并且被安裝到記錄單元508。此外，程序還可以被預(yù)先安裝到ROM 502或記錄單元508。

注意，由計(jì)算機(jī)執(zhí)行的程序可以是根據(jù)本說明書中描述的順序以時(shí)間序列執(zhí)行處理的程序，或者以并行方式或在必要的定時(shí)處例如在被調(diào)用時(shí)執(zhí)行處理的程序。

另外，本技術(shù)的實(shí)施方式不限于上述實(shí)施方式，并且在不脫離本技術(shù)的概念的范圍內(nèi)可以進(jìn)行各種改變。

例如，本技術(shù)可以采用云計(jì)算的配置，在云計(jì)算中一個(gè)功能由多個(gè)裝置通過網(wǎng)絡(luò)共享并且由所有裝置一起處理。

另外，在上述流程圖中描述的每個(gè)步驟不僅可以由一個(gè)裝置執(zhí)行，而且可以由多個(gè)裝置以共享的方式執(zhí)行。

此外，在一個(gè)步驟中包括多個(gè)處理的情況下，包括在一個(gè)步驟中的多個(gè)處理不僅可以由一個(gè)裝置執(zhí)行，而且可以由多個(gè)裝置以共享的方式執(zhí)行。

另外，本技術(shù)可以采用下述配置。

[1]

一種再現(xiàn)裝置，包括：

解碼單元，所述解碼單元對(duì)經(jīng)編碼的視頻數(shù)據(jù)或者經(jīng)編碼的音頻數(shù)據(jù)進(jìn)行解碼；

縮放區(qū)域選擇單元，所述縮放區(qū)域選擇單元從指定待縮放的區(qū)域的多條縮放區(qū)域信息中選擇一條或多條縮放區(qū)域信息；以及

數(shù)據(jù)處理單元，所述數(shù)據(jù)處理單元基于所選擇的縮放區(qū)域信息，對(duì)通過解碼而獲得的視頻數(shù)據(jù)執(zhí)行裁剪處理或者對(duì)通過解碼而獲得的音頻數(shù)據(jù)執(zhí)行音頻轉(zhuǎn)換處理。

[2]

根據(jù)權(quán)利要求1所述的再現(xiàn)裝置，其中，在所述多條縮放區(qū)域信息中，包括指定針對(duì)每種類型的再現(xiàn)目標(biāo)設(shè)備的所述區(qū)域的縮放區(qū)域信息。

[3]

根據(jù)權(quán)利要求1所述的再現(xiàn)裝置，其中，在所述多條縮放區(qū)域信息中，包括指定針對(duì)每個(gè)再現(xiàn)目標(biāo)設(shè)備旋轉(zhuǎn)方向的所述區(qū)域的縮放區(qū)域信息。

[4]

根據(jù)權(quán)利要求1所述的再現(xiàn)裝置，其中，在所述多條縮放區(qū)域信息中，包括指定用于每個(gè)特定視頻對(duì)象的區(qū)域的縮放區(qū)域信息。

[5]

根據(jù)權(quán)利要求1所述的再現(xiàn)裝置，其中，所述縮放區(qū)域選擇單元根據(jù)用戶的操作輸入來選擇所述縮放區(qū)域信息。

[6]

根據(jù)權(quán)利要求1所述的再現(xiàn)裝置，其中，所述縮放區(qū)域選擇單元基于與所述再現(xiàn)裝置有關(guān)的信息來選擇所述縮放區(qū)域信息。

[7]

根據(jù)權(quán)利要求6所述的再現(xiàn)裝置，其中，所述縮放區(qū)域選擇單元通過使用表示所述再現(xiàn)裝置的類型的信息和表示所述再現(xiàn)裝置的旋轉(zhuǎn)方向的信息中的至少任一種信息作為與所述再現(xiàn)裝置有關(guān)的信息來選擇所述縮放區(qū)域信息。

[8]

一種再現(xiàn)方法，包括下述步驟：

對(duì)經(jīng)編碼的視頻數(shù)據(jù)或者經(jīng)編碼的音頻數(shù)據(jù)進(jìn)行解碼；

從指定待縮放的區(qū)域的多條縮放區(qū)域信息中選擇一條或多條縮放區(qū)域信息；以及

基于所選擇的縮放區(qū)域信息，對(duì)通過解碼而獲得的視頻數(shù)據(jù)執(zhí)行裁剪處理或者對(duì)通過解碼而獲得的音頻數(shù)據(jù)執(zhí)行音頻轉(zhuǎn)換處理。

[9]

一種使計(jì)算機(jī)執(zhí)行包括下述步驟的處理的程序：

對(duì)經(jīng)編碼的視頻數(shù)據(jù)或者經(jīng)編碼的音頻數(shù)據(jù)進(jìn)行解碼；

從指定待縮放的區(qū)域的多條縮放區(qū)域信息中選擇一條或多條縮放區(qū)域信息；以及

基于所選擇的縮放區(qū)域信息，對(duì)通過解碼而獲得的視頻數(shù)據(jù)執(zhí)行裁剪處理或者對(duì)通過解碼而獲得的音頻數(shù)據(jù)執(zhí)行音頻轉(zhuǎn)換處理。

[10]

一種編碼裝置，包括：

編碼單元，所述編碼單元對(duì)視頻數(shù)據(jù)進(jìn)行編碼或者對(duì)音頻數(shù)據(jù)進(jìn)行編碼；以及

多路復(fù)用器，所述多路復(fù)用器通過將經(jīng)編碼的視頻數(shù)據(jù)或者經(jīng)編碼的音頻數(shù)據(jù)與指定待縮放的區(qū)域的多條縮放區(qū)域信息進(jìn)行多路復(fù)用來生成比特流。

[11]

一種編碼方法，包括下述步驟：

對(duì)視頻數(shù)據(jù)進(jìn)行編碼或者對(duì)音頻數(shù)據(jù)進(jìn)行編碼；以及

通過將經(jīng)編碼的視頻數(shù)據(jù)或者經(jīng)編碼的音頻數(shù)據(jù)與指定待縮放的區(qū)域的多條縮放區(qū)域信息進(jìn)行多路復(fù)用來生成比特流。

[12]

一種使計(jì)算機(jī)執(zhí)行包括下述步驟的處理的程序：

對(duì)視頻數(shù)據(jù)進(jìn)行編碼或者對(duì)音頻數(shù)據(jù)進(jìn)行編碼；以及

通過將經(jīng)編碼的視頻數(shù)據(jù)或者經(jīng)編碼的音頻數(shù)據(jù)與指定待縮放的區(qū)域的多條縮放區(qū)域信息進(jìn)行多路復(fù)用來生成比特流。

附圖標(biāo)記列表

11 編碼裝置

21 視頻數(shù)據(jù)編碼單元

22 音頻數(shù)據(jù)編碼單元

23 元數(shù)據(jù)編碼單元

24 多路復(fù)用器

25 輸出單元

51 再現(xiàn)裝置

61 內(nèi)容數(shù)據(jù)解碼單元

62 縮放區(qū)域選擇單元

63 視頻數(shù)據(jù)解碼單元

64 視頻分割單元

65 音頻數(shù)據(jù)解碼單元

66 音頻轉(zhuǎn)換單元