編輯設(shè)備、編輯方法、程序以及存儲介質(zhì)的制作方法
【專利摘要】本發(fā)明提供了編輯設(shè)備、編輯方法、程序以及存儲介質(zhì)。該編輯設(shè)備包括：故事確定單元，確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考；評估值計算單元，基于故事確定單元中所確定的故事以及一個或多個特征值，按照故事中的每個選擇時間計算多個候選圖像中的每一個的評估值，特征值是針對多個候選圖像中的每一個所設(shè)置的并表示多個候選圖像中的每一個的特征；圖像選擇單元，基于評估值計算單元中所計算出的評估值，按照每個選擇時間從多個候選圖像中選擇候選圖像；候選圖像校正單元，基于評估值校正所選擇的候選圖像；以及編輯處理單元，按時間順序鏈接按照每個選擇時間所選擇的候選圖像和基于評估值而校正的候選圖像。
【專利說明】編輯設(shè)備、編輯方法、程序以及存儲介質(zhì)
【技術(shù)領(lǐng)域】
[0001 ] 本公開涉及編輯設(shè)備、編輯方法、程序以及存儲介質(zhì)。
【背景技術(shù)】
[0002]近年來，隨著諸如PC (個人計算機(jī))的計算機(jī)的處理能力顯著提高，變得能夠在不使用特殊設(shè)備的情況下在實際處理時間內(nèi)編輯圖像(例如，運(yùn)動圖像/靜止圖像)。此外，根據(jù)上述情況，例如，以個人或家庭的方式來編輯圖像的用戶的數(shù)量正在增加。這里，為了編輯圖像，例如，需要各種操作，諸如“圖像(素材)分類”、“故事確定”、“圖像選擇”以及“關(guān)于如何鏈接圖像的選擇”。因此，需要對圖像編輯進(jìn)行自動化。
[0003]在這樣的狀態(tài)下，開發(fā)了自動編輯圖像的技術(shù)。例如，提供了作為如下技術(shù)的日本專利公開2009-153144:該技術(shù)從運(yùn)動圖像中提取反映由運(yùn)動圖像表示的內(nèi)容流的事件；并且自動生成文摘圖像(digest image),該文摘圖像鏈接反映內(nèi)容流的各場景。此外，接下來的日本專利公開2012-94949公開了按照每個選擇時間從多個候選圖像中選擇對應(yīng)于故事的圖像并編輯所選擇的圖像的技術(shù)。

【發(fā)明內(nèi)容】

[0004]在使用運(yùn)動圖像或靜止圖像來執(zhí)行自動編輯并獲取最終圖像的情況下，重要的是選擇素材圖像。在這種情況下，當(dāng)不存在適合作為素材的圖像時，假設(shè)難以沿著故事執(zhí)行編輯。
[0005]因此，甚至在不存在作為素材最優(yōu)的圖像的情況下，也需要能夠?qū)崿F(xiàn)基于故事的編輯。
[0006]根據(jù)本公開的實施例，提供了一種編輯設(shè)備，包括:故事確定單元，用于確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考；評估值計算單元，用于基于在所述故事確定單元中所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間計算所述多個候選圖像中的每一個的評估值，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征；圖像選擇單元，用于基于在所述評估值計算單元中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像；候選圖像校正單元，用于基于所述評估值校正所選擇的候選圖像；以及編輯處理單元，用于按時間順序來鏈接按照每個選擇時間所選擇的候選圖像和基于所述評估值而校正的候選圖像。
[0007]候選圖像校正單元可以在所述評估值等于或小于預(yù)定值的情況下校正所選擇的候選圖像。
[0008]候選圖像校正單元可以以使所述評估值等于或小于預(yù)定值的方式校正所選擇的候選圖像。
[0009]候選圖像校正單元可以以使所述評估值等于或小于預(yù)定值的方式校正所選擇的候選圖像的放大率。[0010]候選圖像校正單元可以以使所述評估值等于或小于預(yù)定值的方式校正所選擇的候選圖像的拍攝時間。
[0011]根據(jù)本公開的實施例，提供了一種編輯設(shè)備，包括:故事確定單元，用于確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考；評估值計算單元，用于基于在所述故事確定單元中所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征；圖像選擇單元，用于基于在所述評估值計算單元中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像；故事校正單元，用于基于所述評估值校正所述故事；以及編輯處理單元，用于按時間順序鏈接按照每個選擇時間所選擇的候選圖像。
[0012]故事校正單元可以在所述評估值等于或小于預(yù)定值的情況下校正所述故事。
[0013]故事校正單元可以基于用戶操作校正所述故事。
[0014]故事校正單元可以以使所述評估值等于或小于預(yù)定值的方式校正所述故事。
[0015]評估值計算單元可以按照每個選擇時間計算基于所述候選圖像的特征值和所述候選圖像的特征值的期望值的距離，以作為所述評估值。
[0016]圖像選擇單元可以按照每個選擇時間來選擇每個選擇時間的評估值最小的候選圖像。
[0017]編輯設(shè)備還可以包括圖像評估單元，用于基于所述候選圖像來設(shè)置關(guān)于所述候選圖像的特征值。
[0018]在所述候選圖像是具有超過預(yù)定時間的再現(xiàn)時間的運(yùn)動圖像的情況下，所述圖像評估單元可以以使所述再現(xiàn)時間落入所述預(yù)定時間內(nèi)的方式分割所述候選圖像，并且對分割后的候選圖像中的每一個設(shè)置所述特征值。
[0019]故事可由使用表示圖像的特征量的特征值的時間函數(shù)來表示。
[0020]根據(jù)本公開的實施例，提供了一種編輯方法，包括:確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考；基于在確定步驟中所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征；基于在計算步驟中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像；基于所述評估值校正所選擇的候選圖像；以及按時間順序來鏈接按照每個選擇時間所選擇的候選圖像和基于所述評估值而校正的候選圖像。
[0021]根據(jù)本公開的實施例，提供了一種編輯方法，包括:確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考；基于在確定步驟中所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征；基于在計算步驟中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像；基于所述評估值校正所述故事；以及按時間順序鏈接按照每個選擇時間所選擇的候選圖像。
[0022]根據(jù)本公開的實施例，提供了一種程序，用于使得計算機(jī)起到如下單元的作用:用于確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考的單元；用于基于在用于確定的單元中所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值的單元，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征；用于基于在用于計算的單元中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像的單元；用于基于所述評估值校正所選擇的候選圖像的單元；以及用于按時間順序來鏈接按照每個選擇時間所選擇的候選圖像和基于所述評估值而校正的候選圖像的單元。
[0023]根據(jù)本公開的實施例，提供了一種程序，用于使得計算機(jī)起到如下單元的作用:用于確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考的單元；用于基于在用于確定的單元中所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值的單元，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征；用于基于在用于計算的單元中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像的單元；用于基于所述評估值校正所述故事的單元；以及用于按時間順序鏈接按照每個選擇時間所選擇的候選圖像的單元。
[0024]根據(jù)本公開的實施例，提供了一種其上記錄有程序的計算機(jī)可讀記錄介質(zhì)，該程序使得計算機(jī)起到如下單元的作用:用于確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考的單元；用于基于所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值的單元，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征；用于基于在用于計算的單元中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像的單元；用于基于所述評估值校正所選擇的候選圖像的單元；以及用于按時間順序來鏈接按照每個選擇時間所選擇的候選圖像和基于所述評估值而校正的候選圖像的單元。
[0025]根據(jù)本公開的實施例，提供了一種其上記錄有程序的計算機(jī)可讀記錄介質(zhì)，該程序使得計算機(jī)起到如下單元的作用:用于確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考的單元；用于基于所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值的單元，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征；用于基于在用于計算的單元中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像的單元；用于基于所述評估值校正所述故事的單元；以及用于按時間順序鏈接按照每個選擇時間所選擇的候選圖像的單元。
[0026]根據(jù)以上描述的本公開的實施例，甚至在不存在作為素材最佳的圖像的情況下，也需要能夠?qū)崿F(xiàn)基于故事的編輯。
【專利附圖】

【附圖說明】
[0027]圖1是示出根據(jù)本公開的實施例的編輯設(shè)備中的根據(jù)編輯方法的處理的示例的流程圖；[0028]圖2是示出根據(jù)本公開的實施例的為候選圖像設(shè)置的特征值的示例的說明圖；
[0029]圖3是示出使用Cl和C2兩種類型作為類別(C)并對候選圖像(或素材)A、B、C、D、E、F等進(jìn)行評分的示例的示意圖；
[0030]圖4是示出在作為類別C存在Cl和c2兩種類別的情況下的故事的特性圖；
[0031]圖5是示出使圖3和圖4重疊的狀態(tài)的特性圖；
[0032]圖6是示出根據(jù)本公開的實施例的編輯設(shè)備中的故事確定處理的示例的流程圖；
[0033]圖7是示出根據(jù)本公開的實施例的編輯設(shè)備中的評估值計算處理的示例的流程圖；
[0034]圖8是用于說明根據(jù)本公開的實施例的編輯設(shè)備中的圖像選擇處理的示例的說明圖；
[0035]圖9是用于說明根據(jù)本公開的實施例的編輯設(shè)備中的圖像選擇處理的另一示例的說明圖；
[0036]圖10是示出改變候選圖像的狀態(tài)的示意圖；
[0037]圖11是示出裁剪(crop)和推攝(zoom up)候選圖像F的畫面的狀態(tài)的示意圖；
[0038]圖12是示出根據(jù)本公開的實施例的編輯設(shè)備中的圖像選擇處理的示例的流程圖；
[0039]圖13是示出圖12的步驟S502中的素材改變處理的流程圖；
[0040]圖14是示出改變在選擇時間t=6與選擇時間t=8之間的故事的示例的示意圖；
[0041]圖15是用于說明在顯示屏幕上使用圖形UI來改變故事的過程的示意圖；
[0042]圖16是示出根據(jù)本公開的實施例的編輯設(shè)備的配置的示例的框圖；以及
[0043]圖17是示出根據(jù)本公開的實施例的編輯設(shè)備100的硬件配置的示例的說明圖。
【具體實施方式】
[0044]下文中，將參照附圖詳細(xì)描述本公開的優(yōu)選實施例。注意，在本說明書和附圖中，用相同的附圖標(biāo)記來表示具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復(fù)說明。
[0045]此外，下面按下列順序給出說明。
[0046]1.根據(jù)本公開的實施例的方法
[0047]2.根據(jù)本公開的實施例的控制設(shè)備
[0048]3.根據(jù)本公開的實施例的程序
[0049]4.記錄根據(jù)本公開的實施例的程序的存儲介質(zhì)
[0050](根據(jù)本公開的實施例的方法)
[0051]在說明根據(jù)本公開的實施例的編輯設(shè)備(該編輯設(shè)備在下面可被稱為“編輯設(shè)備100”)的配置之前，說明根據(jù)本公開的實施例的圖像的編輯方法。這里，根據(jù)本公開的實施例的圖像表示靜止圖像或運(yùn)動圖像。以下，存在將可用作編輯目標(biāo)圖像的候選圖像稱為“素材”的情況。此外，以下所示的與根據(jù)本公開的實施例的編輯方法相關(guān)聯(lián)的處理可以被解釋為依據(jù)根據(jù)本公開的實施例的編輯方法的處理。
[0052][編輯方法的概述]
[0053]如上所述，即使使用相關(guān)技術(shù)或故事模板來執(zhí)行自動編輯，也可能發(fā)生不能選擇與故事匹配的候選圖像的情況。如上所述，在不能選擇候選圖像的情況下，由于可獲取不完整圖像作為編輯后的圖像，因此不限制編輯后的圖像用作用戶期望圖像。
[0054]因此，根據(jù)本公開的實施例的編輯設(shè)備100基于由時間函數(shù)表示的故事和為每個候選圖像所設(shè)置的特征值(即，得分)，按照每個選擇時間計算每個候選圖像的評估值。此夕卜，編輯設(shè)備100基于按照每個選擇時間所算出的評估值來從候選圖像中選擇圖像。隨后，編輯設(shè)備100通過按時間順序鏈接與按照每個選擇時間所選擇的圖像相對應(yīng)的選擇圖像來生成編輯后的圖像。
[0055]這里，根據(jù)本公開的實施例的故事表示編輯設(shè)備100編輯的最終作品的指向。該故事是用以從多個候選圖像中選擇圖像的參考，并且由時間函數(shù)表示(其具體示例稍后描述)。此外，根據(jù)本公開的實施例的選擇時間表示故事中的用以計算評估值的時間。即，根據(jù)本公開的實施例的選擇時間表示編輯設(shè)備100沿著故事執(zhí)行選擇候選圖像的處理的時間。選擇時間的示例包括從編輯開始時間起經(jīng)過的時間(例如，由秒、分或小時來表示)。這里，例如，根據(jù)本公開的實施例的選擇時間可預(yù)先定義或由用戶適當(dāng)?shù)卦O(shè)置。
[0056]如上所述，編輯設(shè)備100基于由時間函數(shù)表示的故事和為故事候選圖像所設(shè)置的特征值來順序地計算每個選擇時間的評估值，并且例如將每個選擇時間的最小(或最大)評估值的候選圖像(即，較高評估的候選圖像)處理為每個選擇時間的選擇圖像。因此，在根據(jù)本公開的實施例的編輯設(shè)備100中，能夠防止在使用相關(guān)技術(shù)或故事模板來執(zhí)行自動編輯的情況下可能會導(dǎo)致的沒有選擇每個選擇時間中的選擇圖像。因此，編輯設(shè)備100可以按照用于圖像選擇的每個選擇時間來從多個候選圖像中選擇對應(yīng)于故事的圖像，并且編輯所選擇的圖像。
[0057]此外，由于編輯設(shè)備100從多個候選圖像中選擇由所算出的評估值表示的高評估的候選圖像(例如，最小評估值的評估圖像或最大評估值的評估圖像)作為選擇圖像，因此例如甚至在使用不確定地大的數(shù)量的候選圖像來執(zhí)行編輯的情況下，也可以沿著故事選擇更適合的選擇圖像。因此，例如，甚至在候選圖像動態(tài)地改變的情況(如，將圖像社區(qū)網(wǎng)站中由多個用戶任意添加或刪除的圖像處理為候選圖像的情況)下，編輯設(shè)備100也能從候選圖像中沿著故事選擇更適合的選擇圖像。
[0058]此外，由于編輯設(shè)備100使用例如由時間函數(shù)表示的故事，因此能夠根據(jù)選擇時間的設(shè)置來擴(kuò)展或精簡故事。與此相反，由于故事模板是由作為人的創(chuàng)建者所創(chuàng)建的，因此難以自動改變故事模板。即，難以通過將改變添加到故事模板來擴(kuò)展或精簡故事，并且例如在使用故事模板來擴(kuò)展或精簡故事的情況下，需要準(zhǔn)備多個故事模板并適當(dāng)?shù)馗淖冞@些故事模板。因此，通過使用由時間函數(shù)表示的故事，編輯設(shè)備100可以以比如下情況更容易的方式來擴(kuò)展或精簡故事:在該情況下，例如，使用這樣的故事模板，在該故事模板中，除非改變所使用的故事模板本身，否則難以擴(kuò)展或精簡故事。因此，通過使用由時間函數(shù)表示的故事，編輯設(shè)備100可以執(zhí)行具有更高的一般通用性的圖像編輯。
[0059][根據(jù)編輯方法的處理的具體示例]
[0060]接下來，給出對用于實現(xiàn)根據(jù)本公開的實施例的上述編輯方法的處理的示例的說明。圖1是示出根據(jù)本公開的實施例的編輯設(shè)備100中的根據(jù)編輯方法的處理的示例的流程圖。
[0061]編輯設(shè)備100確定素材組(S100)。通過執(zhí)行步驟SlOO中的處理，確定候選圖像。這里，根據(jù)本公開的實施例的素材組表示按預(yù)定主題(諸如，體育節(jié)、結(jié)婚典禮和海洋)分組的候選圖像。例如，根據(jù)本公開的實施例的素材組可由用戶手動分類或者通過執(zhí)行圖像處理而由編輯設(shè)備100或諸如服務(wù)器的外部設(shè)備來自動分類。
[0062]編輯設(shè)備100例如基于用戶操作來執(zhí)行步驟SlOO中的處理。這里，根據(jù)本公開的實施例的“基于用戶操作來執(zhí)行處理”例如是指編輯設(shè)備100基于以下信號執(zhí)行處理:從操作單元(稍后描述)傳遞的與用戶操作對應(yīng)的控制信號；從諸如遠(yuǎn)程控制器的外部操作裝置傳送的與用戶操作對應(yīng)的外部操作信號；或者經(jīng)由網(wǎng)絡(luò)(或以直接方式)從外部設(shè)備傳送的操作信號。
[0063]此外，根據(jù)本公開的實施例的編輯設(shè)備100可以不執(zhí)行圖1所示的步驟SlOO中的處理。在上述情況下，例如，編輯設(shè)備100從基于用戶操作而確定的且未被特別分組的候選圖像中選擇選擇圖像。
[0064]編輯設(shè)備100提取與編輯后的作品的指向相對應(yīng)的多個關(guān)注點，并且向每個關(guān)注點中的候選圖像分配得分。此外，編輯設(shè)備100通過根據(jù)時間軸設(shè)置得分期望值來設(shè)置故事以定義作品。隨后，編輯設(shè)備100基于作品的時間軸來針對故事的期望值順序地選擇具有最適合的得分的候選圖像。
[0065]更具體地，首先，對候選圖像進(jìn)行分類，并確定用以定義作品的指向的關(guān)注點。在這里，關(guān)注點被稱為“類別(C)”。類別例如包括在拍攝圖像時的視角、被拍攝人物的數(shù)量、快門速度、GPS的位置信息以及拍攝時間。類別的內(nèi)容不被特別限制或約束。此外，針對每個類別來確定候選圖像的得分。得分可以是具體值或通過適當(dāng)?shù)貓?zhí)行諸如歸一化的處理而獲取的值。
[0066]編輯設(shè)備100基于例如為在上述步驟SlOO中確定的候選圖像而設(shè)置的特征值來執(zhí)行處理。這里，對根據(jù)本公開的實施例的為候選圖像設(shè)置的特征值給出說明。
[0067]圖2是示出根據(jù)本公開的實施例的為候選圖像所設(shè)置的特征量的示例的說明圖。這里，圖2示出了為圖像ml至ml4所設(shè)置的特征量的示例。
[0068]在候選圖像中，為每個類別(C)設(shè)置特征量(或所謂的得分)。這里，根據(jù)本公開的實施例的類別是圖像中的用以對圖像進(jìn)行分類并定義編輯后的圖像的指向的關(guān)注點。例如，根據(jù)本公開的實施例的類別可被預(yù)先定義或者由用戶從多個類別候選中任意選擇。根據(jù)本公開的實施例的類別的示例包括:(cl)時間，其表示基于圖像拍攝時間的關(guān)注點；(c2)地點,其表不基于圖像拍攝地點的關(guān)注點；(c3)視角，其表不基于視角的關(guān)注點；(c4)肖像程度，其表示基于圖像對象是否是特定圖像對象的關(guān)注點；以及(c5)運(yùn)動程度，其表示基于拍攝目標(biāo)或成像設(shè)備正移動的程度的關(guān)注點(其可包括平移或縮放)。這里，根據(jù)本公開的實施例的類別不限于上述。例如，根據(jù)本公開的實施例的類別可表示基于對象數(shù)量、快門速度等的關(guān)注點。
[0069]編輯設(shè)備100通過對每個候選圖像執(zhí)行圖像分析或者參考每個候選圖像的元數(shù)據(jù)來對每個候選圖像設(shè)置特征值。例如，在設(shè)置地點(c2)的特征值的情況下，編輯設(shè)備100根據(jù)在通過使用GPS (全球定位系統(tǒng))等而獲取的設(shè)備的位置與拍攝每個候選圖像的位置之間的一維距離來按10個步階設(shè)置每個候選圖像的特征值。另外，在設(shè)置圖像角度(c3)的特征值的情況下，編輯設(shè)備100以廣角I和遠(yuǎn)距視圖(telephoto view) 10來按10個步階設(shè)置每個候選圖像的特征值。在設(shè)置肖像程度(c4)的特征值的情況下，編輯設(shè)備100按10個步階來設(shè)置每個候選圖像的特征值，其中，不具有對象的候選圖像為I并且關(guān)于特定對象(例如，在中心拍攝的對象)的候選圖像為10。這里，編輯設(shè)備100中的設(shè)置特征值的方法不限于上述，并且例如，可以通過對具體值進(jìn)行歸一化來設(shè)置歸一化特征值。
[0070]此外，例如，在候選圖像是具有超過預(yù)定時間的再現(xiàn)時間的運(yùn)動圖像的情況下，編輯設(shè)備100可以按時間軸分割候選圖像，以使得再現(xiàn)時間落入預(yù)定時間內(nèi)。在上述情況下，編輯設(shè)備100對每個分割后的候選圖像設(shè)置特征值。這里，例如，通過參考候選圖像的元數(shù)據(jù)，編輯設(shè)備100指定候選圖像的再現(xiàn)時間，但根據(jù)本公開的實施例的指定候選圖像的再現(xiàn)時間的方法不限于上述。此外，例如，可預(yù)先定義或基于用戶操作設(shè)置上述預(yù)定時間段。
[0071]如所述，通過按時間軸分割候選圖像以使得再現(xiàn)時間落入預(yù)定持續(xù)時間內(nèi)、并且通過對每個分割后的候選圖像設(shè)置特征值，與對未分割的候選圖像設(shè)置特征值的情況相t匕，編輯設(shè)備100可以設(shè)置更接近圖像的特征的特征值。
[0072]圖3是示出類別(C)包含Cl和C2兩種類型并且候選圖像(或素材)A、B、C、D、E、F等被評分的示例。在圖3中，橫軸表示類別Cl的特征值，并且縱軸表示類別C2的特征值。參考作為示例的候選圖像A (或素材A)，候選圖像A的類別Cl的特征值為“2”而類別C2的特征值為“9”。
[0073]在以下說明中，假設(shè)作為類別C而關(guān)注的類別被表示為C1、C2等，并且素材M被表示為ml、m2、m3等。隨后，關(guān)于候選圖像(或素材)M的類別(C)的特征值被表示為“S (M，C) ”。例如，圖2所示的圖像ml中的類別(c2)的特征值被表示為S(ml，c2)=l。這里，盡管圖2示出了對每個候選圖像設(shè)置多個類別(C)的示例，但是不必說，根據(jù)本公開的實施例可對每個候選圖像設(shè)置僅一個類別(C)。
[0074]例如，如上所述，編輯設(shè)備100對每個候選圖像設(shè)置特征值。這里，編輯設(shè)備100對例如在步驟SlOO中被確定為候選圖像的圖像設(shè)置特征值，但根據(jù)本公開的實施例的編輯設(shè)備100中的處理不限于上述。例如，無論是否執(zhí)行步驟SlOO中的處理，編輯設(shè)備100都可以對可用作候選圖像的圖像執(zhí)行設(shè)置特征值的處理。這里，例如，在不執(zhí)行設(shè)置特征值的處理的情況下，編輯設(shè)備100可以將候選圖像(或可用作候選圖像的圖像)傳送至諸如服務(wù)器的外部設(shè)備，并且使用在外部設(shè)備中所設(shè)置的特征值來執(zhí)行計算評估值的處理(稍后所述)。
[0075]再次參照圖1，對根據(jù)本公開的實施例的編輯設(shè)備100中的根據(jù)編輯方法的處理的示例給出說明。當(dāng)在步驟SlOO中確定了素材組時，編輯設(shè)備100確定故事(S102:故事確定處理)。例如，編輯設(shè)備100基于從操作單元(稍后描述)傳遞的與用戶操作相對應(yīng)的操作信號或者從諸如遠(yuǎn)程控制器的外部操作裝置傳送的與用戶操作相對應(yīng)的外部操作信號來確定故事。這里，編輯設(shè)備100中的確定故事的方法不限于上述。例如，在接收到從經(jīng)由網(wǎng)絡(luò)(或以直接方式)連接的外部設(shè)備傳送的、記錄故事的故事信息的情況下，編輯設(shè)備100可以將由故事信息表示的故事確定為要在處理中使用的故事(稍后描述)。
[0076]如上所述，根據(jù)本公開的實施例的故事是用以從多個候選圖像中選擇圖像的參考并由時間函數(shù)來表示。在特定時間，定義關(guān)于故事的、每個類別中的得分的期望值(SX)。例如，類別Cl中的在時間t處的期望值被表示為“SX(cn，t) ”。故事被表示為如下的期望值:該期望值是按照每個類別定義的，并且隨著時間改變。圖4是示出在類別C由Cl和c2兩個構(gòu)成的情況下的故事的特性圖。如圖4中的曲線特性所示，每個類別的期望值隨著時間(t=0至11)改變。因此，例如，使用在選擇時間t中的候選圖像的特征值的期望值(SX)來表示故事。以下，在選擇時間t處的候選圖像中的類別(cn)的期望值(其中，“η”是等于或大于I的整數(shù))被表示為“SX(cn，t) ”。
[0077]圖5是示出圖3和圖4重疊的狀態(tài)的特性圖。根據(jù)圖5，關(guān)于沿著時間軸改變的故事，可以確定要選擇的素材。在不存在與故事匹配的素材的情況下，可選擇距故事距離最近的素材。
[0078]以下等式I至3表示根據(jù)本公開的實施例的故事的示例。這里，等式I示出用以基于候選圖像(M)的特征值和候選圖像的期望值兩者來計算曼哈頓距離(Manhattandistance) D(M) (t)以作為在選擇時間t的評估值的故事示例。這里，在本說明書中，存在作為在選擇時間t的評估值的曼哈頓距離被表示為D(m，t)的情況。此外，等式2和等式3表示在選擇時間t的每個類別的期望值的示例。這里，等式I和等式3中的N表示候選圖
【權(quán)利要求】
1.一種編輯設(shè)備，包括: 故事確定單元，用于確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考； 評估值計算單元，用于基于在所述故事確定單元中所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間計算所述多個候選圖像中的每一個的評估值，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征； 圖像選擇單元，用于基于在所述評估值計算單元中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像； 候選圖像校正單元，用于基于所述評估值校正所選擇的候選圖像；以及 編輯處理單元，用于按時間順序來鏈接按照每個選擇時間所選擇的候選圖像和基于所述評估值而校正的候選圖像。
2.根據(jù)權(quán)利要求1所述的編輯設(shè)備，其中，所述候選圖像校正單元在所述評估值等于或小于預(yù)定值的情況下校正所選擇的候選圖像。
3.根據(jù)權(quán)利要求2所述的編輯設(shè)備，其中，所述候選圖像校正單元以使所述評估值等于或小于預(yù)定值的方式校正所選擇的候選圖像。
4.根據(jù)權(quán)利要求3所述的編輯設(shè)備，其中，所述候選圖像校正單元以使所述評估值等于或小于預(yù)定值的方式校正所選擇的候選圖像的放大率。
5.根據(jù)權(quán)利要求3所 述的編輯設(shè)備，其中，所述候選圖像校正單元以使所述評估值等于或小于預(yù)定值的方式校正所選擇的候選圖像的拍攝時間。
6.—種編輯設(shè)備,包括: 故事確定單元，用于確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考； 評估值計算單元，用于基于在所述故事確定單元中所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征； 圖像選擇單元，用于基于在所述評估值計算單元中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像； 故事校正單元，用于基于所述評估值校正所述故事；以及 編輯處理單元，用于按時間順序鏈接按照每個選擇時間所選擇的候選圖像。
7.根據(jù)權(quán)利要求6所述的編輯設(shè)備，其中，所述故事校正單元在所述評估值等于或小于預(yù)定值的情況下校正所述故事。
8.根據(jù)權(quán)利要求6所述的編輯設(shè)備，其中，所述故事校正單元基于用戶操作校正所述故事。
9.根據(jù)權(quán)利要求6所述的編輯設(shè)備，其中，所述故事校正單元以使所述評估值等于或小于預(yù)定值的方式校正所述故事。
10.根據(jù)權(quán)利要求1至9中任一項所述的編輯設(shè)備，其中，所述評估值計算單元按照每個選擇時間計算基于所述候選圖像的特征值和所述候選圖像的特征值的期望值的距離，以作為所述評估值。
11.根據(jù)權(quán)利要求10所述的編輯設(shè)備，其中，所述圖像選擇單元按照每個選擇時間來選擇每個選擇時間的評估值最小的候選圖像。
12.根據(jù)權(quán)利要求1至11中任一項所述的編輯設(shè)備，還包括: 圖像評估單元，用于基于所述候選圖像來設(shè)置關(guān)于所述候選圖像的特征值。
13.根據(jù)權(quán)利要求12所述的編輯設(shè)備，其中，在所述候選圖像是具有超過預(yù)定時間的再現(xiàn)時間的運(yùn)動圖像的情況下，所述圖像評估單元以使所述再現(xiàn)時間落入所述預(yù)定時間內(nèi)的方式分割所述候選圖像，并且對分割后的候選圖像中的每一個設(shè)置所述特征值。
14.根據(jù)權(quán)利要求1至13中任一項所述的編輯設(shè)備，其中，所述故事由下述時間函數(shù)來表示:該時間函數(shù)使用表示圖像的特征量的特征值。
15.—種編輯方法,包括: 確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考；基于在確定步驟中所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征； 基于在計算步驟中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像； 基于所述評估值校正所選擇的候選圖像；以及 按時間順序來鏈接按照每個選 擇時間所選擇的候選圖像和基于所述評估值而校正的候選圖像。
16.—種編輯方法,包括: 確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考；基于在確定步驟中所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征； 基于在計算步驟中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像； 基于所述評估值校正所述故事；以及 按時間順序鏈接按照每個選擇時間所選擇的候選圖像。
17.一種程序，用于使得計算機(jī)起到如下單元的作用: 用于確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考的單元； 用于基于在用于確定的單元中所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值的單元，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征； 用于基于在用于計算的單元中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像的單元； 用于基于所述評估值校正所選擇的候選圖像的單元；以及用于按時間順序來鏈接按照每個選擇時間所選擇的候選圖像和基于所述評估值而校正的候選圖像的單元。
18.—種程序，用于使得計算機(jī)起到如下單元的作用: 用于確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考的單元； 用于基于在用于確定的單元中所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值的單元，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征； 用于基于在用于計算的單元中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像的單元； 用于基于所述評估值校正所述故事的單元；以及 用于按時間順序鏈接按照每個選擇時間所選擇的候選圖像的單元。
19.一種其上記錄有程序的計算機(jī)可讀記錄介質(zhì),所述程序使得計算機(jī)起到如下單元的作用: 用于確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考的單元； 用于基于所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值的單元，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置 的并且表示所述多個候選圖像中的每一個的特征； 用于基于在用于計算的單元中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像的單元； 用于基于所述評估值校正所選擇的候選圖像的單元；以及 用于按時間順序來鏈接按照每個選擇時間所選擇的候選圖像和基于所述評估值而校正的候選圖像的單元。
20.一種其上記錄有程序的計算機(jī)可讀記錄介質(zhì)，所述程序使得計算機(jī)起到如下單元的作用: 用于確定由時間函數(shù)表示的故事，作為用于從多個候選圖像中選擇候選圖像的參考的單元； 用于基于所確定的故事以及一個或多個特征值，按照所述故事中的每個選擇時間來計算所述多個候選圖像中的每一個的評估值的單元，所述一個或多個特征值是針對所述多個候選圖像中的每一個所設(shè)置的并且表示所述多個候選圖像中的每一個的特征； 用于基于在用于計算的單元中所計算出的評估值，按照每個選擇時間從所述多個候選圖像中選擇候選圖像的單元； 用于基于所述評估值校正所述故事的單元；以及 用于按時間順序鏈接按照每個選擇時間所選擇的候選圖像的單元。
【文檔編號】G06F17/30GK103544198SQ201310279139
【公開日】2014年1月29日 申請日期:2013年7月4日 優(yōu)先權(quán)日:2012年7月11日
【發(fā)明者】安田弘幸, 市橋英之, 德永陽 申請人:索尼公司