多種同時音頻模式的制作方法
【專利說明】
【背景技術】
[0001]計算設備時常被配備有用于執(zhí)行音頻信號處理的專業(yè)音頻硬件。通常，這樣的音頻硬件包括對利用計算設備捕獲或生成的音頻信號執(zhí)行信號處理的一個或多個數(shù)字信號處理芯片或算法。這樣的信號處理可以導致特定的音頻效果，諸如增強音樂信號、從V0IP(voice over Internet Protocol)(因特網(wǎng)協(xié)議話音)信號中移除回聲、降低噪聲、模擬混響等等。在一些情況中，(時常經(jīng)由主機總線連接的)這樣的專用音頻硬件或音頻卡能夠提供各種各樣的這樣的基于硬件的信號處理模式或效果。
[0002]以前，甚至在專用的音頻信號處理設備被配置有多種這樣的模式時，計算設備也無法一次使用一種以上這樣的基于硬件的信號處理模式。操作系統(tǒng)通常將通過交替地將所有的音頻處理(針對所有的音頻路徑或流)從一種模式轉(zhuǎn)到另一種模式來應付多種模式的可用性。在任何給定的時間，利用計算設備處理的所有音頻將利用相同的基于硬件的音頻信號處理模式來處理。
[0003]這種方案具有只有本發(fā)明人認識到的缺陷。有時，計算設備上的不同應用可能具有不同的信號處理偏好。例如，V0IP應用可能需要在其輸入上的回聲消除處理以及在其輸出上的最少處理，而同時再現(xiàn)(render)音樂的音樂播放器可能需要降噪信號處理來增強所再現(xiàn)的音頻，而這有可能引入時延(latency)。另外，在前的單模方案已阻止音頻硬件資源的充分利用。無論是否音頻硬件能夠進行同時的多模處理，管理這樣的硬件的操作系統(tǒng)還沒有被設計來利用這樣的能力。
[0004]下面討論與提供同時的多模音頻處理有關的技術。

【發(fā)明內(nèi)容】

[0005]以下概述部分僅被包括來介紹下面在具體描述部分中討論的一些概念。這個概述部分并不是全面的，并且非旨在描繪利用在末尾呈現(xiàn)的權利要求書來闡述的所請求保護的主題的范疇。
[0006]本文描述的實施例包括用于利用不同的基于硬件的音頻處理模式來同時處理不同的音頻流的設備和處理。用于這樣的實施例的計算設備可以具有能夠并行運行的多種硬件音頻信號處理模式。操作系統(tǒng)或其音頻堆?？梢怨芾硪纛l路徑或流，以便音頻源產(chǎn)生各自類型的音頻信號。根據(jù)音頻信號的類型可以確定哪些音頻路徑或流將與哪些硬件音頻信號處理模式進行連接。第一硬件音頻信號處理模式可能在處理第一音頻路徑或流的第一類型的音頻信號，而同時第二硬件音頻信號處理模式處理第二音頻路徑或流的第二類型的音頻信號。
[0007]下面將參考結合附圖所考慮的以下具體描述來解釋許多伴隨特征。
【附圖說明】
[0008]從依據(jù)附圖閱讀的以下具體描述中將更好地理解本描述，其中相類似的參考數(shù)字用于在隨附的描述中標明相類似的部分。
[0009]圖1顯示計算設備。
[0010]圖2顯示利用音頻硬件的音頻處理模式同時處理的音頻流的細節(jié)。
[0011]圖3顯示音頻堆棧以及通過音頻堆棧接收音頻數(shù)據(jù)的應用。
[0012]圖4顯示音頻堆棧的細節(jié)。
[0013]圖5顯示在其上面可以實現(xiàn)上述實施例的計算設備的示例。
【具體實施方式】
[0014]下面討論的實施例涉及提供能夠同時應用于不同音頻流的多種音頻模式。討論將利用被配置有音頻信號處理硬件的計算設備的綜述來開始。接下來，將討論利用操作系統(tǒng)實現(xiàn)的音頻流管理方案。緊接著將描述音頻流堆棧的細節(jié)，緊隨其后的是從而執(zhí)行的處理的討論。
[0015]圖1顯示計算設備100。計算設備100具有音頻硬件102。通常，音頻硬件102是經(jīng)由系統(tǒng)總線與中央處理單元(CPU)互操作的專用芯片或外設卡。音頻硬件102提供可以利用一個或多個數(shù)字信號處理器來實現(xiàn)的多種音頻信號處理模式(或效果)。每一種模式實現(xiàn)不同的音頻信號處理算法。以下是在各種音頻處理設備上可能出現(xiàn)的這樣的模式的示例:3D音頻，游戲，動態(tài)增益調(diào)節(jié)，話音，氣氛，回聲消除，聲源定位等等。注意:模式可以用于所捕獲的音頻、將在揚聲器上播放的所再現(xiàn)的音頻或二者。另外，模式不一定需要變換信號。一些模式可以執(zhí)行信號分析來針對應用產(chǎn)生關于信號的信息。模式也可以用于格式轉(zhuǎn)換，例如變換比特率、采樣率、通道計數(shù)或其他的信號特征。
[0016]計算設備100上的操作系統(tǒng)104可能利用設備驅(qū)動器(未顯示)來控制利用一個或多個應用106對于音頻硬件102的訪問和使用。特別地，音頻堆棧108(操作系統(tǒng)104的音頻功能)可以管理將至/自應用106的音頻信號與音頻硬件102相鏈接的音頻通路(也被稱為路徑或流)。雖然實現(xiàn)細節(jié)對于不同的操作系統(tǒng)而言將變化，但是音頻流是數(shù)字音頻信號數(shù)據(jù)在源與目的地之間的流動(flow)。取決于音頻流的方向，源和目的地可能是應用106、麥克風110、擴音器112、儲存器等等。操作系統(tǒng)104可以提供應用編程接口(API)，以使得應用106能夠調(diào)用功能，諸如發(fā)起、讀取、寫入、關閉以及以其他方式管理音頻流。操作系統(tǒng)104可以透明地執(zhí)行其他的功能，諸如緩沖、鏈接音頻通路中的組件、與音頻設備驅(qū)動器交互來控制對于音頻硬件102的使用和訪問等等。
[0017]圖2顯示利用音頻硬件102的音頻處理模式120、122、124同時處理的音頻流118的細節(jié)。一些音頻處理模式120可以被實現(xiàn)為在主機計算設備100的CPU上運行的軟件模塊。應用106能夠是在計算設備106上運行的任何軟件組件，例如用戶啟動的應用、后臺服務、線程、托管代碼環(huán)境、虛擬機等等。在圖2的示例中的應用106是正在再現(xiàn)聲音以便在擴音器112上輸出的聲源。如下面參考圖3所討論的，應用106也能夠是聲音接收器(sink);利用音頻堆棧108來應付和輸出的音頻信號數(shù)據(jù)的受體。
[0018]用于計算設備的音頻處理系統(tǒng)的領域的技術人員將意識到:形成和管理音頻流可以牽涉在圖2和3中沒有描述的復雜性。例如，用于拆分信號的三通(tee)、用于混合信號的混合器、實用信號處理模塊(基于CPU)以及甚至可能多種信號處理模式(例如，基于軟件的模式和基于硬件的模式)的實例可以采用各種方式進行組合，以形成音頻數(shù)據(jù)流的復雜圖形。不管這樣的實現(xiàn)細節(jié)如何，操作系統(tǒng)104和/或其音頻堆棧108提供數(shù)據(jù)通路，以使得能夠通過音頻信號處理硬件(音頻硬件102)交換至/自應用106的音頻信號數(shù)據(jù)，以及在一些情況中交換至/自聲音生成設備或聲音捕獲設備(例如擴音器112、麥克風110)的音頻信號數(shù)據(jù)。
[0019]為了促進同時多模音頻信號處理，音頻堆棧108可以執(zhí)行處理，諸如處理126。例如，當應用106需要音頻流來輸出利用應用106所再現(xiàn)的聲音時，應用106或許經(jīng)由音頻API向操作系統(tǒng)104發(fā)出呼叫(call)或請求。當操作系統(tǒng)194或音頻堆棧108接收到該請求時，識別用于所請求的音頻流的音頻類型。能夠利用各種各樣的手段來查明音頻類型。例如，請求應用106能夠利用作為請求新的音頻流的呼叫的參數(shù)的打印信息來標記(tag)音頻流。
[0020]也可以使用用于分類、識別或確定音頻類型的其他手段。例如，應用能夠通過在音頻數(shù)據(jù)中或在流本身中嵌入標識符來指定音頻類型。音頻堆棧108能夠參考與請求應用106相關聯(lián)的識別與該應用相關聯(lián)的音頻的類型的元數(shù)據(jù)。在另一實施例中，可以參考該應用曾使用的音頻(或由該應用在使用的另一流)的最后類型來確定用于新的音頻流的音頻類型。在還一實施例中，音頻堆棧108可以設置所請求的音頻流而不知道音頻類型、從應用106接收一些音頻信號數(shù)據(jù)、緩沖從該應用提供的音頻信號數(shù)據(jù)以及分析所緩沖的音頻數(shù)據(jù)(聲音數(shù)據(jù))來確定音頻數(shù)據(jù)中的聲音的類型(例如音樂、話音等等)。
[0021]返回到處理126，當確定所請求的音頻流的音頻類型時，音頻信號處理模式120、122、124之中適當?shù)囊纛l信號處理模式被選擇來處理新的音頻流。在一個實施例中，音頻堆棧108保持將音頻類型與特別的音頻信號處理模式120、122、124相關聯(lián)的關聯(lián)信息。稍后參考圖4來討論其他的實施例。
[0022]無論如何選擇音頻信號處理模式，音頻堆棧108繼續(xù)將新的音頻流與所選擇的音頻信號處理模式相鏈接。例如，如果應用106是“Appl (應用1)”并且音頻信號處理模式120是“電影”模式類型，則利用應用106所生成的音頻數(shù)據(jù)流過該音頻流、利用音頻信號處理模式120 (“電影”)進行處理并且利用擴音器112作為聲音發(fā)出。
[0023]在一個或多個音頻流108已經(jīng)在攜帶音頻數(shù)據(jù)至一種或多種音頻信號處理模式的同時，應用106可以請求還一音頻流，從而再次調(diào)用處理126。采用與上述相同的方式來建立和配置新的音頻流。如果新的音頻流采用當前沒有在使用的音頻信號處理模式，則仍然可以根據(jù)其類型來實現(xiàn)所請求的音頻流。換句話說，不同的模式可以同時處理音頻信號數(shù)據(jù)。操作系統(tǒng)108和/或音頻堆棧104跟蹤和區(qū)分音頻流類型的能力促進利用不同的基于硬件的音頻信號處理模式進行的音頻流的同時處理。
[0024]進一步，對于音頻流的類型而言，并不限制音頻流的類型或類別；音頻流的類型能夠?qū)谝纛l流的任何特性或特征。例如，流類型能夠?qū)谝纛l格式特質(zhì)(trait)。流可能被貼標簽或被標記來指示特征，諸如比特率、用于編碼音頻內(nèi)容的編解碼類型、緩沖模式、緩沖區(qū)大小、數(shù)據(jù)塊大小、采樣率、通道計數(shù)等等。也可以使用與應用或其音頻流相關的其他信息，諸如識別與音頻內(nèi)容相對應的內(nèi)容生產(chǎn)商的信息、指示用于產(chǎn)生音頻內(nèi)容的設備的信息、日期信息等等。
[0025]在一個實施例中，可以包括卸載路徑126。卸載路徑126在被應用請求時允許該應用實質(zhì)上繞過音頻堆棧108的所有信號處理。卸載模式可以不同于原始模式。卸載路徑允許應用直接與音頻設備交談(talk)，從而繞過操作系統(tǒng)。音頻設備可以在硬件中提供模式特定的處理或完全不提供處理(原始)。原始路徑是在其路徑上沒有信號處理的路徑。原始路徑可以是非卸載(off-offload) (S卩，利用操作系統(tǒng)來實現(xiàn))或可以利用硬件作為卸載路徑來實現(xiàn)(其中應用直接與音頻設備交談，并且音頻設備再現(xiàn)音頻而不應用任何模式特定的處理)。通常，在原始路徑中存在的唯一處理是強制性的處理。原始處理確保這樣的應用，即它再現(xiàn)/捕獲的音頻數(shù)據(jù)將不經(jīng)歷利用操作系統(tǒng)或硬件實現(xiàn)的任何非強制性的信號處理。
[0026]如上所述，原始音頻信號處理模式124能夠利用應用來請求，以避免任何