Sony 360 虛擬混音環境介紹

360度虛擬混音環境能夠以高精度在一副耳機中重現參考音樂混音室的聲學環境。

360度虛擬混音環境（以下簡稱360 VME）是一種空間音效技術，能夠以高精度在一副耳機中重現擁有超過300個座位的音樂混音室的聲學環境，以滿足即使是苛刻的專業人士的需求。

研究人員 衝本小勇 / 中井明仁 / 藤原正志 / 中川徹

索引：

• 空間音效技術能夠以高精度在一副耳機中重現音樂混音環境。

• 追求頭部相應函數（HRTF）個性化並開發相關的獨特技術和設備。

• 360度虛擬混音環境（360 VME）能夠在音樂混音室以外創建劇院環境，被譽為一個「改變遊戲規則」並且「救命般」的技術。

---

空間音效技術以高精度在一副耳機中重現音樂混音環境。

現在，電影、遊戲和音樂等媒體普遍使用多聲道音頻格式。近年來，出現了採用物件為基礎的音頻的新服務和產品，將聲源與位置信息結合在一起。基於這一趨勢，對於能夠高精度重現聲場的空間音效技術的需求預計將增加，因為這項技術不僅提供了更沉浸式的聲音體驗，還改善了聲音內容創作者的創作環境。

360度虛擬混音環境（360 VME）是一種已經在索尼影視娛樂（以下簡稱SPE）實際電影製作中實際應用的音頻重現技術。SPE是索尼集團的子公司，從事電影製作等業務。SPE長期以來一直面臨著音樂混音室短缺的問題，為了克服這一問題，該公司正在尋找一種能夠以與音樂混音室相同質量的方式在虛擬上聆聽聲音的方法，而這正是研發中心正在開發的空間音效技術引起了他們的注意。從那時起，研發中心一直與SPE合作實現專業級的空間音效技術。360 VME提供了足夠滿足專業音樂創作者的音質水平，有潛力推動各種音頻內容創作工作流程的演進。

360度虛擬混音環境（360 VME）是一項開創性的技術，能夠在一副耳機中重現與音樂混音室相同的聲學環境。這使得電影的音頻編輯可以在家中遠程進行。音樂創作者談論著創造新的聲音。

---

追求頭部相應函數（HRTF）個性化並開發相關的獨特技術和設備

使用雙耳處理技術，通過耳機重現3D音場。實現360度虛擬混音環境的關鍵在於將個別聽眾的頭部相應函數（HRTF）信息添加到雙耳處理中的聲源中。為了盡可能個性化HRTF，我們的開發工作涵蓋了從HRTF數據測量到信號處理和耳機重現的整個過程。這使得360度虛擬混音環境能夠以高精度重現聲場，即使對於專業的電影創作者也是如此。

---

頭部相關傳遞函數 (HRTF)

人們通過聲音到達左右耳朵的到達時間和音量差異來定位聲源。即使人們從同一個聲源聆聽聲音，他們實際上聽到的聲音也受到耳朵形狀和其他因素的極大影響。頭部相應函數（HRTF）表達了聲音從聲源到兩耳之間的變化特徵。利用這些特徵，可以在一對耳機中重現安裝有多個喇叭的空間中的聲學場景，就像在音樂混音室中一樣。

---

正面聲音再現的挑戰

在開發用於沉浸式音效重現的空間音效技術時，長期以來，重現放置在聽眾正前方的聲音一直是一個挑戰。當聲源位於聽眾左側或右側時，聲音到達耳朵的到達時間和音量存在巨大差異。然而，當聲源正好位於聽眾的正前方時，到達時間和音量幾乎沒有差異，聽眾的耳朵形狀相對較大地影響聽覺感知。為了以更高精度重現聲場，我們專注於對用於雙耳處理的頭部相應函數（HRTF）信息的個性化。

---

重現足夠高精度的聲場，甚至能夠滿足專業電影創作者的需求。

為了將個性化技術提升到實用化水平，我們與SPE密切合作，開發了所有可能影響360度虛擬混音環境（360 VME）性能的技術和設備，包括麥克風和測量工具、將測量數據轉換為播放信號的信號處理技術，以及用於播放的定制耳機。索尼能夠靈活結合各種資源，創造出新的使用體驗，這是我們的一個優勢。

通過與SPE的合作，我們從音樂創作者那裡獲得了詳細的反饋並滿足了他們的需求，這使我們能夠實現適用於實際創作環境的技術水平。音樂創作者的需求包括根據創作過程調整混響感覺或更改房間大小，以及更容易連接到複雜的大型電影音樂創作項目。

用於播放的定制耳機需要支持穩定地向兩耳傳遞聲音。這需要一種堅固的耳塞機械結構，將驅動器安裝在適當位置並以適當角度以獲得穩定的特性等。因此，與索尼的耳機設計工程師合作是不可或缺的。在360度虛擬混音環境的案例中，開發團隊成員主動與耳機設計工程師聯繫，在項目獲得正式批准之前就建立了合作框架。能夠像這樣順利與其他部門合作，也是使索尼強大且獨特的另一個方面。

---

在戲劇環境外部創建的360度虛擬混音環境被譽為一個「改變遊戲規則」並且「救命般」的技術。

在COVID-19疫情爆發之前，曾有計劃使用360度虛擬混音環境（360 VME）進行SPE多部作品的音樂混音。但是，疫情迫使美國進入封鎖狀態。因此，我們決定將這項最初用於暫時彌補音樂混音室短缺的技術用於另一個目的——遠程工作環境中的音樂混音工具。我們現在正在推動360度虛擬混音環境在電影製作中的應用。由於COVID-19疫情導致音樂混音室關閉，Tom McCarthy（索尼影視娛樂公司副總裁，後期製作設施）和SPE的創作者們讚揚360度虛擬混音環境，稱其為「改變遊戲規則」和「救命般」的技術。這些評論是我們最希望得到的最大的讚美，意味著360度虛擬混音環境已獲得專業人士的認可。

在開發360度虛擬混音環境時，我們經常與參與電影音樂創作的創作者進行討論，並利用索尼集團的專業知識和技術資產。這使我們能夠將這項技術的品質提升到令專業音樂創作者都印象深刻的完美水平。

當我們考慮將來將這項技術應用於各種音樂創作領域時，我們認為我們擁有音樂創作業務並能直接與創作者溝通是我們的優勢。電影、遊戲和音樂行業在聲音創作方面都有共同之處。但是每個行業都擁有不同的創作環境、工作流程和方法。在遊戲和音樂行業中，360度虛擬混音環境可能會以不同於電影的方式使用。我們需要在與創作者溝通的同時對技術進行優化。此外，我們打算根據不同類型的內容適當地提高技術的精確性。