在三年多的時間，我有幸負責(zé)管理一家名為Chronosapien的工作室，而我們主要是通過新興技術(shù)組件來創(chuàng)建交互式內(nèi)容。我們涉足了大量不同的技術(shù)，但VR已經(jīng)成為了我們最關(guān)注的領(lǐng)域，所以我們開始了一個名為“Shapesong”的項目。

從許多不同的角度來看，“Shapesong”項目都是一次十分獨特的經(jīng)歷。但其中一個最有趣的方面是，我們一直在學(xué)習(xí)如何最大化系統(tǒng)性能，同時不停地適應(yīng)不斷發(fā)展的媒介。在這篇文章中，我希望向大家分享如何制作一個可信和引人入勝的VR環(huán)境，包括從硬件角度來出發(fā)，尤其是CPU。

1. 全新的期待

隨著第一代設(shè)備在2016年出現(xiàn)，普羅大眾開始第一次接觸到VR體驗。由于虛擬現(xiàn)實是一種更為自然的用戶界面，所以人們對待它的方式與傳統(tǒng)媒體設(shè)備不同。我們期望VR中的內(nèi)容和體驗?zāi)軌蜃銐蜃匀弧＠?，?dāng)用戶第一次穿戴VR設(shè)備的時候，他們不會先問“我應(yīng)該要按下什么按鈕？”，而是會問“我的雙手在哪里？”。當(dāng)傳送至虛擬環(huán)境中時，用戶不會詢問他們應(yīng)該做什么，他們立即開始觸摸對象，拾取對象，以及傳統(tǒng)計算機程序用戶所無法想象的其他交互。

當(dāng)期望無法得到滿足時，真實感就會被打破，而虛擬現(xiàn)實的幻覺則會瞬間消失。用戶不再是身處于虛擬現(xiàn)實之中，他們只是通過透鏡來感知一個數(shù)字模擬，周圍則充斥著毫不掩飾的設(shè)計元素和腳本化場景。

虛擬現(xiàn)實存在一系列不涉及構(gòu)建虛擬環(huán)境的用例。但如果VR應(yīng)用程序的目標是沉浸和傳送，作為開發(fā)者和設(shè)計者的我們就必須創(chuàng)建一個栩栩如生的世界，能夠像我們的物理世界那樣響應(yīng)用戶。這意味著我們要創(chuàng)建一個可以改變和轉(zhuǎn)換的環(huán)境，創(chuàng)建可以抓取和投擲的對象，以及創(chuàng)建可以塑造和變形的工具。

這就是下一代交互式體驗，一個栩栩如生的虛擬世界。對此，用戶自然而然地期望他們可以像物理世界一樣與虛擬世界進行交互，但他們忽略的是沉浸感和交互性背后的所有計算。開發(fā)者的責(zé)任是利用現(xiàn)有工具和技術(shù)實現(xiàn)這種逼真的虛擬世界，但他們的力量有限。在某些時候，他們需要利用更高性能的硬件來實現(xiàn)目標。

這是我和我的團隊所面臨的挑戰(zhàn)。在開發(fā)VR體驗“Shapesong”的時候，我們學(xué)習(xí)到創(chuàng)建沉浸感所需的一切，我們知道如何才能實現(xiàn)這一點。但交互性和沉浸感的廣度是如此之大，而計算資源在傳統(tǒng)系統(tǒng)上又是如此受限制，我們被迫進行權(quán)衡選擇，或者發(fā)揮自己的創(chuàng)意。這種感覺就像是把一根吸管塞進一塊石頭。

在本文中，我希望與大家探討“Shapesong”在什么方面為CPU性能施加了壓力，這對用戶有什么影響，以及為什么功能更強大的CPU能夠加強沉浸感。我的目標是幫助大家更好地理解高端VR系統(tǒng)在實現(xiàn)這種高度沉浸感體驗中的優(yōu)勢。

2. “Shapesong”是什么？

首先，我們先來看看什么是“Shapesong”?！癝hapesong”是我們面向下一代音樂交互式體驗的解決方案。用戶可以自由探索音樂環(huán)境，發(fā)現(xiàn)可以用于虛擬樂器中的聲音，創(chuàng)建可以舞動和游樂的歌曲，以及與自己或其他人的克隆體一起演奏音樂。我喜歡把它簡單描述為《幻想曲》與《查理和巧克力工廠》在一個共享虛擬世界中的結(jié)合。

我們對“Shapesong”的目標是創(chuàng)造一個能夠以音樂形式游樂的完整世界，并支持用戶通過他們發(fā)現(xiàn)的環(huán)境與樂器來制作出屬于自己的體驗。我們同時試圖創(chuàng)造一種融合視覺和音樂表演的聯(lián)覺體驗，讓表演者和觀眾都能完全沉浸其中。

體驗存在大量需要設(shè)計和實時控制的方面，所以運行“Shapesong”的系統(tǒng)功能變得尤為重要。

3. 創(chuàng)建一個音樂世界

虛擬現(xiàn)實要求的幀率達到90fps，或者說每幀11毫秒。與之相比，傳統(tǒng)體驗的幀率為30FPS，而且在特定位置低于30FPS也不會造成重大影響。但虛擬現(xiàn)實卻非如此。VR實際上需要渲染兩個版本的場景，一個左眼一個右眼。盡管要求存在一定的例外，而且存在可以利用的輔助技巧，但毫無疑問的是VR對計算的要求十分嚴格。

我們?yōu)椤癝hapesong”設(shè)計了一系列特定的功能，而這對VR系統(tǒng)提出了更加嚴格的性能要求。從技術(shù)的角度來看，“Shapesong”是數(shù)字音頻工作站 (DAW) 和游戲在虛擬環(huán)境中的結(jié)合。這三者均對CPU提出了巨大的計算負擔(dān)。下面我們不妨來看看“Shapesong”中完全依賴于CPU性能的部分。

3.1 音頻處理

作為一款音樂游戲，“Shapesong”需要處理大量的音頻。除了對環(huán)境，玩家和UI聲音進行基準渲染以外，我們還會在不同時間段播放與樂器相關(guān)的聲音。事實上，多個樂器的平均音頻處理負載是基準（只演奏一件樂器時）的20倍。

這是樂器的幕后工作原理。如果你希望在樂器上演奏一個聲音（或者說一個音符），你需要播放這個音符的音頻片段。從某些方面來說，完整的鋼琴包含88個可以在特定時間內(nèi)彈奏的不同琴鍵（或者說音符）。如果你在“Shapesong”中彈奏類似的虛擬樂器，你最多可以同時播放88個不同的音頻片段。然而，這是假設(shè)了每個音符在同一時間段只彈奏一個活動音符（或者說聲音），但對“Shapesong”而言情況并不總是如此。

除了基于音頻片段的樂器演奏方法外，我們還可以通過另一種方法來演奏樂器：聲音合成。但聲音合成不能代替采樣（sample），而且這需要獨特的處理負載。我們希望“Shapesong”能夠支持兩種方法，從而在彈奏音樂時可以實現(xiàn)最大的靈活性。

3.2 環(huán)境效果

我在上文已經(jīng)提到，我們希望在“Shapesong”中實現(xiàn)視覺和音樂表演的結(jié)合，從而實現(xiàn)全新的音樂體驗。所以，播放的音樂需要與環(huán)境中的視覺效果保持同步。

大多數(shù)人認為游戲或體驗中的所有圖形都是由GPU渲染，但實際上CPU圖形渲染管道上扮演十分重要的角色，因為繪制調(diào)用是由CPU所執(zhí)行。繪制調(diào)用本質(zhì)上是指CPU確定圖形任務(wù)并將其發(fā)送到GPU的過程?？偟膩碚f，當(dāng)存在需要繪制到屏幕的獨特任務(wù)時，系統(tǒng)將需要CPU執(zhí)行繪制調(diào)用。

在Unity中，“Shapesong”引擎和繪制調(diào)用在一個名為“批量處理”的流程中得到了優(yōu)化。批量處理采集相似的繪制調(diào)用，將它們聚集到單個調(diào)用，然后再發(fā)送至GPU，這能夠極大地節(jié)省計算時間。但Unity只有在特定條件下才會對調(diào)用執(zhí)行批量處理，而其中一個條件是所有對象都共享相同的材料。另一個條件則是批量處理對象必須全部靜止，不能夠改變位置或以任何方式運動。對于靜態(tài)環(huán)境而言（比方說共享相同材料的200棵樹），批量處理的效果非常優(yōu)秀。但如果你希望每一顆樹都對玩家輸入或音樂演奏產(chǎn)生獨特的響應(yīng)，批量處理將無法起到相同的作用。

無論虛擬世界是否需要響應(yīng)音樂，這對創(chuàng)建栩栩如生的虛擬世界而言提出了巨大的挑戰(zhàn)。如果無法移動或改變某個場景中的對象，我們應(yīng)該如何令這個場景變得栩栩如生呢？現(xiàn)實情況是，你不得不權(quán)衡需要進行生動演示的部分，而且在實現(xiàn)方式上發(fā)揮自己的創(chuàng)意（這也是游戲開發(fā)所普遍面臨的一個長期問題）。正如我在前文所說，傳統(tǒng)體驗和下一代體驗的區(qū)別在于用戶的期待。

3.3 物理對象

要實現(xiàn)一個栩栩如生的虛擬世界，我們不僅需要在環(huán)境中添加動畫，我們還要根據(jù)大家早已習(xí)以為常的物理定律來設(shè)計動畫。事實上，你甚至可以認為當(dāng)前的VR系統(tǒng)不是真正的VR系統(tǒng)，它們只是疊加了一層虛擬世界的增強虛擬。為什么這么說呢？因為盡管在VR中看到了虛擬環(huán)境，但我們依然站在物理世界中，受所有物理世界的自然規(guī)律所束縛。重點是，如果你希望創(chuàng)建一個無縫的自然體驗，同時不破壞這種幻覺，你將需要確保虛擬世界的物理與現(xiàn)實世界相匹配。

我們希望在“Shapesong”中創(chuàng)建一種自然的體驗，能夠支持用戶利用環(huán)境中的對象進行演奏，并以此來探索音樂環(huán)境。例如，當(dāng)用戶撿起一塊石頭并在池塘上打水漂時，我們希望石頭滑過水面時會播放音符；或者說當(dāng)用戶往下拍球時，球體下落時會出現(xiàn)音高的變化。這樣做的目的是，以一種不令人膽怯的方式來鼓勵非專業(yè)人士進行音樂探索。

盡管在游戲引擎中啟用物理并非是難于登天，但成本極其高昂，對CPU資源的消耗也十分可觀。物理系統(tǒng)不僅需要逐幀計算受物理約束的對象的新位置，同時還需要檢測對象與其余環(huán)境的接觸。隨著這種物理支持的對象和相接觸對象的數(shù)量增多，成本也將隨之增加。

3.4 表演錄制

令“Shapesong”與眾不同的一點是，用戶可以自行錄制表演。我們希望表演錄制能夠充分利用VR及其運行系統(tǒng)的功能。以往在通過數(shù)字音頻工作站錄制音樂時，你只能捕捉彈奏的音符，系統(tǒng)不能捕捉手指演奏琴鍵的動作，也無法捕捉頭部的擺動。但音樂的重點不僅只是你所彈奏的音符，你所彈奏的方式同樣是十分重要的組成部分。

我們記錄了用戶的所有輸入，并將它們制作成一段可以通過虛擬化身實現(xiàn)的動畫。當(dāng)用戶錄制一次表演的時候，他們基本上是克隆自己在特定時間段內(nèi)的活動。對于彈奏樂器，這意味著克隆你在演奏音樂時的一切行為。對于其他，這意味著克隆你與環(huán)境的交互，你的跳舞，或者僅僅只是打招呼這一動作。

盡管錄制一場表演不會消耗太多的資源，但播放表演卻會恰恰相反，尤其在以表演規(guī)模進行播放時。例如，一首歌的某一節(jié)中可能同時彈奏了四種或五種樂器，而這期間可能同時包含一定的視覺表演，如跳舞或與環(huán)境中對象進行交互。因此，用戶在典型演奏中的任意時刻可能會播放10個或以上的演奏錄制。每一個角色都有三個部分需要錄制：左手，右手和頭部。我們同時追蹤了角色所握持的對象，以及這些對象的狀態(tài)。在典型環(huán)境中，播放的對象或?qū)傩钥傆嬛辽儆?00個，而每一幀都需要對它們進行處理。

4. 更強大的硬件性能將帶來怎樣的變化？

顯然，虛擬現(xiàn)實提出了嚴格的性能要求，模擬沉浸式環(huán)境及其功能可能需要付出高昂的資源消耗。但這意味著什么呢？CPU的性能要求將會對VR的最終體驗產(chǎn)生怎樣的影響呢？

更強大CPU性能可以帶來的一個主要影響是，擴大虛擬環(huán)境的規(guī)模。你不妨看看以往的虛擬現(xiàn)實體驗，它們幾乎全部存在于小房間之內(nèi)，而且交互性非常有限。例如，Tilt Brush限制了環(huán)境畫布的規(guī)模，而它們在最近的更新中才支持用戶走出房間尺度的范圍?！禠ab》的場景位于一個實驗室之內(nèi)，而這實際上只有幾個房間尺度的大小。即使是《Lucky’s Tale》這樣看起來更為開放的VR環(huán)境，它們也遠遠比不上同類的現(xiàn)代平臺游戲（如《超級馬里奧銀河》）。由于CPU提供了更卓越的性能，這種環(huán)境能夠進一步擴大，從而為玩家創(chuàng)建一個更加無縫和更為多樣的世界。

更強大CPU性能可以為VR體驗帶來的另一個影響是，提高VR體驗的交互性。大多數(shù)舊款體驗注重于某一類交互性，然后再對其進行擴展。例如《Job Simulator》是一款物理沙盒，支持用戶拾取對象或以獨特和有趣的方式來混合對象；《Raw Data》屬于大型射擊游戲，系統(tǒng)可以生成一波接一波的敵人；《Audio Shield》則是根據(jù)音樂節(jié)奏生成球體，而玩家可以利用盾牌進行格擋。盡管上述游戲非常優(yōu)秀，同時十分好玩，但體驗的深度相對不足。因此，它們的吸引力遠遠比不上其他熱門的非VR游戲。更強大的處理能力可以減輕每個交互系統(tǒng)對硬件施加的壓力，而這有助于提升交互性的寬度和深度?！秮喞Ｄ顷柟狻肪褪且粋€例子，這款游戲在原有的多人射擊體驗基礎(chǔ)上利用高性能CPU啟用了大量的物理對象和僵尸，大大增加了游戲的沉浸感和吸引力。

這種效果正是“Shapesong”所提供的體驗。隨著我們啟動更多的功能，我們必須節(jié)省環(huán)境的投入；隨著我們添加更多的角色，我們必須限制主動音頻語音的總數(shù)；當(dāng)我們?yōu)橐魳穯⒂酶嗟囊曈X效果時，我們必須降低其它方面的圖形保真度。這種妥協(xié)并非僅限于虛擬現(xiàn)實，它們一直存在于各種游戲或體驗之中。但不同之處在于用戶的預(yù)期，我們都期待一個逼真的虛擬環(huán)境，所以虛擬現(xiàn)實系統(tǒng)對性能的要求至少比傳統(tǒng)系統(tǒng)高出兩倍。提升VR系統(tǒng)中的CPU性能將有助于創(chuàng)建這種高度沉浸和高度逼真的虛擬世界。

5. 展望未來

對于虛擬現(xiàn)實，我們正處于媒介新范式變革的最前沿。我們不再是通過一個有限窗口來知覺腦海中的奇幻世界，我們直接進入了人類幻想的深處，我們現(xiàn)在可以與這個世界及其里面的對象進行生動而逼真的交互。這是一個全新的目標，而我們在定義下一代虛擬體驗之前必須重新思考實現(xiàn)這一體驗的技術(shù)。正如宇航員不會坐著一架嚓嘎嚓嘎的飛船前往月球，我們也不會借助用于瀏覽網(wǎng)頁的PC來探索VR世界。

但要實現(xiàn)這種虛擬現(xiàn)實體驗，我們不能只依賴于最新的計算技術(shù)。我們創(chuàng)建的設(shè)計需要能夠模擬出一個足夠沉浸的世界，同時又可以實現(xiàn)真正的逃避感。對于開發(fā)“Shapesong”的開發(fā)者來說，這意味著我們需要通過一種既熟悉又新穎的物理法則來創(chuàng)建環(huán)境，并且利用直觀而獨特的交互式方法來創(chuàng)建樂器。當(dāng)然，每一種全新的虛擬現(xiàn)實體驗都有其獨特的風(fēng)格和挑戰(zhàn)極限的方式。但是，它們都需要依靠一定的技術(shù)條件來實現(xiàn)相應(yīng)的目標。