從游戲到專業(yè)培訓(xùn)，虛擬現(xiàn)實和混合現(xiàn)實提供了一種沉浸在體驗中的新穎方式。然而，當(dāng)前的VR/MR技術(shù)存在一個根本性的挑戰(zhàn)：以臨場感所需的極高分辨率呈現(xiàn)圖像。這對渲染引擎和傳輸過程提出了巨大的要求。頭顯往往沒有足夠的顯示分辨率，這會限制視場，令體驗變得糟糕。為了驅(qū)動更高分辨率的頭顯，傳統(tǒng)的管道需要高端處理能力，但即使是高端移動處理器也無法實現(xiàn)這一點。盡管挑戰(zhàn)將毫無疑問地繼續(xù)出現(xiàn)，但關(guān)于提高顯示分辨率的研究同時在為我們帶來希望。

為了進一步提高VR和MR的視覺質(zhì)量，我們提出了一個利用人類視覺感知優(yōu)勢的管道，能夠以低計算和低功耗的方式實現(xiàn)優(yōu)秀的視覺質(zhì)量。本文提出的管道考慮了完整的系統(tǒng)相依性，包括渲染引擎，內(nèi)存帶寬和顯示模塊本身的能力。我們確定，目前的限制不僅僅局限于內(nèi)容創(chuàng)建，可能同時存在于傳輸數(shù)據(jù)，處理延遲，以及與真實對象（混合現(xiàn)實應(yīng)用程序）進行交互方面。這個管道包括：1.專注于減少每像素計算的Foveated Rendering（注視點渲染）；2.有助于減少視覺偽影的Foveated Image Processing（注視點圖像處理）；3.有助于每像素位數(shù)傳輸?shù)腇oveated Transmission（注視點傳輸）。

1. 注視點渲染

對于人類的視覺系統(tǒng)，中央凹為視場中心提供了更清晰的視覺，而外圍視場的視覺質(zhì)量則相對更低。注視點渲染利用這一特性來減少頭顯外圍視覺的空間分辨率，從而減少每像素的計算。為了做到這一點，高視敏度（High Acuity，HA）區(qū)域需要通過眼動追蹤進行更新，確保感知視圖與眼球掃視保持一致，從而為用戶提供視場范圍內(nèi)的恒定高分辨率感知。相反，缺乏眼動追蹤的系統(tǒng)可能需要渲染更大范圍的HA區(qū)域。

左邊圖像以全分辨率呈現(xiàn)。右邊圖像使用了兩層注視點渲染，一個以高分辨率渲染（黃色區(qū)域內(nèi)）和一個以較低分辨率渲染（黃色區(qū)域外部）。

傳統(tǒng)的注視點渲染技術(shù)可能會將幀緩沖區(qū)分成多個空間分辨率區(qū)域。當(dāng)由于頭部運動或動畫導(dǎo)致內(nèi)容出現(xiàn)運動時，呈現(xiàn)降低空間分辨率而帶來的鋸齒有可能導(dǎo)致可察覺的瞬時偽影。以下例子說明了由于頭部旋轉(zhuǎn)而帶來的瞬時偽影。

左邊是平滑的完整渲染；右側(cè)則顯示了注視點區(qū)域由于運動而導(dǎo)致的瞬時偽影。

在下面的章節(jié)中，我們將介紹兩種不同的偽影減少方法：Phase-Aligned Foveated Rendering（相位對齊注視點渲染）和共形注視點渲染（Conformal Foveated Rendering）。每一種都在渲染過程中為視覺質(zhì)量提供了不同的好處，并且適用于不同的條件。

2. 相位對齊渲染

由于渲染內(nèi)容的二次采樣，低視敏度（Low-Acuity，LA）區(qū)域在注視點渲染期間會產(chǎn)生鋸齒。對于上文所述的傳統(tǒng)注視點渲染，當(dāng)用戶移動頭部時，顯示像素網(wǎng)格將同時在虛擬場景上移動，所以這種鋸齒偽影會在幀與幀之間閃爍。這些像素相對于場景的運動會導(dǎo)致所有現(xiàn)有的鋸齒偽影閃爍，而用戶十分容易察覺到這一點，即便是在外圍視覺也同樣如此。

在相位對齊渲染中，我們強制LA區(qū)域截錐與世界（例如總是面向北，東，南等等）對齊，而不是與當(dāng)前幀的頭部旋轉(zhuǎn)對齊。大部分鋸齒偽影與頭部姿勢無關(guān)，因此更不容易察覺。在上采樣之后，這些區(qū)域?qū)⒅匦峦队爸磷罱K的顯示屏，以補償用戶的頭部旋轉(zhuǎn)，這樣可以減少瞬時閃爍。與傳統(tǒng)的方法一樣，我們將HA區(qū)域渲染至一個單獨的通道，并將其覆蓋在注視點處的合并圖像上。下圖是傳統(tǒng)注視點渲染和相位對齊渲染的比較：

非世界對齊的渲染內(nèi)容出現(xiàn)了瞬時偽影（左邊）；右邊則是相位對齊方法的效果。

這種方法能夠大大減少渲染過程中的視覺偽影。在相同水平的敏度降低下，相位對齊渲染比傳統(tǒng)注視點渲染需要更多的計算，但盡管如此，我們?nèi)匀豢梢酝ㄟ^提高注視點渲染水平來實現(xiàn)更優(yōu)秀的渲染效果，而且無需擔(dān)心產(chǎn)生過多的偽影。

3. 共形渲染

另一種用于注視點渲染的方法是，根據(jù)視覺注視點到屏幕距離的非線性映射，在一個匹配視敏度分辨率下降程度平滑變化的空間中渲染內(nèi)容。

這種方法存在兩個主要的好處。首先，通過緊密匹配人眼視覺保真度的下降，我們可以減少計算的像素總數(shù)（與其他方法相比）；其次，通過利用保真度的平滑下降，我們可以防止用戶在高視敏度和低視敏度之間看到一條清晰的界線，而這通常是用戶首先注意到的偽影之一。這兩個好處可以支持系統(tǒng)使用更高程度的注視點渲染，同時保持相同的質(zhì)量水平，從而產(chǎn)生更多的資源節(jié)約。

對于這種方式的執(zhí)行，我們將虛擬場景的頂點扭曲成非線性空間。接下來，這個場景以降低的分辨率進行光柵化，然后作為后處理效果（結(jié)合以透鏡畸變校正）而恢復(fù)成線性空間。

請點擊此處輸入圖片描述

比較傳統(tǒng)注視點渲染方法（左）與共形渲染（右），后者將內(nèi)容渲染至與視覺感知靈敏度和頭像透鏡特性相匹配的空間。兩種方法都使用相同數(shù)量的總像素。

與相位對齊方法相比，共形渲染的主要優(yōu)點在于：這種方法只需進行一次光柵化。對于存在許多頂點的場景而言，這個優(yōu)勢可以帶來大量的資源節(jié)約。此外，盡管相位對齊渲染可以減少閃爍，但它仍然會在高視敏度區(qū)域和低視敏度區(qū)域之間產(chǎn)生明顯的界限，而共形渲染則不會顯示這種偽影。然而，共形渲染的缺點是，外圍視覺的鋸齒偽影仍然會閃爍，這對需要高視覺保真度的應(yīng)用而言可能不太理想。

4. 注視點圖像處理

頭顯通常需要在渲染之后執(zhí)行圖像處理步驟，比如說局部色調(diào)映射，透鏡畸變校正或照明混合。隨著圖像處理的進行，不同的操作將應(yīng)用于不同的操作區(qū)域。作為示例，包括色差校正在內(nèi)的透鏡畸變校正或許不需要為顯示器的每個部分提供相同的空間精度。在放大之前，通過對新內(nèi)容進行透鏡畸變校正，我們將能在計算資源中獲得顯著的節(jié)約。另外，這種技術(shù)不會產(chǎn)生可感知的偽影。

請點擊此處輸入圖片描述

在注視點空間為頭部顯示器校正透鏡色差。頂部圖像為傳統(tǒng)的管道；底部圖像（綠色）則顯示了在注視點空間中的操作。

請點擊此處輸入圖片描述

左圖為透鏡畸變后重建的注視點內(nèi)容；右圖則顯示了通過注視點方式執(zhí)行透鏡畸變校正時的圖像差異（幾乎無差異）。在右圖中，幀緩沖區(qū)邊緣附近產(chǎn)生了最小誤差，而頭顯用戶通常難以察覺這些誤差。

5. 注視點傳輸

對一體機而言，一個重要的功耗來源是從系統(tǒng)級芯片（SoC）到顯示模塊的數(shù)據(jù)傳輸。為了降低功耗和帶寬，我們使用注視點傳輸來向顯示器傳輸所需的最小數(shù)據(jù)量，如下圖所示。

注視點傳輸能夠支持流式內(nèi)容進行預(yù)重建（右圖），并且減少傳輸?shù)奈粩?shù)，而不是說傳輸放大的注視點內(nèi)容（左圖）。

請點擊此處輸入圖片描述

這種改變需要將簡單的放大和混合操作移至顯示端，并且只傳輸注視點渲染內(nèi)容。如果眼動追蹤隨著上圖中的注視點區(qū)域（紅框）移動，這將會出現(xiàn)復(fù)雜性。由于在SoC和顯示器之間使用的Display Stream Compression（顯示傳輸壓縮，DSC）不是為內(nèi)容創(chuàng)建而設(shè)計，所以此類運動可能會導(dǎo)致瞬時偽影（下圖）

請點擊此處輸入圖片描述

左邊是完全整合的注視點渲染和壓縮技術(shù)（左）；右圖則是可能因為在注視點內(nèi)容中應(yīng)用DSC而造成的典型閃爍偽影。

6. 新的管道

我們專注于“注視點管道”的一些組成部門。通過考慮注視點管道對顯示系統(tǒng)各部分（渲染，處理和傳輸）的影響，我們可以實現(xiàn)下一代輕量級，低功耗和高分辨率的MR/VR頭顯。多年來，這一直是研究領(lǐng)域的一個積極討論的話題，相信搭載注視點管道的VR和MR頭顯將于未來幾年內(nèi)出現(xiàn)。