0
| 本文作者： 劉芳平 | 2019-07-16 14:28 |
雷鋒網(wǎng)按：本文作者馬杰思（微信：jiesima），小米VR/AR高級(jí)總監(jiān)
5G來(lái)了，VR/AR概念似乎回暖了。投資、咨詢(xún)、市場(chǎng)分析等領(lǐng)域里關(guān)注5G+VR/AR的人又多了起來(lái)。然而也有不少?gòu)臉I(yè)者認(rèn)為5G+VR/AR純屬概念炒作，認(rèn)為兩者之間并沒(méi)有一毛線(xiàn)關(guān)系，甚至大有談5G就踢群的架勢(shì)。
所以5G+VR/AR到底有沒(méi)有真實(shí)的價(jià)值？在做了相關(guān)的研究后，我們認(rèn)為：
1、5G的大帶寬特性對(duì)于VR的價(jià)值是在線(xiàn)觀看5K以上分辨率的全景視頻，對(duì)于AR在現(xiàn)階段價(jià)值不大。
2、5G低時(shí)延特性的價(jià)值是通過(guò)云游戲技術(shù)提升畫(huà)質(zhì)，同時(shí)幫助云游戲技術(shù)降低其“網(wǎng)絡(luò)時(shí)延”，使得采用云游戲技術(shù)方案的VR/AR產(chǎn)品的“運(yùn)動(dòng)到成像時(shí)延”能夠達(dá)到20毫秒的及格線(xiàn)以?xún)?nèi)（“網(wǎng)絡(luò)時(shí)延”是“運(yùn)動(dòng)到成像時(shí)延”的組成部分）。
3、5G的低時(shí)延特性并無(wú)法直接幫助現(xiàn)在的VR/AR產(chǎn)品降低“運(yùn)動(dòng)到成像時(shí)延”。
下文我們將詳細(xì)拆解5G與VR/AR的關(guān)系。
要讓5G發(fā)揮作用，先得讓VR/AR連上5G網(wǎng)絡(luò)。
我們先說(shuō)VR。VR領(lǐng)域中最為主流的品類(lèi)是VR一體機(jī)，即無(wú)需連接手機(jī)或PC，內(nèi)置處理器，可以獨(dú)立使用的VR產(chǎn)品。VR一體機(jī)使用的芯片組往往是手機(jī)3年前的配置，目前主流產(chǎn)品依然在使用高通驍龍821和835。這些芯片組不具備直接接入5G網(wǎng)絡(luò)的能力。
其實(shí)不僅僅是VR，現(xiàn)存的各類(lèi)其他硬件產(chǎn)品也都不支持5G，僅支持Wi-Fi或4G。
為了應(yīng)對(duì)這一問(wèn)題，出現(xiàn)了5G CPE這樣的設(shè)備。它可以將5G信號(hào)轉(zhuǎn)化為Wi-Fi信號(hào)，現(xiàn)存產(chǎn)品就可以通過(guò)Wi-Fi連到5G CPE，再連上5G網(wǎng)絡(luò)了。
聽(tīng)起來(lái)這和千兆家庭寬帶也沒(méi)有什么區(qū)別嘛？從家庭的使用場(chǎng)景來(lái)看，確實(shí)如此，無(wú)論使用5G CPE還是千兆家庭寬帶，VR一體機(jī)均為通過(guò)Wi-Fi進(jìn)行連接，兩者達(dá)到的下載速率也是相似的（千兆bps）。
同時(shí)，由于VR是全沉浸式的體驗(yàn)，絕大部分用戶(hù)是在家里使用，對(duì)于移動(dòng)性的需求較小，因此千兆家庭寬帶能很好發(fā)揮作用，對(duì)于5G網(wǎng)絡(luò)的需求則相對(duì)較小。 
數(shù)據(jù)來(lái)源：小米VR用戶(hù)調(diào)研
千兆家庭寬帶和5G，在面對(duì)復(fù)雜的城鄉(xiāng)基礎(chǔ)設(shè)施環(huán)境時(shí)，都存在鋪設(shè)網(wǎng)絡(luò)的可行性、效率、成本等問(wèn)題。所以，對(duì)于VR來(lái)說(shuō)，關(guān)鍵是看5G CPE和千兆家庭寬帶誰(shuí)能更快更廣的普及了。
對(duì)于AR來(lái)說(shuō)，故事則有所不同。
目前國(guó)內(nèi)做AR眼鏡的整體思路是，讓AR眼鏡通過(guò)有線(xiàn)方式連接到手機(jī)上（Displayport over Type-C），AR眼鏡僅僅作為顯示單元，運(yùn)算和電池都是用的手機(jī)，以此來(lái)降低眼鏡的重量，提升佩戴舒適性（雖然現(xiàn)在的技術(shù)距離全天舒適佩戴還有很遠(yuǎn)的距離）。
因此AR眼鏡是否能連上5G網(wǎng)絡(luò)，主要得看它連接的手機(jī)是否支持5G。目前已經(jīng)能看到，多家手機(jī)廠商放出了5G實(shí)測(cè)視頻，相信5G手機(jī)的面世也將很快發(fā)生。相比VR，AR眼鏡能夠相對(duì)輕松的搭上5G手機(jī)這趟順風(fēng)車(chē)。
好，現(xiàn)在連上5G了，Now what?
5G有三大特性：大帶寬、超低時(shí)延與高可靠性、大規(guī)模連接。其中前兩者是與VR/AR息息相關(guān)的，我們接下來(lái)分別進(jìn)行討論。
來(lái)源：OFweek物聯(lián)網(wǎng)
5G大帶寬對(duì)于VR的作用在于提升全景視頻的分辨率和碼率，從而達(dá)到更好的觀看體驗(yàn)。
雖然目前的VR設(shè)備都可以觀看全景視頻，但是分辨率和碼率往往達(dá)不到及格線(xiàn)，看起來(lái)感覺(jué)糊成一鍋粥，這是一個(gè)普遍的問(wèn)題。
我們來(lái)看看及格線(xiàn)的要求是什么。
在看視頻的時(shí)候，我們希望視頻的分辨率與屏幕的分辨率保持一致，以達(dá)到最好的效果。比如用1080p的電腦屏幕看1080p的視頻，是最佳體驗(yàn)。
VR頭顯的視場(chǎng)角一般是110°左右，全景視頻是一個(gè)360°的球體，相當(dāng)于VR頭顯視場(chǎng)角的3倍多。VR頭顯屏幕分辨率一般為2K或4K，因此全景視頻的最佳分辨率也是其3倍多，即8K或12K。
只有達(dá)到這樣的分辨率才能有優(yōu)秀的觀影體驗(yàn)，然而這樣的分辨率對(duì)于寬帶速率要求是極高的。
現(xiàn)在主流視頻平臺(tái)的1080p視頻，碼率大約在1~2Mbps。比如愛(ài)奇藝的《海王》全長(zhǎng)2.17小時(shí)，1080p視頻文件大小為1.58GB，碼率約為1.6Mbps。我國(guó)平均的網(wǎng)速速率遠(yuǎn)高于這一碼率，所以一般情況下，你看1080p視頻沒(méi)有任何問(wèn)題。
而VR全景視頻的碼率則要高了一個(gè)數(shù)量級(jí)。以行業(yè)標(biāo)桿的Oculus Studios出品的《Henry》為例，其片長(zhǎng)為8分42秒，分辨率為5K，文件大小為1.3GB，碼率約為20.8Mbps。這已經(jīng)接近我國(guó)平均網(wǎng)速速率，大量用戶(hù)會(huì)無(wú)法流暢地在線(xiàn)觀看，必須要下載下來(lái)看才行。
來(lái)源：中國(guó)寬帶發(fā)展聯(lián)盟公布的2018年第四季度《中國(guó)寬帶速率狀況報(bào)告》
這就有點(diǎn)像15年前，大家看視頻都得先通過(guò)BT或電驢下載下來(lái)一樣。現(xiàn)在你要看一個(gè)超高清的、高碼率的優(yōu)質(zhì)VR全景視頻，也需要先下載下來(lái)，才能保證最好的觀影體驗(yàn)。
5G和千兆家庭寬帶，使得網(wǎng)絡(luò)速率提升到1000Mbps左右，讓在線(xiàn)觀看20Mbps的全景視頻成為可能，大家觀看VR全景視頻就和現(xiàn)在愛(ài)奇藝1080p視頻的體驗(yàn)一樣了。
除了視頻之外，VR云游戲同樣需要大帶寬。VR云游戲其實(shí)也是一個(gè)全景視頻流，也是360°的，因此也需要上述相同的分辨率和碼率，才能達(dá)到最佳的體驗(yàn)效果。
對(duì)于AR來(lái)說(shuō)，5G的大帶寬有什么作用？
當(dāng)前行業(yè)所暢想的AR眼鏡應(yīng)用場(chǎng)景主要分為兩類(lèi)：
第一類(lèi)是手機(jī)的大屏化：將手機(jī)操作系統(tǒng)變成一個(gè)大屏的、多窗口的體驗(yàn)。
來(lái)源：Rokid Vision AR眼鏡概念視頻
手機(jī)的大屏化場(chǎng)景所需的網(wǎng)絡(luò)帶寬與現(xiàn)有手機(jī)和PC無(wú)差異，5G無(wú)法提供額外的附加價(jià)值。
第二類(lèi)是原生AR體驗(yàn)：即利用計(jì)算機(jī)視覺(jué)識(shí)別現(xiàn)實(shí)中的場(chǎng)景，將虛擬信息有機(jī)的疊加到現(xiàn)實(shí)的場(chǎng)景中。
原生AR體驗(yàn)往往是基于3D圖形的，5G大帶寬的作用主要是提升3D模型的實(shí)時(shí)加載速度，讓3D模型無(wú)需提前下載到本地，只有需要用到的時(shí)候再?gòu)脑贫诉M(jìn)行加載，減少包體大小（注意，這并不是云游戲的技術(shù)方案）。
然而3D圖形加載速度這個(gè)改善的價(jià)值十分微小。受限于移動(dòng)設(shè)備的算力，3D模型文件體積并不大，而且大部分應(yīng)用場(chǎng)景對(duì)于實(shí)時(shí)加載的需求也并不強(qiáng)烈。
只有等到對(duì)3D模型的精度需求極高、對(duì)3D模型實(shí)時(shí)加載的需求很強(qiáng)的情況下，5G才有其發(fā)揮的價(jià)值。目前能看到這樣的場(chǎng)景就是VR/AR Telepresence（又稱(chēng)VR/AR Holoportation），即將人體進(jìn)行3D重建或體量捕捉（Volumetric Capture）后，遠(yuǎn)程進(jìn)行近似于面對(duì)面一般的VR/AR通信。不過(guò)這樣的技術(shù)還處于實(shí)驗(yàn)室階段，距離消費(fèi)市場(chǎng)還很遙遠(yuǎn)。
另外，由于AR眼鏡并不適合觀看全景視頻，因此5G的大帶寬也無(wú)用武之地。
一提到5G低時(shí)延對(duì)于VR/AR的作用，你能在各種媒體上看到類(lèi)似“5G降低VR/AR時(shí)延，解決VR/AR眩暈感”這樣的說(shuō)法。
這是一個(gè)巨大的誤區(qū)。
5G對(duì)于降低VR/AR時(shí)延沒(méi)有任何的作用。
要講清楚這個(gè)問(wèn)題，我們先來(lái)看什么是VR/AR時(shí)延。VR/AR時(shí)延又稱(chēng)為運(yùn)動(dòng)到成像時(shí)延（Motion-to-Photon Latency），是指從IMU或視覺(jué)傳感器檢測(cè)頭部/手部的運(yùn)動(dòng)，到圖像引擎渲染出對(duì)應(yīng)的新畫(huà)面并顯示到屏幕上，這樣一個(gè)鏈路的時(shí)延。
主流的VR頭顯均已在本地做到了20毫秒以?xún)?nèi)的運(yùn)動(dòng)到成像時(shí)延，整個(gè)鏈路都是在本地設(shè)備上完成的，并不需要連網(wǎng)。20毫秒是一個(gè)人類(lèi)感知的黃金分割線(xiàn)，時(shí)延低于20毫秒，我們就感覺(jué)不到了。我們測(cè)試過(guò)一些2018年的產(chǎn)品，時(shí)延已經(jīng)達(dá)到了10毫秒左右。
有人可能要說(shuō)了，那既然已經(jīng)做到20毫秒以?xún)?nèi)了，為什么我玩VR還會(huì)眩暈？
那是因?yàn)閷?dǎo)致VR眩暈的因素不止是時(shí)延，而是共有三個(gè)：時(shí)延、光學(xué)參數(shù)、內(nèi)容舒適度。目前的技術(shù)已經(jīng)解決了時(shí)延和光學(xué)參數(shù)的問(wèn)題，但是在內(nèi)容設(shè)計(jì)上帶來(lái)的眩暈感是無(wú)解的，VR游戲和體驗(yàn)中的劇烈運(yùn)動(dòng)和快速移動(dòng)依然可能會(huì)讓你眩暈。這完全取決于你對(duì)暈動(dòng)癥的耐受程度，每個(gè)人都有所不同。
這也是為什么全球最好的VR品牌Oculus在2014年解決了時(shí)延和光學(xué)參數(shù)的問(wèn)題之后，還對(duì)其內(nèi)容進(jìn)行了舒適度評(píng)級(jí)，讓用戶(hù)根據(jù)自己的耐受度選擇適合自己的VR體驗(yàn)。
我們說(shuō)回5G。再重復(fù)一遍，5G對(duì)于降低現(xiàn)有VR/AR產(chǎn)品的運(yùn)動(dòng)到成像時(shí)延沒(méi)有任何作用。
假設(shè)非要在這個(gè)鏈路上加入5G，反而只會(huì)增加整個(gè)鏈路的時(shí)延。比如，如果將圖像引擎渲染這一步放在云端來(lái)做，也就是云游戲的做法，那么就會(huì)引入5G上下行帶來(lái)額外的時(shí)延。5G的理論時(shí)延是1毫秒，那么整體鏈路時(shí)延就會(huì)變成20毫秒 + 1毫秒 = 21毫秒。如果5G實(shí)際時(shí)延相比理論的1毫秒高出許多，比如10毫秒，那么整個(gè)鏈路的時(shí)延就是20毫秒 + 10毫秒 = 30毫秒。這就會(huì)超出了20毫秒的基準(zhǔn)線(xiàn)，反而會(huì)給用戶(hù)帶來(lái)眩暈感。（注：本文中網(wǎng)絡(luò)時(shí)延是指端到端的上行加下行時(shí)延。）
5G低時(shí)延的特征對(duì)于VR/AR的作用并不是降低時(shí)延，而是通過(guò)云游戲的技術(shù)方案提高畫(huà)質(zhì)，并降低云游戲技術(shù)中的網(wǎng)絡(luò)時(shí)延。
無(wú)論是VR一體機(jī)，還是連接手機(jī)的AR眼鏡，都是運(yùn)行在移動(dòng)端上，主要是高通驍龍系列。相比PC的CPU和GPU而言，移動(dòng)端的3D圖形性能還是有數(shù)量級(jí)上的差異。VR/AR強(qiáng)調(diào)的是沉浸感，對(duì)于畫(huà)質(zhì)的要求很高，最極致的VR體驗(yàn)需要強(qiáng)勁的高端PC來(lái)承載。
下面是VR游戲《Robo Recall》在Oculus Quest（移動(dòng)芯片）和Oculus Rift（PC端）上運(yùn)行的畫(huà)面對(duì)比。我個(gè)人做了對(duì)比測(cè)試，感官上的差異會(huì)比大家看圖片來(lái)得還要顯著。
5G可以將3D圖形運(yùn)算放到云端，也就是云游戲的技術(shù)路線(xiàn)。這樣就可以利用云端強(qiáng)勁的PC級(jí)CPU和GPU來(lái)進(jìn)行3D圖形運(yùn)算，再以視頻流的形式傳回本地的VR/AR設(shè)備上，讓移動(dòng)芯片的VR/AR設(shè)備也能顯示出最頂級(jí)的畫(huà)質(zhì)。
然而，云游戲的技術(shù)方案對(duì)于VR/AR來(lái)說(shuō)，最大的挑戰(zhàn)在于網(wǎng)絡(luò)時(shí)延。如果采用了云游戲的技術(shù)方案，那么網(wǎng)絡(luò)時(shí)延就變成了運(yùn)動(dòng)到成像時(shí)延的一部分，網(wǎng)絡(luò)時(shí)延會(huì)增加整體的運(yùn)動(dòng)到成像時(shí)延。從目前的數(shù)據(jù)來(lái)看，網(wǎng)絡(luò)時(shí)延是整個(gè)鏈路中最長(zhǎng)的部分，也是尚未解決的部分。
目前基于家庭寬帶的情況，云游戲的時(shí)延約在150毫秒左右。比如，Google的云游戲服務(wù)Stadia，經(jīng)Digital Foundry初步測(cè)試，時(shí)延在166毫秒。
如果把這樣的技術(shù)方案搬到VR/AR上來(lái)，那一定會(huì)讓用戶(hù)暈到天昏地暗。
這個(gè)時(shí)候5G低時(shí)延的價(jià)值就來(lái)了，如果5G真的能夠達(dá)到標(biāo)準(zhǔn)中的1毫秒時(shí)延，那么基于5G的VR/AR云游戲方案就能夠達(dá)到合格的用戶(hù)體驗(yàn)。如果真能做到，這會(huì)是VR/AR成為消費(fèi)市場(chǎng)主流產(chǎn)品的重要基礎(chǔ)設(shè)施。
那么問(wèn)題來(lái)了，5G實(shí)際上到底能做到多低的時(shí)延，什么時(shí)候能做到這樣低的時(shí)延。這才是關(guān)鍵。
連接5G網(wǎng)絡(luò)的方式，VR主要將會(huì)通過(guò)5G CPE，AR主要將會(huì)通過(guò)5G手機(jī)。
5G的大帶寬特性對(duì)于VR的價(jià)值是在線(xiàn)觀看5K以上分辨率的大碼率全景視頻，對(duì)于AR在現(xiàn)階段價(jià)值不大。
5G的低時(shí)延特性并無(wú)法幫助現(xiàn)在的VR/AR產(chǎn)品降低“運(yùn)動(dòng)到成像時(shí)延”，它的價(jià)值是通過(guò)云游戲技術(shù)提升畫(huà)質(zhì)，同時(shí)幫助云游戲技術(shù)降低其“網(wǎng)絡(luò)時(shí)延”（“網(wǎng)絡(luò)時(shí)延”是“運(yùn)動(dòng)到成像時(shí)延”的組成部分），使得采用云游戲技術(shù)方案的VR/AR產(chǎn)品的“運(yùn)動(dòng)到成像時(shí)延”能夠達(dá)到20毫秒的及格線(xiàn)以?xún)?nèi)。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
