在當(dāng)前的科技浪潮中，元宇宙的概念憑借其無(wú)限的想象力和可能性，像一顆耀眼的新星吸引著世界的目光。巨大的發(fā)展?jié)摿?，吸引著一波又一波的企業(yè)，前赴后繼地向元宇宙發(fā)起沖鋒。

在這些企業(yè)當(dāng)中，蘋果是最被寄予厚望的一個(gè)重磅選手。6 月 6 日，在經(jīng)過(guò)了長(zhǎng)達(dá)7年的準(zhǔn)備之后，蘋果終于讓其頭戴顯示器設(shè)備 Vision Pro，在 WWDC 2023 正式亮相了。

某種意義上，在XR設(shè)備領(lǐng)域，蘋果能走多遠(yuǎn)，就代表目前的技術(shù)前沿能走多遠(yuǎn)。然而，以目前的情況來(lái)看，蘋果的產(chǎn)品雖然在多方面有不錯(cuò)的表現(xiàn)，但離人們的期待還是有不少距離。從諸多設(shè)計(jì)和指標(biāo)，都能看出目前的技術(shù)瓶頸以及蘋果不得不作出的一些妥協(xié)。更重要的是，Vision Pro的最終售價(jià)高達(dá)3499美元（約合人民幣24860元），這個(gè)價(jià)格意味著這款產(chǎn)品必然是一個(gè)小眾的“玩具”，不能飛入尋常百姓家。

蘋果公司股價(jià)情況

那么，我們離理想化的元宇宙世界還有多遠(yuǎn)呢，到底還需要解決哪些技術(shù)問題和挑戰(zhàn)？為了回答這個(gè)問題，數(shù)據(jù)猿采訪了Cocos CEO林順、DataMesh創(chuàng)始人兼CEO 李劼、優(yōu)立科技CEO張雪兵、云天暢銷CTO梁峰 、亞信科技研發(fā)中心副總經(jīng)理陳果、墨宇宙首席產(chǎn)品官林宇等多位業(yè)界專家，了解元宇宙各項(xiàng)關(guān)鍵技術(shù)的發(fā)展態(tài)勢(shì)。接下來(lái)，我們將結(jié)合蘋果最新發(fā)布的XR頭顯產(chǎn)品，深入探討近眼顯示、計(jì)算渲染+5G專網(wǎng)、感知交互和內(nèi)容制作四個(gè)關(guān)鍵技術(shù)領(lǐng)域的最新發(fā)展態(tài)勢(shì)以及存在的挑戰(zhàn)。

近眼顯示：顯示面板技術(shù)路線明確，光波導(dǎo)還沒摸到“門”

近眼顯示是通向元宇宙世界的第一道大門，從蘋果此次發(fā)布的產(chǎn)品來(lái)看，其Vision Pro配備了12顆攝像頭，配備Micro OLED屏幕，擁有2300萬(wàn)像素，每只眼睛分配到的像素超越4K電視，可以實(shí)現(xiàn)100英寸屏幕的觀看，支持3D視頻觀看，這算是目前能達(dá)到的頂尖水平了。

圖片蘋果Vision Pro 產(chǎn)品圖

那么，整個(gè)近眼顯示有哪些關(guān)鍵技術(shù)，目前行業(yè)進(jìn)展如何呢？在元宇宙的實(shí)現(xiàn)中，近眼顯示技術(shù)是硬件突破的關(guān)鍵。它主要由顯示面板和光學(xué)系統(tǒng)（尤其是光波導(dǎo)）兩部分組成，這兩個(gè)技術(shù)路線都還有許多技術(shù)難點(diǎn)需要克服。

1、顯示面板，決定了分辨率、色彩飽和度和刷新率，MicroLED被寄予厚望。

顯示面板是近眼顯示技術(shù)的重要組成部分，它直接影響著用戶在元宇宙中的視覺體驗(yàn)。顯示面板的主要技術(shù)指標(biāo)包括分辨率、色彩飽和度和刷新率，這些指標(biāo)的提升可以為用戶帶來(lái)更清晰、更豐富、更流暢的視覺體驗(yàn)。

分辨率是顯示面板的核心指標(biāo)之一，它直接決定了元宇宙的細(xì)節(jié)展現(xiàn)能力。現(xiàn)階段，面板分辨率的提升正面臨著技術(shù)瓶頸，如何在保證面板尺寸和功耗的同時(shí)提升其分辨率，是顯示面板技術(shù)需要解決的重要問題。

色彩飽和度是另一個(gè)重要指標(biāo)，它影響著元宇宙的色彩展現(xiàn)能力。目前，雖然各種顯示技術(shù)在色彩表現(xiàn)力上已經(jīng)取得了不錯(cuò)的效果，但要在元宇宙中實(shí)現(xiàn)真實(shí)世界的色彩還有一定的距離。

刷新率影響著用戶的動(dòng)態(tài)視覺體驗(yàn)，高刷新率可以提供更流暢的動(dòng)畫效果。然而，提升刷新率會(huì)增加計(jì)算和功耗的壓力，如何在提升刷新率的同時(shí)降低功耗，是另一大技術(shù)挑戰(zhàn)。

在顯示面板領(lǐng)域，目前主要的技術(shù)包括液晶顯示（LCD）、有機(jī)發(fā)光二極管（OLED）、微型LED（Micro-LED）。雖然LCD技術(shù)相對(duì)成熟且成本較低，但其在色彩飽和度、對(duì)比度和刷新率等方面相較其他技術(shù)有所欠缺，而OLED顯示器則需要解決壽命和成本問題。

顯示面板發(fā)展進(jìn)程

近年來(lái)，MicroLED顯示技術(shù)以其卓越的性能受到了業(yè)界的廣泛關(guān)注。它采用微米級(jí)的LED作為像素，不僅能提供更高的分辨率、更寬的色域和更高的刷新率，而且還具有更低的功耗和更長(zhǎng)的壽命。但是，MicroLED面板的制造難度大、成本高，特別是在像素尺寸小、像素密度高的情況下，如何實(shí)現(xiàn)大規(guī)模、高效率的生產(chǎn)，仍是一個(gè)待解決的關(guān)鍵技術(shù)難題。此次Vision Pro配備的就是Micro OLED屏幕，但在近2.5萬(wàn)的價(jià)格中，相信這塊Micro OLED屏幕“貢獻(xiàn)”了不少。

2、光波導(dǎo)技術(shù)的成熟度比顯示面板低，其技術(shù)路線和突破時(shí)間都不確定。

光學(xué)系統(tǒng)，尤其是光波導(dǎo)，對(duì)于近眼顯示技術(shù)來(lái)說(shuō)，同樣重要。光波導(dǎo)技術(shù)的核心是將光線引導(dǎo)到用戶的視網(wǎng)膜，從而在用戶的視野中產(chǎn)生虛擬圖像。而視場(chǎng)角是衡量光波導(dǎo)質(zhì)量的重要指標(biāo)，它影響著用戶在元宇宙中的視覺范圍。

在增強(qiáng)現(xiàn)實(shí)（AR）和虛擬現(xiàn)實(shí)（VR）設(shè)備中，顯示面板和光波導(dǎo)通常是緊密結(jié)合在一起的。顯示面板生成圖像，然后這些圖像被送入光波導(dǎo)。光波導(dǎo)的任務(wù)是將這些圖像引導(dǎo)到用戶的眼睛，同時(shí)還可能進(jìn)行一些調(diào)整以改善視覺體驗(yàn)，例如擴(kuò)大視場(chǎng)角或調(diào)整圖像的焦距。這個(gè)過(guò)程可以簡(jiǎn)單地想象成一個(gè)電影院：顯示面板就像是投影機(jī)，它產(chǎn)生圖像；而光波導(dǎo)就像是投影屏幕，它接收投影機(jī)產(chǎn)生的圖像并將其呈現(xiàn)給觀眾（在這種情況下，觀眾就是用戶的眼睛）。

光波導(dǎo)技術(shù)可以分為幾種不同的類型，包括衍射光波導(dǎo)、折射光波導(dǎo)和全息光波導(dǎo)等。其中，衍射光波導(dǎo)是目前最常用的一種。它通過(guò)微型光柵將入射的光線分散成多個(gè)角度，然后利用總反射將這些光線引導(dǎo)到用戶的視網(wǎng)膜。這種技術(shù)可以提供較寬的視場(chǎng)角和較高的成像質(zhì)量，但在光效率、色散以及復(fù)雜的制造過(guò)程等方面存在問題。

在光效率方面，衍射光波導(dǎo)的問題在于只有部分光線能夠被有效利用，大部分光線會(huì)被散射掉，造成能源的浪費(fèi)。而在色散方面，由于光的衍射角度與有關(guān)，因此不同顏色的光線在經(jīng)過(guò)光柵后會(huì)產(chǎn)生色散，影響成像的色彩準(zhǔn)確性。這對(duì)于元宇宙這樣追求高度真實(shí)感的應(yīng)用來(lái)說(shuō)，無(wú)疑是一大難題。

此外，制造過(guò)程的復(fù)雜性則表現(xiàn)在對(duì)精度的極高要求上。衍射光波導(dǎo)的微型光柵需要精確到納米級(jí)別，這在生產(chǎn)過(guò)程中帶來(lái)了極高的技術(shù)難度和成本壓力。為了克服這些問題，研究者們正在尋求新的光波導(dǎo)技術(shù)，如折射光波導(dǎo)和全息光波導(dǎo)。這些技術(shù)以不同的方式來(lái)引導(dǎo)光線，有可能在克服衍射光波導(dǎo)的問題方面提供新的解決方案。例如，全息光波導(dǎo)利用全息圖像記錄和重現(xiàn)光的波前，可以在減少色散和提高光效率方面提供優(yōu)勢(shì)。

然而，新的光波導(dǎo)技術(shù)也有其自身的挑戰(zhàn)。例如，折射光波導(dǎo)雖然在光效率上優(yōu)于衍射光波導(dǎo)，但其視場(chǎng)角通常較?。欢⒐獠▽?dǎo)則面臨著如何實(shí)現(xiàn)大規(guī)模、高質(zhì)量的全息圖像制造的難題。

總體上看，顯示面板技術(shù)雖然還有提升的空間，但其技術(shù)路線相對(duì)確定，可以預(yù)期在未來(lái)幾年會(huì)有進(jìn)一步的提升。相較于顯示面板技術(shù)，光波導(dǎo)技術(shù)的成熟度較低，其技術(shù)路線和突破時(shí)間還不確定。盡管光波導(dǎo)的基本原理已經(jīng)被理解，但在實(shí)際應(yīng)用中，如何設(shè)計(jì)和制造出高效、高質(zhì)量、低成本的光波導(dǎo)仍然是一項(xiàng)技術(shù)挑戰(zhàn)。

計(jì)算渲染：GPU+云計(jì)算+邊緣計(jì)算+5G能突破算力瓶頸么？

元宇宙要求構(gòu)建一個(gè)富有沉浸感的、與真實(shí)世界無(wú)縫接軌的虛擬環(huán)境，而計(jì)算渲染就是實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵技術(shù)之一。計(jì)算渲染的任務(wù)就是將虛擬世界中的三維模型以及其材質(zhì)、光照等屬性，轉(zhuǎn)化為最終用戶看到的二維圖像。這個(gè)過(guò)程需要大量的計(jì)算，包括幾何計(jì)算、光線追蹤、光照計(jì)算、材質(zhì)渲染、后處理等。

為了提升設(shè)備算力，蘋果的Vision Pro 采用雙芯片設(shè)計(jì)，包括一枚 Mac 級(jí)別的 M2 芯片，同時(shí)配置實(shí)時(shí)傳感器處理芯片 R1。其中，R1 芯片主要負(fù)責(zé)傳感器的信號(hào)傳輸、處理。

蘋果公司可以為了自家XR設(shè)備設(shè)計(jì)專門的芯片，但就整個(gè)行業(yè)來(lái)看，要實(shí)現(xiàn)理想的效果到底需要多大算力呢？接下來(lái)我們就這個(gè)問題進(jìn)行更深入的探討。

1、要較好實(shí)現(xiàn)理想的元宇宙場(chǎng)景，每個(gè)XR設(shè)備至少要塞一塊英偉達(dá)A100 GPU。

理想的狀態(tài)是實(shí)現(xiàn)實(shí)時(shí)的、高分辨率的、高幀率的、全光線追蹤的渲染，這需要極高的算力。具體的算力需求取決于許多因素，如渲染的復(fù)雜度、分辨率、幀率、圖像質(zhì)量等。目前有一些技術(shù)來(lái)降低計(jì)算量，比較典型就是注視點(diǎn)渲染技術(shù)，該技術(shù)利用人眼視覺特性，只在視線注視點(diǎn)及其周圍區(qū)域進(jìn)行高精度渲染，而在其它區(qū)域進(jìn)行低精度渲染，有效降低了渲染任務(wù)的復(fù)雜度。蘋果此次發(fā)布的Vision Pro ，就用到了動(dòng)態(tài)注視點(diǎn)渲染技術(shù)，將最大的畫質(zhì)精確地傳遞到用戶眼睛正在注視的每一幀。

蘋果Vision Pro產(chǎn)品介紹

總體上看，元宇宙對(duì)計(jì)算渲染的需求還遠(yuǎn)超現(xiàn)有技術(shù)的能力。特別是在移動(dòng)設(shè)備上，由于功耗、散熱等問題，算力的提供更為困難。3D數(shù)據(jù)的處理不僅需要大量的計(jì)算資源，而且需要實(shí)時(shí)或者接近實(shí)時(shí)的反饋。這就對(duì)算力和延遲提出了極高的要求?，F(xiàn)有的計(jì)算設(shè)備，包括最先進(jìn)的GPU和AI芯片，尚無(wú)法完全滿足這些需求。

為了更清楚的說(shuō)明算力供給與元宇宙算力需求之間的“鴻溝”，我們來(lái)以一個(gè)典型場(chǎng)景來(lái)分析算力供需情況。

假設(shè)我們想要實(shí)現(xiàn)4K分辨率（即3840x2160像素）、60幀/秒、每個(gè)像素追蹤100條光線的全光線追蹤渲染，處理一條光線需要進(jìn)行大約500次浮點(diǎn)運(yùn)算（實(shí)際數(shù)據(jù)可能要更高）。

那么需要的算力=3840像素 x 2160像素 x 60幀/秒 x 100光線/像素x 500浮點(diǎn)運(yùn)算/光線 = 4,976,640,000,000浮點(diǎn)運(yùn)算/秒=25 TFLOPS。

需要說(shuō)明的是，這是一個(gè)非常粗略的估計(jì)，實(shí)際所需的算力可能會(huì)更高，因?yàn)樵诠饩€追蹤渲染中，除了光線追蹤，還有許多其他類型的計(jì)算，比如著色、紋理采樣、幾何變換等。

英偉達(dá)高端芯片A100的峰值算力為19.5TFLOPS，在京東上英偉達(dá)A100 40G的售價(jià)超過(guò)6萬(wàn)元。也就是說(shuō)，要實(shí)現(xiàn)比較理想的元宇宙場(chǎng)景渲染效果，一個(gè)設(shè)備就至少需要一塊A100芯片。光是一個(gè)芯片成本就超過(guò)6萬(wàn)元，那XR設(shè)備的價(jià)格會(huì)更高。其他技術(shù)限制先不談，這個(gè)設(shè)備價(jià)格就是足以勸退絕大部分消費(fèi)者。

英偉達(dá)A100芯片

除了提升通用GPU性能外，針對(duì)光線追蹤的專用硬件+專門的軟件優(yōu)化，看來(lái)是提升元宇宙應(yīng)用計(jì)算性能的一個(gè)重要途徑。對(duì)于元宇宙應(yīng)用，光線追蹤是一個(gè)重要的計(jì)算任務(wù)，因此可以設(shè)計(jì)專門的光線追蹤硬件。英偉達(dá)的RTX系列GPU就是一個(gè)例子，它們包含了專門的RT核心，用于加速光線追蹤計(jì)算。這種硬件可以直接在硬件級(jí)別執(zhí)行一些計(jì)算密集型的操作，比如光線與場(chǎng)景中的對(duì)象的交點(diǎn)計(jì)算，從而大大提高計(jì)算效率。光線追蹤的軟件優(yōu)化方面，則包括更好的光線排序算法、更高效的空間劃分結(jié)構(gòu)等。

目前，要進(jìn)行元宇宙的計(jì)算渲染離不開GPU，而GPU算力的來(lái)源主要有兩個(gè)，一是本地的GPU，二是云端的GPU。本地的GPU主要用于游戲、AR/VR設(shè)備等需要實(shí)時(shí)渲染的場(chǎng)景。云端的GPU則可以用于更復(fù)雜的渲染任務(wù)，如電影特效、建筑可視化等，云端渲染的結(jié)果通過(guò)網(wǎng)絡(luò)傳輸?shù)接脩舻脑O(shè)備上。

理想的計(jì)算渲染解決方案應(yīng)該是一個(gè)綜合本地和云端資源的混合渲染系統(tǒng)。這個(gè)系統(tǒng)應(yīng)該可以智能地根據(jù)任務(wù)的性質(zhì)、網(wǎng)絡(luò)狀況、設(shè)備性能等因素，決定渲染任務(wù)在本地還是云端執(zhí)行，以及如何分配任務(wù)。此外，這個(gè)系統(tǒng)還應(yīng)該支持各種渲染技術(shù)，如光線追蹤、實(shí)時(shí)光照、全局光照等，以便根據(jù)需要選擇合適的渲染技術(shù)。

要實(shí)現(xiàn)這個(gè)目標(biāo)，就需要在本地和云端（或者邊緣端）實(shí)現(xiàn)高速的數(shù)據(jù)傳輸。那么，到底要多高的網(wǎng)速，才能滿足元宇宙的要求呢？

2、5G勉強(qiáng)夠用，但5G網(wǎng)絡(luò)建設(shè)進(jìn)度不及預(yù)期。

我們還是以上面典型的元宇宙算力需求為例（4K分辨率、60幀/秒、每個(gè)像素追蹤100條光線的全光線追蹤渲染），看看要想以云（邊緣）+端的計(jì)算渲染方案，需要多大的網(wǎng)絡(luò)帶寬。

如果我們將每個(gè)像素的顏色信息簡(jiǎn)化為24位（8位紅色、8位綠色、8位藍(lán)色），來(lái)計(jì)算需要的網(wǎng)絡(luò)帶寬：

3840像素 * 2160像素 * 24位/像素* 60幀/秒= 11,943,936,000位=11.92Gbps。

5G網(wǎng)絡(luò)的峰值數(shù)據(jù)速率理論上可以達(dá)到20Gbps，但這是在理想的實(shí)驗(yàn)室環(huán)境下的峰值速度。在實(shí)際使用中，用戶通?？梢云谕?00Mbps到3Gbps之間的速度，離元宇宙的網(wǎng)絡(luò)需求還有一定距離。即使是比較好的5G網(wǎng)絡(luò)，也只是勉強(qiáng)堪用。

需要指出的是，即使是全球5G基站最多的中國(guó)，5G網(wǎng)絡(luò)建設(shè)進(jìn)度也并不算快。據(jù)計(jì)算，如果要構(gòu)建一個(gè)良好的5G網(wǎng)絡(luò)，至少需要1000萬(wàn)5G基站。而截至2023年2月末，我國(guó)5G基站總數(shù)達(dá)238.4萬(wàn)個(gè)，要超過(guò)1000萬(wàn)規(guī)模還需要幾年時(shí)間。也就是說(shuō)，在網(wǎng)絡(luò)建設(shè)方面，我們還沒為元宇宙做好準(zhǔn)備。

顯然，無(wú)論是從算力還是網(wǎng)絡(luò)方面，目前都存在瓶頸。那么，如何破除這個(gè)瓶頸呢？為此，數(shù)據(jù)猿采訪了幾位業(yè)界專家。

就“GPU+云計(jì)算+邊緣計(jì)算，是解除元宇宙算力瓶頸的金鑰匙么？”這個(gè)問題，優(yōu)立科技CEO張雪兵認(rèn)為通過(guò)云邊端協(xié)同并不是解決算力問題的一個(gè)很好方式，“云渲染通過(guò)將渲染邏輯集中到服務(wù)器端，只是降低了少量終端設(shè)備在特定時(shí)間內(nèi)的渲染問題。而終端設(shè)備發(fā)展的趨勢(shì)是配置越來(lái)越高，運(yùn)算能力越來(lái)越強(qiáng)，云渲染的資源堆積在成本角度和并發(fā)角度都是低效的，并且浪費(fèi)了本地設(shè)備的算力。本地算力渲染只需要解決本地渲染能力瓶頸一個(gè)問題，就可以解決多并發(fā)問題，而云渲染+邊緣計(jì)算+GPU，卻需要解決服務(wù)器并發(fā)量、負(fù)載均衡、視頻流網(wǎng)絡(luò)帶寬、云端算力瓶頸等多個(gè)問題。當(dāng)通過(guò)渲染算法突破本地設(shè)備渲染瓶頸的時(shí)候，一切云渲染的構(gòu)建將成為過(guò)去。”

張雪兵介紹到，優(yōu)立科技通過(guò)獨(dú)創(chuàng)的國(guó)產(chǎn)自研的流式渲染技術(shù)，可以運(yùn)用本地算力解決海量在線三維數(shù)據(jù)的遠(yuǎn)程渲染問題，并且通過(guò)CPU渲染無(wú)需高配顯卡，突破云渲染高成本和數(shù)據(jù)低并發(fā)瓶頸，已經(jīng)解決了傳統(tǒng)云渲染邏輯下無(wú)法解決的各種問題。

云天暢銷CTO梁峰認(rèn)為，“5G時(shí)代，云游戲、元宇宙等實(shí)時(shí)交互、快速響應(yīng)的新興應(yīng)用場(chǎng)景，對(duì)算力的需求呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，尤其是AI與元宇宙的加速融合，以及算力逐漸從To B到To C的轉(zhuǎn)移，給算力帶來(lái)了巨大的發(fā)展空間。若要真正實(shí)現(xiàn)大規(guī)模商業(yè)化應(yīng)用，帶給用戶低延時(shí)、沉浸式的體驗(yàn)，目前的算力遠(yuǎn)無(wú)法滿足。GPU以其獨(dú)特、強(qiáng)大的并行運(yùn)算能力逐漸成為市場(chǎng)探索支撐新興應(yīng)用場(chǎng)景算力底座的重要方向，結(jié)合云計(jì)算和邊緣計(jì)算，為新興應(yīng)用大規(guī)模商業(yè)化落地提供了新的思路。算網(wǎng)一體、云網(wǎng)融合，打造全域覆蓋的算力網(wǎng)絡(luò)正在成為行業(yè)發(fā)展趨勢(shì)。”

亞信科技研發(fā)中心副總經(jīng)理陳果持相同的觀點(diǎn)，他認(rèn)為，“如果要達(dá)到元宇宙的理想狀態(tài)，現(xiàn)有算力資源遠(yuǎn)遠(yuǎn)不夠——極致的可視渲染、實(shí)時(shí)的虛實(shí)交互、精準(zhǔn)的智能推理都對(duì)算力資源提出極高要求。未來(lái)的“云邊端”多元算力協(xié)同，將更能滿足元宇宙的算力需求。同時(shí)，GPU等相關(guān)技術(shù)也是消除元宇宙算力瓶頸的關(guān)鍵——GPU算力加速圖形渲染、提供物理模擬能力，促動(dòng)XR技術(shù)滿足元宇宙所需的沉浸式體驗(yàn)；AIGC技術(shù)為構(gòu)建元宇宙場(chǎng)景提供高效率、高精度、低成本的技術(shù)手段，促使元宇宙實(shí)現(xiàn)“人、場(chǎng)、貨”的快速建模；WebGPU技術(shù)的發(fā)展，使高擬真、真3D的交互式應(yīng)用變?yōu)榭赡?，將較大提升瀏覽器的圖形性能，消除未來(lái)元宇宙應(yīng)用在前端的性能瓶頸。”

感知交互：內(nèi)部捕捉是元宇宙最自然的交互方式

感知交互是構(gòu)建元宇宙的另一大挑戰(zhàn)。要?jiǎng)?chuàng)造真正的沉浸式體驗(yàn)，就必須確保用戶可以自然、直觀地與元宇宙進(jìn)行交互，而這就需要涵蓋視覺、聽覺和觸覺等多個(gè)感知維度。

從蘋果Vision Pro 產(chǎn)品來(lái)看，其采用了手眼語(yǔ)音交互+Eyesight多種交互方式的融合。值得提出的是，Vision Pro 沒有配備手柄，這與以往的XR產(chǎn)品有很大的不同。

蘋果Vision Pro產(chǎn)品演示圖

Vision Pro 通過(guò)語(yǔ)音、眼球追蹤以及手勢(shì)來(lái)操作，用戶通過(guò)注視來(lái)瀏覽應(yīng)用圖標(biāo)，手部輕點(diǎn)選擇，輕掃滾動(dòng)，或者發(fā)出語(yǔ)音指令，還可以使用虛擬鍵盤輸入文字。

蘋果Vision Pro產(chǎn)品演示圖

需要指出的是，Vision Pro還是一個(gè)“期貨”產(chǎn)品，要等到明年初才正式發(fā)售。因此，在演示視頻中有哪些功能能實(shí)現(xiàn)，效果如何，得等到產(chǎn)品正式上市，用戶體驗(yàn)之后才能有真實(shí)的感知。

對(duì)于感知交互，蘋果并沒有披露很多的技術(shù)細(xì)節(jié)。接下來(lái)，我們從行業(yè)角度來(lái)分析感知交互的核心技術(shù)環(huán)節(jié)。一般而言，XR設(shè)備的感知交互方式，可以分為視覺交互聽覺交互、觸覺交互、手勢(shì)交互幾種。

視覺交互主要依賴于虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)。目前已經(jīng)有成熟的VR和AR設(shè)備，可以讓用戶以第一人稱視角在元宇宙中移動(dòng)和觀察。但這些設(shè)備往往需要佩戴頭盔，對(duì)用戶的舒適度和長(zhǎng)時(shí)間使用造成了挑戰(zhàn)。此外，如何提供足夠的視覺分辨率和視場(chǎng)角，使用戶感覺像在現(xiàn)實(shí)世界一樣自然和真實(shí)，也是一個(gè)重要的技術(shù)挑戰(zhàn)。

聽覺交互則依賴于3D音頻技術(shù)，包括空間音頻和物體音頻。這些技術(shù)可以創(chuàng)造出富有深度和方向感的音場(chǎng)，讓用戶可以準(zhǔn)確地判斷聲音的來(lái)源和遠(yuǎn)近。但當(dāng)前的3D音頻技術(shù)仍然難以提供完全自然的聽覺體驗(yàn)，特別是在模擬復(fù)雜的聲音環(huán)境和聲音物理效應(yīng)方面。

觸覺交互是最大的挑戰(zhàn)之一。盡管已經(jīng)有各種觸覺反饋設(shè)備，如振動(dòng)手柄和觸覺服，但這些設(shè)備的反饋強(qiáng)度和精度都無(wú)法滿足真實(shí)世界的觸覺體驗(yàn)。更先進(jìn)的技術(shù)，如電刺激和超聲波觸覺反饋，正在研發(fā)中，但尚未成熟。

相比于以上幾種方式，手勢(shì)交互作為一種直觀且自然的交互方式，被視為元宇宙中理想的交互手段。

手勢(shì)交互的有兩個(gè)核心環(huán)節(jié)：捕捉和解析，捕捉是指通過(guò)各種技術(shù)收集用戶手部的運(yùn)動(dòng)信息，而解析則是對(duì)這些信息進(jìn)行處理，識(shí)別出具體的手勢(shì)和運(yùn)動(dòng)。

捕捉技術(shù)主要分為外部捕捉和內(nèi)部捕捉。外部捕捉通常依賴于攝像頭或傳感器來(lái)記錄手部的位置和動(dòng)態(tài)，比如微軟的 Kinect 和 Leap Motion 就是使用這種方法。內(nèi)部捕捉則使用穿戴式設(shè)備，這類設(shè)備通常裝備了一系列的傳感器，如加速度計(jì)、陀螺儀、磁力計(jì)等，它們能夠在三個(gè)空間維度上捕捉手的位移、旋轉(zhuǎn)和加速度。

可以說(shuō)，內(nèi)部捕捉是最理想的交互方式。內(nèi)部捕捉由于傳感器直接與手部接觸，因此無(wú)論用戶處于什么環(huán)境或光線條件下，都能夠穩(wěn)定、準(zhǔn)確地獲取手部運(yùn)動(dòng)信息。此外，內(nèi)部捕捉設(shè)備通常比較小巧，容易穿戴，用戶可以隨時(shí)隨地進(jìn)行手勢(shì)交互。內(nèi)部捕捉最大的技術(shù)難點(diǎn)是傳感器精度和復(fù)雜手勢(shì)識(shí)別能力。手部的運(yùn)動(dòng)非常復(fù)雜，要準(zhǔn)確捕捉并實(shí)時(shí)轉(zhuǎn)換成虛擬動(dòng)作，對(duì)傳感器的精度和處理速度都有很高要求。目前，雖然內(nèi)部捕捉可以很好地獲取手部的基本運(yùn)動(dòng)，但對(duì)于更復(fù)雜的手勢(shì)，比如手指的微小動(dòng)作，可能就難以準(zhǔn)確識(shí)別了。如果能夠解決復(fù)雜手勢(shì)的高精度識(shí)別難題，內(nèi)部捕捉將是元宇宙最理想的交互方式。

解析技術(shù)方面，則主要依賴于計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)算法。計(jì)算機(jī)視覺用于處理從捕捉設(shè)備獲得的圖像或視頻，提取出手部的關(guān)鍵點(diǎn)和輪廓。而機(jī)器學(xué)習(xí)算法，特別是深度學(xué)習(xí)算法，用于對(duì)這些數(shù)據(jù)進(jìn)行分析，識(shí)別出具體的手勢(shì)。在解析技術(shù)方面，當(dāng)前的算法主要依賴于深度學(xué)習(xí)，這要求有大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練。然而，由于手部的復(fù)雜性和多樣性，獲取和標(biāo)注這些數(shù)據(jù)是非常困難的。

除了捕捉和解析，還有一個(gè)問題需要解決——與虛擬物體的交互，如何讓用戶能夠在虛擬環(huán)境中通過(guò)手勢(shì)抓取、移動(dòng)和操縱物體，以及如何給用戶提供觸覺反饋，都是需要解決的問題。一種可能的方法是使用虛擬手模型，將用戶的手勢(shì)轉(zhuǎn)化為虛擬手的運(yùn)動(dòng)，然后讓虛擬手去操作虛擬物體。同時(shí)，需要研究更有效的觸覺反饋技術(shù)，如電刺激和超聲波，來(lái)給用戶提供觸覺反饋。

可以發(fā)現(xiàn)，在感知交互方面，還有一系列技術(shù)難題需要解決。

內(nèi)容制作：ChatGPT、AIGC成為構(gòu)建智能NPC的關(guān)鍵

蘋果是打造內(nèi)容生態(tài)的高手，此次 Vision Pro發(fā)布會(huì)上，蘋果也公布了一些內(nèi)容建設(shè)的進(jìn)展。例如，Complete HeartX 創(chuàng)造的互動(dòng)式的 3D 心臟；JigSpace 讓設(shè)計(jì)師能可視化的審閱自己的F1賽車設(shè)計(jì)草稿 。

Vision Pro產(chǎn)品介紹圖

需要指出的是，蘋果所展示出來(lái)的一些內(nèi)容制作能力，離我們理想的內(nèi)容元宇宙還有很遠(yuǎn)的距離。我們想要的是一個(gè)像《頭號(hào)玩家》或者《失控玩家》那樣的元宇宙，而不是僅僅是一個(gè)個(gè)精美的3D“展品”。為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們需要探討元宇宙內(nèi)容制作的深層邏輯。

在元宇宙中，環(huán)境、人的虛擬代表以及非玩家角色（NPC）構(gòu)成了這個(gè)虛擬世界的核心內(nèi)容。這三者共同構(gòu)建了元宇宙的世界觀和故事線。環(huán)境為虛擬世界提供了物理和文化背景，定義了虛擬世界的規(guī)則和操作方式。它是虛擬世界的基礎(chǔ)，構(gòu)成了元宇宙的空間維度。人的虛擬代表，或稱為玩家角色，是用戶在虛擬世界中的身份和行動(dòng)者。它是用戶參與和體驗(yàn)虛擬世界的工具，反映了用戶的意愿和行為。

在理想情況下，NPC可以為虛擬世界提供多樣化的角色和故事線，豐富虛擬世界的內(nèi)容和體驗(yàn)。他們是虛擬世界的活動(dòng)驅(qū)動(dòng)者，能夠幫助用戶更好地參與和理解虛擬世界。NPC的可塑性和創(chuàng)造性使得元宇宙的故事線具有無(wú)盡的可能性，通過(guò)與NPC的互動(dòng)，用戶可以在元宇宙中體驗(yàn)到各種各樣的故事和冒險(xiǎn)。人類在元宇宙中的虛擬代表通過(guò)與NPC的互動(dòng)，可以獲得特殊的“特權(quán)”或能力。這種“特權(quán)”可以幫助用戶在虛擬世界中達(dá)成目標(biāo)，提升用戶在虛擬世界中的身份和地位。因此，NPC不僅是元宇宙的故事驅(qū)動(dòng)者，也是用戶在虛擬世界中獲得成功和滿足感的重要因素。

然而，要實(shí)現(xiàn)上述目標(biāo)，需要NPC具有高度的智能水平，目前元宇宙中的NPC是遠(yuǎn)遠(yuǎn)達(dá)不到的。目前的NPC多依賴預(yù)設(shè)的對(duì)話和行為，這使得他們?cè)陧憫?yīng)玩家行為時(shí)可能顯得刻板，缺乏真實(shí)感和個(gè)性化。同時(shí)，NPC在推動(dòng)故事情節(jié)和進(jìn)行持續(xù)交互方面也存在局限。

在這個(gè)背景下，使用AI技術(shù)，尤其是AIGC、ChatGPT來(lái)優(yōu)化元宇宙內(nèi)容生產(chǎn)、構(gòu)建智能NPC的潛力和優(yōu)勢(shì)就顯得尤為突出。

Cocos CEO 林順認(rèn)為，AIGC與元宇宙的結(jié)合，可以大大提高內(nèi)容的生成效率和創(chuàng)造力。AIGC 可以承擔(dān)繁重、重復(fù)的內(nèi)容創(chuàng)作工作，為開發(fā)者節(jié)省時(shí)間和精力，同時(shí)帶來(lái)更加多樣化和豐富的游戲內(nèi)容。采用 AIGC的技術(shù)，可以自動(dòng)生成世界和場(chǎng)景，加快元宇宙的內(nèi)容創(chuàng)造過(guò)程，讓元宇宙的世界更加豐富多彩，服務(wù)于各種形態(tài)的需求。例如：自動(dòng)生成任務(wù)和劇情，使得元宇宙中的內(nèi)容更加生動(dòng)有趣；自動(dòng)生成NPC和角色設(shè)計(jì)，AIGC 可以幫助開發(fā)者生成各種個(gè)性化的 NPC 和角色形象，使得元宇宙中的角色更加多樣和獨(dú)特；自動(dòng)生成音效和音樂，逼真的音效效果和動(dòng)態(tài)音樂，讓元宇宙場(chǎng)景更有身臨其境的沉浸體驗(yàn)。

林順還認(rèn)為，AI 可以為元宇宙中的 NPC 提供更加逼真和智能的交互，帶有“靈魂”的 NPC 可以在元宇宙中形成一個(gè)動(dòng)態(tài)的世界，NPC 可以根據(jù)玩家的行為和決策作出相應(yīng)的反應(yīng)，使游戲世界更加逼真和生動(dòng)，推進(jìn)世界的發(fā)展。它們可以通過(guò)自然語(yǔ)言處理和情感識(shí)別技術(shù)來(lái)理解玩家的指令和情感，并作出相應(yīng)的回應(yīng)，從而提供更加個(gè)性化和豐富的游戲體驗(yàn)。AI 賦予 NPC 更加真實(shí)的"靈魂"或個(gè)性，通過(guò)情感建模和認(rèn)知模型，AI 可以使NPC表現(xiàn)出復(fù)雜的情感狀態(tài)、個(gè)性特征和行為模式，增加玩家與 NPC 之間的情感連接和互動(dòng)。

墨宇宙首席產(chǎn)品官林宇表達(dá)了類似的觀點(diǎn)，他認(rèn)為，“AIGC將極大的提升元宇宙在“人、物、場(chǎng)景”3個(gè)核心要素上的生產(chǎn)效率。比如，在數(shù)字人形象造型的設(shè)計(jì)方面，提升設(shè)計(jì)效率；在數(shù)字人大腦智能的構(gòu)建方面，極大的提升數(shù)字人的智能水平；2D和3D的圖片和視頻內(nèi)容的AIGC，可以提升物和場(chǎng)景的建模設(shè)計(jì)效率。AIGC可以賦予NPC大腦，即“靈魂”，極大的提升NPC的智能化水平，比如NPC和用戶的智能問答，不僅是文本的問答，甚至包括語(yǔ)音的問答，以及圖片和視頻等多模態(tài)的智能溝通。”

最后，DataMesh創(chuàng)始人兼CEO 李劼提到，在企業(yè)元宇宙領(lǐng)域，還需要解決一個(gè)“雞生蛋還是蛋生雞”的難題——要有高質(zhì)量的內(nèi)容才能吸引用戶，但如果沒有足夠的用戶，就無(wú)法產(chǎn)生和維護(hù)這些高質(zhì)量的內(nèi)容。這是一種典型的網(wǎng)絡(luò)效應(yīng)問題。

李劼認(rèn)為，在企業(yè)元宇宙的TEMS（培訓(xùn)、體驗(yàn)、監(jiān)控和模擬）模型下，解決這個(gè)問題的一種可能的方式是通過(guò)模擬（Simulation）和培訓(xùn)（Training）這兩個(gè)方面來(lái)初始驅(qū)動(dòng)元宇宙的內(nèi)容生成。在早期，企業(yè)可以通過(guò)構(gòu)建特定的模擬場(chǎng)景來(lái)進(jìn)行內(nèi)部員工的培訓(xùn)和教育，這不僅可以提升員工的技能，也可以為元宇宙提供初期的活躍用戶和內(nèi)容。

隨著時(shí)間的推移，當(dāng)員工逐漸適應(yīng)并依賴于這種新的工作方式，企業(yè)元宇宙的用戶基礎(chǔ)將得到增長(zhǎng)，同時(shí)這些用戶也會(huì)在元宇宙中產(chǎn)生大量的交互數(shù)據(jù)。這些數(shù)據(jù)可以被收集和分析，從而進(jìn)一步優(yōu)化元宇宙的體驗(yàn)（Experience）和監(jiān)控（Monitor and Control）功能，形成一個(gè)良性的循環(huán)。

在談到元宇宙的殺手級(jí)應(yīng)用時(shí)，李劼認(rèn)為殺手級(jí)應(yīng)用可能是一種將TEMS四個(gè)方面完美融合的解決方案。例如，一個(gè)能夠?qū)崟r(shí)模擬復(fù)雜業(yè)務(wù)流程，提供豐富和定制化的培訓(xùn)內(nèi)容，同時(shí)具備高效的監(jiān)控和控制功能，以及提供無(wú)縫、身臨其境的用戶體驗(yàn)的應(yīng)用，可能就是元宇宙的殺手級(jí)應(yīng)用。這樣的應(yīng)用不僅可以極大地提升企業(yè)的生產(chǎn)效率和員工的工作滿意度，也能推動(dòng)企業(yè)的持續(xù)創(chuàng)新和發(fā)展。

以上，我們分析了XR、元宇宙的一些核心技術(shù)領(lǐng)域和面臨的挑戰(zhàn)。最后，期待蘋果這樣的公司能夠繼續(xù)突破技術(shù)瓶頸，并且早點(diǎn)把價(jià)格降下來(lái)（超過(guò)2萬(wàn)的價(jià)格的確不親民），讓《頭號(hào)玩家》那樣絢麗多彩的元宇宙早點(diǎn)到來(lái)。

但實(shí)事求是的說(shuō)，我并不看好蘋果此次發(fā)布的XR頭顯。蘋果是一個(gè)偉大的公司，消費(fèi)電子領(lǐng)域的產(chǎn)品力也獨(dú)步全球。但是，XR設(shè)備、元宇宙行業(yè)還存在一些顯著的技術(shù)瓶頸，要突破這些瓶頸需要全行業(yè)的努力，并且需要時(shí)間，單靠一個(gè)公司來(lái)突破是不太可能的。當(dāng)初蘋果發(fā)布Iphone，將人類拉入移動(dòng)互聯(lián)網(wǎng)時(shí)代，并不只是蘋果的功勞。事實(shí)上，當(dāng)時(shí)人類已經(jīng)一只腳邁入移動(dòng)互聯(lián)網(wǎng)時(shí)代了，只不過(guò)蘋果的產(chǎn)品做得最好，摘了最大的果實(shí)。試想一下，如果我們的網(wǎng)絡(luò)還停留在2G甚至1G，Iphone還有用么？蘋果很偉大，但再偉大的企業(yè)也不可能超越時(shí)代。

理性來(lái)看，上面提到的近眼顯示、計(jì)算渲染、感知交互、內(nèi)容制作，每一項(xiàng)都還存在不小的挑戰(zhàn)。即使強(qiáng)如蘋果，也只是在現(xiàn)有產(chǎn)業(yè)條件下拿出了一款最好的產(chǎn)品，但離我們的元宇宙理想還差不少的距離?？梢灶A(yù)見，等大量用戶真正體驗(yàn)到Vision Pro的時(shí)候，大概率的感受會(huì)是：跟以往XR產(chǎn)品相比有一些不錯(cuò)的設(shè)計(jì)和突破，但整體離預(yù)期還差很遠(yuǎn)，“槽點(diǎn)”不少。例如，據(jù)介紹，Vision Pro那塊配套的有線電池只能撐2個(gè)小時(shí)。

文：一蓑煙雨 / 數(shù)據(jù)猿

來(lái)源：數(shù)據(jù)猿