2019年5月12日，Unity在上海舉行了Unite Shanghai 2019，會上Unity大中華區(qū)商務(wù)經(jīng)理肖蓓蓓女士與HTC VIVEPORT中國區(qū)負責人謝禮安共同宣布Unity與HTC達成VIVEPORT VR內(nèi)容分發(fā)平臺合作。

謝禮安表示，“從去年開始，HTC便開始與愛奇藝、創(chuàng)維、大朋等一體機達成VIVEPORT平臺合作。截止目前，VIVEPORT平臺用戶基數(shù)已有三到四倍的增長，所以我們希望有更多的開發(fā)者往VR方向發(fā)展，此次與Unity合作，就是給未來開發(fā)提供更好的工具，降低分發(fā)困難和時間成本。”

在隨后的時間，Vive中國區(qū)開發(fā)者關(guān)系及內(nèi)容團隊負責人袁東為我們講述了以及Vive平臺的最新技術(shù)以及ViveSDK的沉浸式SDK的具體功能。

以下為演講內(nèi)容整理：

“今天，我想跟大家分享的是Vive的SDK，HTC在全世界能夠制作出世界上最驚艷VR的設(shè)備，同樣我們想把最先進的VR技術(shù)帶給開發(fā)者，讓開發(fā)者能制作出更驚艷的內(nèi)容。在現(xiàn)在社會中，產(chǎn)品的體驗是勝于產(chǎn)品的本身的，為了能有更多沉浸的體驗，以下我將給大家介紹Vive SDK的沉浸四大功能。”

音效

提起VR，大家的第一感受是視覺，其次便是音效體驗。Vive提供的3DSP技術(shù)能夠幫助開發(fā)者更好的去渲染音效，特別提供高精度的聲音模擬，傳統(tǒng)的錄制過程中會使有兩個麥克風(fēng)來錄制自然界的聲音，但將這運用到VR中是遠遠不夠的。

其中影響人類聽覺的因素有非常多，除了距離這一因素，其實人的耳廓、耳道，甚至你的衣服的材質(zhì)都會影響你聲音的體驗，所以我們提供比較高精度的，讓大家在錄制中能夠更有觀感體驗。

Hi-Res 3D是耳機中高保真度的評判標準之一，而我們提供的SDK便采用第三階的Hi-Res。我們以每五度是一個度量單位，并且提供方向設(shè)定，同時我們也提供了3D Audio中有物理疊加的體驗，以及聲音衰減等。

例如在虛擬環(huán)境中，雙方隔著一堵墻，那么我們可以通過3D Audio模擬出隔絕，聲音阻隔的效果。

混合現(xiàn)實

下面重點介紹一下XR Engine，這個工具是對虛擬和現(xiàn)實世界的感知和理解體現(xiàn)。這個演示的RD，能夠很好的展示我們現(xiàn)階段XR達到的成績，通過HTC Vive Pro的攝像頭，能讓用戶在虛擬現(xiàn)實中看到現(xiàn)實的場景。

RD展示的效果便是在XR狀態(tài)下，在現(xiàn)實世界中打開了一個隧道，而這一連接虛擬世界和現(xiàn)實的隧道，可以讓你在這兩個世界來回的走動，而且可以把一個物體從一個世界扔到另一個世界，這個過程還有碰撞的反饋，是不是很像哆啦A夢的夢幻體驗？

如果開發(fā)者有一臺Grght Eye和Left Eye的話，那么開發(fā)者可以嘗試使用我們提供SEE-Through功能進行開發(fā)，這是一個很有趣的過程。

值得一提的是，用戶在使用SEE-Through功能跟真實世界中交互體驗時，我們可以獲取用戶的場景深度信息，這可以輔助開發(fā)者做出非常有意思的Demo。

而這一過程所需的便是3D Reconstruction，它能把現(xiàn)實的場景在虛擬中重現(xiàn)，從而重塑一個交互場景。

SRWorks SDK，它的功能就是感知現(xiàn)實世界。我們在做SrworksSDK的時候，主要的方向是為開發(fā)者提供更高精度的Mesh。所以我們提供的Mesh是通用的OPG文件，開發(fā)者首先做了可以生成OPJ的文件，再將這個打到具體的項目中，這時，開發(fā)者就能發(fā)現(xiàn)它有許多非常優(yōu)秀的屬性可以幫助你進行開發(fā)。

當你在使用設(shè)備掃描場景時，就SrworksSDK會讀取物品的形狀。而你只要根據(jù)這些信息，去設(shè)計有趣的內(nèi)容就行了。也就是說我們可以實時的掃出整個世界，每一楨的疊加，可以真實的和世界做互動，這樣你就可以實時的做一些反饋，這個非常有意思。

要做到實時反饋，便需要AI.Vision，它是你的AI認知工具。我們可以通過學(xué)習(xí)，將攝像頭前面的物體進行感知識別。2D的方面它能識別9類的物體，舉例說明，當你在VR中玩《Beat Saber》的時候，有人走到你面前，這時Vision就會有提醒的在畫面中給予提醒，以此避免發(fā)生一些危險的事情。

交互

我相信大家很多人，在第一次體驗VR的內(nèi)容中，可能第一個內(nèi)容可能是深海奇遇，當你站再一個沉浸甲板的時候，你可能看到海底混沌海水的時候，你第一個反應(yīng)是伸出雙手感知世界，這是人跟世界最自然的一種接觸，就是通過雙手。

我們北京的研究團隊一直致力于這種交互的研究，這一交互系統(tǒng)，可以在MR環(huán)境下提供最基本的左手跟右手的識別，我們在一基礎(chǔ)上定義了五種手勢，未來也會有更多的手勢可以識別出來。此外它能夠提供手的骨骼信息（2D、3D），大約有21個點。

這是我們一個工程師在演示Demo，他的雙手被識別出來，而且每個手的關(guān)節(jié)，21個點清晰的識別出來，而且是實時的。我們單個攝像頭提供3D信息，是有一點困難，所以暫時使用Vive，是不支持3D的信息捕捉。此外，移動設(shè)備VIVE FOCUS，因為一體機算力的受限，目前也沒法達到這一效果，但在未來，我們也會提供勢骨骼捕捉支持。

我們的SDK支持最流行的Native Library、Java AAR Plugin等，這些工具都可以開發(fā)出內(nèi)容。我們有一個應(yīng)用叫VivePaper，通過這個應(yīng)用可以利用手勢，用最自然的方式讀你想要看的雜志和書籍。

為了讓開發(fā)者更加清楚的了解用戶的行為，我們設(shè)計了SRAnipal工具。這是Eye tracking（眼球追蹤技術(shù)），這個技術(shù)可以能追蹤開發(fā)者眼球注視的點。這時，我們可以通過SRAnipal來清楚的了解到用戶在內(nèi)容體驗的整個過程中所關(guān)注的點。

此外我們支持Lip tracking（嘴唇捕捉），通過外置設(shè)備我們可以通過嘴唇來識別出不同的表情。同時還有Movement tracking（運動追蹤）和shape tracking（形狀捕捉），我相信聽到這里在座的人應(yīng)該會很開心，因為我們正在朝著《黑客帝國》的方向發(fā)展。

SRanipal，我們想感知用戶的表達，還有預(yù)測他，現(xiàn)在我們能夠提供的是Movement tracking和shape tracking，我相信在座的人應(yīng)該很開心，像《黑客帝國》，我們朝著這個一步一步做。未來會我們還會識別出更多的自然界的形態(tài)，包括光照。例如開燈、關(guān)燈，光照燈源的方向等，將環(huán)境中的信息，反饋到XR中。

WAVE平臺

下面我向大家介紹ViveWAVE平臺，現(xiàn)在市面有400個不同的平臺和不同種類的VR設(shè)備。對于開發(fā)者來講，這么多的設(shè)備，他們就會有很多的抱怨，相信不少開發(fā)者都有做內(nèi)容Porting（移植）的煩惱，尤其做安卓的開發(fā)者。因為業(yè)界缺乏這樣的標準，所以我們的WAVE平臺很希望能成為像Unity一樣的多平臺支持，可以不用很多的優(yōu)化，你只需要關(guān)注的就是把你的精力用在創(chuàng)造更加驚艷的內(nèi)容上，這是我們的愿望和夢想。

這是WAVE的Scope，如果你是第三方的兼容硬件的開發(fā)者，你可以用DEVICE MAKER，做開發(fā)。這個是WAVE的DIAGRAM，它是一個Base在安卓的平臺上，但是是可以安裝的平臺，只要你是符合我們標準的安卓的設(shè)備，就可以安裝WAVE。

值得一提的是，WAVE的Main Features是高階的開發(fā)工具。使用Single pass rendering 以后，能夠?qū)崿F(xiàn)雙眼的楨級渲染。畫面的渲染會以用戶的注視點來進行取舍，以高分辨率去渲染關(guān)注點，而用戶沒有關(guān)注到的畫面會以一個比較低的分辨率來進行渲染。

通過以上所述的SDK和VIVEPORT兩種方式，可以幫助用戶生成最后的content，且這一結(jié)果不會受到盜版的影響。

我的分享就到這里，非常感謝大家對Vive還有VIVEPORT的支持，在此也呼吁大家通過developer.vive.com去下載我們的開發(fā)平臺。到時，我們都會有專家的解答和及時的解答。