開發(fā)擴展現(xiàn)實(XR)應(yīng)用的難度極大。用戶通常會從一個模板項目入手,并按照現(xiàn)成的打包模板將應(yīng)用部署到頭顯。這種方法給資產(chǎn)迭代流程帶來了嚴(yán)重的阻礙。XR 體驗內(nèi)的資產(chǎn)更新完全取決于開發(fā)者構(gòu)建、打包和部署新的可執(zhí)行程序的速度。
NVIDIA Omniverse 中的全新空間框架通過通用場景描述(即 OpenUSD)和由 NVIDIA RTX 驅(qū)動的光線追蹤技術(shù)幫助解決了這些難題。全球首個全光線追蹤 XR 體驗由此誕生,它使用戶能夠查看其場景中的每一個反射、軟陰影、豐富的光線以及幾何體的動態(tài)變化。
現(xiàn)在,用戶可以對包含數(shù)百萬個多邊形、物理材質(zhì)和精確照明的大規(guī)模、復(fù)雜、全保真設(shè)計數(shù)據(jù)集進行全光線追蹤,來身臨其境地體驗數(shù)據(jù)集,而無需耗費額外的數(shù)據(jù)準(zhǔn)備時間。
使用 OpenUSD 實現(xiàn)沉浸式工作流
OpenUSD 可確保場景編輯不具有破壞性,從而實現(xiàn)不同工具和生態(tài)之間的無縫交互。Omniverse 可渲染和顯示磁盤上的 USD 數(shù)據(jù),使用戶能夠以任意節(jié)奏迭代這些數(shù)據(jù),并實時看到更新的資產(chǎn) XR 視圖。
因此,用戶可以沉浸式地體驗任意流程環(huán)節(jié)中的應(yīng)用,這大大減少了阻礙,提高了迭代速度。用戶甚至可以將 XR 集成到現(xiàn)有的流程中,并且毫不費力地實施。
該空間框架的主要特點包括:
-
用于添加沉浸式體驗和基本 XR 功能的新工具:簡化并提高了設(shè)計審查和工廠規(guī)劃的工作流效率。
-
將 RTX 光線追蹤和 Omniverse 連接到 SteamVR、OpenXR 和 NVIDIA CloudXR。
-
支持空間計算平臺和頭顯:Omniverse 用戶可以構(gòu)建與其他基于 OpenUSD 的空間計算平臺(如 ARKit 和 RealityKit)兼容的 USD stage。此外,新增加的對 Khronos Group OpenXR 開放標(biāo)準(zhǔn)的支持將 Omniverse 開發(fā)者的體驗擴展到 HTC VIVE、Magic Leap 和 Varjo 等制造商生產(chǎn)的更多頭顯。
Magic Leap 產(chǎn)品副總裁 Jade Meskill 表示:“NVIDIA 所發(fā)布的支持 OpenXR 和 Magic Leap 2 的 Omniverse Kit 是企業(yè) AR 領(lǐng)域的一座重要里程碑。企業(yè)用戶現(xiàn)在能夠以前所未有的視覺質(zhì)量,來渲染沉浸式全尺寸數(shù)字孿生,并將其從 Omniverse 傳輸至 Magic Leap 2。
Meskill 還表示,為了滿足企業(yè)應(yīng)用的高要求,在現(xiàn)實世界中放置基于全保真設(shè)計數(shù)據(jù)創(chuàng)建的逼真數(shù)字孿生并提供精準(zhǔn)的照明和反射必不可少。“NVIDIA 和 Magic Leap 工程團隊在視覺質(zhì)量方面率先取得了關(guān)鍵性的技術(shù)進展,我們十分高興兩家公司建立了牢固的合作關(guān)系。”
將 XR 集成到現(xiàn)有的 3D 工作流中
Omniverse 應(yīng)用開發(fā)者現(xiàn)在可以輕松地將 XR 集成到 3D 工作流中。Omniverse 中的這個新空間框架可實現(xiàn) 3D 場景的實時、沉浸式可視化。還可以將傳送、操作、導(dǎo)航等 XR 功能集成到現(xiàn)有流程中。
通過該空間框架,使用者能夠以混合現(xiàn)實或完全沉浸式的方式,跨設(shè)備查看工作資產(chǎn)。NVIDIA CloudXR 可提供逼真度堪比桌面計算的無拘束體驗。
使用者無需下載整個應(yīng)用,便可使用特定的擴展程序,讓工作流變得更加簡單和模塊化。自動用戶界面優(yōu)化功能提升了應(yīng)用的速度和生產(chǎn)力,使播放變得更加流暢。
此外,使用者還可以部署自定義 XR 應(yīng)用并為特定的工作流而設(shè)計用戶界面,例如協(xié)作產(chǎn)品設(shè)計評審、工廠規(guī)劃等。
在頂級頭顯上提供 RTX 驅(qū)動的沉浸式體驗
通過 Omniverse Kit 105,可以創(chuàng)建具有極致沉浸感和逼真度的資產(chǎn),并以全保真度構(gòu)建具有幾何構(gòu)造和材質(zhì)的超逼真應(yīng)用。
例如,Kit 105 可以在業(yè)內(nèi)分辨率最高的混合現(xiàn)實頭顯 Varjo XR-3 中,驅(qū)動達(dá)到視網(wǎng)膜級分辨率的 Quad View 渲染功能。該渲染器可生成兩個高分辨率視圖和兩個低分辨率視圖,然后由設(shè)備合成出無比逼真和沉浸的 VR 體驗。
Varjo 軟件合作關(guān)系總監(jiān) Marcus Olsson 表示:“實時光線追蹤是 3D 可視化的‘圣杯’。之前,我們因為圖形和計算方面的要求而無法渲染出像這樣逼真的沉浸式場景。通過 NVIDIA Omniverse 和 Varjo XR-3,用戶可以結(jié)合強大的多 GPU 配置和 Varjo 逼真的視覺保真度,在混合現(xiàn)實環(huán)境中實現(xiàn)實時光線追蹤。
Quad View 的渲染分辨率達(dá)到驚人的 1500 萬像素,將 XR 的視覺保真度提高到一個新的級別。如要充分利用達(dá)到視網(wǎng)膜級分辨率的 Quad View 渲染功能,團隊?wèi)?yīng)使用配備 NVIDIA RTX 6000 Ada 顯卡的多 GPU 配置以在 Varjo XR-3 頭顯上實現(xiàn)無縫渲染和最優(yōu)性能。
使用 Omniverse 開始構(gòu)建沉浸式體驗和應(yīng)用
準(zhǔn)備好開始使用 Omniverse Kit 105 在應(yīng)用中構(gòu)建 XR 并創(chuàng)造沉浸式體驗了嗎?該空間框架現(xiàn)在可以在 VR Experience 下的 Omniverse Extension Library 中使用。將該擴展程序添加到 Kit 應(yīng)用中,就可以使用 Tablet AR 和 VR 面板。該框架還帶有 Omni.UI,使用戶可以同時在頭顯和桌面中使用此前所開發(fā)的桌面工具和界面。
USD Composer 提供了一個在 Omniverse 中測試沉浸式體驗的良好平臺。USD Composer 是 Omniverse 中的一個參考應(yīng)用,用戶可以在其中輕松打開并制作一個 USD stage。請在 Omniverse 啟動器中安裝 USD Composer,以開始使用。用戶可在 “Window” -> “Rendering” 菜單中找到 “VR” 和 “Tablet AR”。如果正與其他用戶一起工作,可以使用 USD Composer 多用戶工作流開展實時、沉浸式的合作。
開始在 Omniverse 中構(gòu)建自己的 XR 體驗:https://developer.nvidia.com/omniverse/get-started。
SIGGRAPH 2023
NVIDIA 精彩發(fā)布
【1】SIGGRAPH 主題演講:NVIDIA 首席執(zhí)行官帶來生成式 AI 多項創(chuàng)新 SIGGRAPH 2023 | NVIDIA 發(fā)布新一代 GH200 Grace Hopper 超級芯片平臺 SIGGRAPH 2023 | NVIDIA 發(fā)布支持生成式 AI 與 OpenUSD 的重大 Omniverse 升級 SIGGRAPH 2023 | NVIDIA Omniverse 開啟通往 OpenUSD 廣闊天地的大門 SIGGRAPH 2023 | NVIDIA 與全球數(shù)據(jù)中心系統(tǒng)制造商大力推動 AI 與工業(yè)數(shù)字化的發(fā)展 SIGGRAPH 2023 | NVIDIA 與全球工作站廠商共同推出用于生成式 AI、LLM 開發(fā)、內(nèi)容創(chuàng)作和數(shù)據(jù)科學(xué)的系統(tǒng) SIGGRAPH 2023 | NVIDIA AI Workbench 助力全球企業(yè)加速采用自定義生成式 AI SIGGRAPH 2023 | NVIDIA 與 Hugging Face 將連接數(shù)百萬開發(fā)者與生成式 AI 超級計算【9】Shutterstock 通過 NVIDIA Picasso 將生成式 AI 應(yīng)用于 3D 場景
【10】貼圖幫手:NVIDIA Research 展示生成式 AI 如何幫助創(chuàng)建和編輯逼真的材質(zhì)
【11】初創(chuàng)企業(yè)借助 NVIDIA NeMo 撰寫生成式 AI的成功案例
【12】騰勢汽車與 WPP 一同在 NVIDIAOmniverse Cloud 上構(gòu)建并部署汽車配置器
【13】全新專業(yè)顯卡、AI 工具、Omniverse 和 OpenUSD 協(xié)作功能強效助力內(nèi)容創(chuàng)作
【14】NVIDIA 幫助企業(yè)與開發(fā)者構(gòu)建更易擴展和自定義的 XR 流式傳輸
【15】NVIDIA 擴展 Maxine 視頻編輯功能,展示 3D 虛擬會議研究成
敬請持續(xù)關(guān)注
點擊“閱讀原文”,或掃描下方海報二維碼,觀看 NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場發(fā)表的 NVIDIA 主題演講回放,了解 NVIDIA 的新技術(shù),包括屢獲殊榮的研究,OpenUSD 開發(fā),以及最新的 AI 內(nèi)容創(chuàng)作解決方案。
原文標(biāo)題:SIGGRAPH 2023 | 由 RTX 賦能的空間框架通過 USD 實現(xiàn)全光線追蹤 XR 流程
文章出處:【微信公眾號:NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
-
英偉達(dá)
+關(guān)注
關(guān)注
22文章
3937瀏覽量
93463
原文標(biāo)題:SIGGRAPH 2023 | 由 RTX 賦能的空間框架通過 USD 實現(xiàn)全光線追蹤 XR 流程
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
深視智能精密傳感賦能光伏智造全流程 | 12個核心工位檢測案例解析

《工業(yè)4.0新基建:RK3588核心板如何賦能智能制造全鏈路》
光線追蹤及降噪技術(shù)綜述

NVIDIA Omniverse Kit 107的安裝部署步驟

模型測試全流程實戰(zhàn)沙盤,賦能CI/CD及SiL測試 ——TPT Workshop邀請函

國產(chǎn)開發(fā)板—米爾全志T113-i如何實現(xiàn)ARM+RISC-V+DSP協(xié)同計算?
VirtualLab Fusion應(yīng)用:立方體光束整形器上的全內(nèi)反射(FTIR)
千方科技引入DeepSeek賦能交通綜合治理業(yè)務(wù)
HarmonyOS 應(yīng)用開發(fā)賦能套件:鴻蒙原生應(yīng)用開發(fā)的 “神助攻”
使用NVIDIA Omniverse空間流式傳輸在XR中體驗數(shù)字孿生

$1999 的 RTX 5090 來了

基于光線追蹤實現(xiàn)反射折射效果

基于光線追蹤的渲染算法實現(xiàn)

華為云發(fā)布全棧可觀測平臺 AOM,以 AI 賦能應(yīng)用運維可觀測

評論