來(lái)源：NVIDIA

空間計(jì)算將數(shù)字?jǐn)?shù)據(jù)與物理世界實(shí)時(shí)融合，通過(guò)增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)頭顯或智能眼鏡等設(shè)備、增強(qiáng)混合現(xiàn)實(shí)交互。

1空間計(jì)算是如何運(yùn)作的？

空間計(jì)算通過(guò)將數(shù)字內(nèi)容與物理環(huán)境無(wú)縫融合來(lái)增強(qiáng)用戶交互。為了實(shí)現(xiàn)這一目標(biāo)，它利用了許多先進(jìn)技術(shù)。

增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí) (AR/MR)

增強(qiáng)現(xiàn)實(shí) (AR) 和混合現(xiàn)實(shí) (MR) 在空間計(jì)算中發(fā)揮著關(guān)鍵作用。AR 通過(guò)疊加數(shù)字內(nèi)容來(lái)增強(qiáng)現(xiàn)實(shí)世界環(huán)境，使用戶能夠同時(shí)感知兩種現(xiàn)實(shí)。同時(shí)，MR 更進(jìn)一步，將物理和數(shù)字領(lǐng)域無(wú)縫融合。

邊緣和云計(jì)算

邊緣和云計(jì)算對(duì)于提高空間計(jì)算設(shè)備的數(shù)據(jù)處理效率和輸出質(zhì)量是不可或缺的。邊緣和云計(jì)算能夠流式傳輸令人驚嘆的視覺(jué)效果和極其復(fù)雜的場(chǎng)景，將高質(zhì)量圖形直接傳送到頭顯等本地設(shè)備，實(shí)現(xiàn)身臨其境的實(shí)時(shí)交互。邊緣和云計(jì)算還提供復(fù)雜的人工智能任務(wù)所需的計(jì)算能力。通過(guò)混合渲染，用戶可以將一些任務(wù)分載到云端，同時(shí)在本地處理其他任務(wù)，將它們無(wú)縫混合到單一應(yīng)用中。這樣可有效管理即時(shí)和高要求的過(guò)程，確保沉浸且高效的空間計(jì)算體驗(yàn)。

AI 和機(jī)器學(xué)習(xí)

借助 AI 和機(jī)器學(xué)習(xí)，空間計(jì)算設(shè)備能夠通過(guò)處理和情境化來(lái)自現(xiàn)實(shí)世界的傳感器數(shù)據(jù)、來(lái)解釋物理世界并與之交互。這些技術(shù)增強(qiáng)了交互性和沉浸感，并構(gòu)成了手部跟蹤等直觀用戶界面的基礎(chǔ)。例如，手部跟蹤允許用戶以自然、無(wú)縫的方式與虛擬對(duì)象交互，從而改善整體用戶體驗(yàn)。

生成式 AI 可以根據(jù)文本描述創(chuàng)建 3D 和 4D 模型，這些模型隨后用于增強(qiáng)擴(kuò)展現(xiàn)實(shí) (XR) 設(shè)備的渲染能力。3D 模型表示靜態(tài)對(duì)象，而 4D 模型增加了時(shí)間維度，融入了運(yùn)動(dòng)、動(dòng)畫或動(dòng)態(tài)變化。這豐富了視覺(jué)質(zhì)量，使虛擬環(huán)境更加生動(dòng)和引人入勝。

世界捕獲與渲染

空間計(jì)算利用計(jì)算機(jī)視覺(jué)等技術(shù)來(lái)創(chuàng)建環(huán)境的交互式 3D 表示。通過(guò)分析視覺(jué)數(shù)據(jù)，計(jì)算機(jī)視覺(jué)可解釋物理空間的幾何形狀和布局。其他技術(shù)，如高斯?jié)姙R和神經(jīng)輻射場(chǎng) (NeRF)，可以快速重建 3D 場(chǎng)景以進(jìn)行可視化和分析。生成式 AI（包括擴(kuò)散模型）可以將 2D 圖像轉(zhuǎn)換為 3D 動(dòng)畫，增強(qiáng)數(shù)字內(nèi)容與現(xiàn)實(shí)世界的融合。

世界捕獲與渲染技術(shù)的進(jìn)步促進(jìn)了數(shù)字孿生的創(chuàng)建，將現(xiàn)實(shí)世界的數(shù)據(jù)帶入空間計(jì)算設(shè)備，實(shí)現(xiàn)身臨其境的體驗(yàn)。這種數(shù)字內(nèi)容與物理空間的無(wú)縫融合支持 XR 環(huán)境中的訓(xùn)練、協(xié)作和內(nèi)容創(chuàng)建方面的應(yīng)用。

2空間計(jì)算有哪些優(yōu)勢(shì)？

融合現(xiàn)實(shí)世界和虛擬世界：這項(xiàng)技術(shù)促進(jìn)了物理和數(shù)字領(lǐng)域的無(wú)縫融合，為用戶提供情境信息以增強(qiáng)他們對(duì)這些空間的理解和在其中的互動(dòng)。

增強(qiáng)協(xié)作：它允許用戶在虛擬環(huán)境中與數(shù)字對(duì)象交互并進(jìn)行協(xié)作，這對(duì)于基于團(tuán)隊(duì)的活動(dòng)和項(xiàng)目尤為有益。

訓(xùn)練和仿真：空間計(jì)算可實(shí)現(xiàn)在危險(xiǎn)或復(fù)雜的環(huán)境中進(jìn)行安全有效的訓(xùn)練仿真，使其成為醫(yī)學(xué)、制造和建筑等領(lǐng)域的寶貴工具。

集成 AI：通過(guò) AI 支持高級(jí)場(chǎng)景理解，空間計(jì)算可用于創(chuàng)建沉浸式體驗(yàn)，將我們物理空間的元素融入其中，以增強(qiáng)虛擬環(huán)境的交互性。

使用熟悉的 2D 范式：空間計(jì)算允許用戶在 3D 空間中使用熟悉的 2D 計(jì)算范式，如 Web 瀏覽器或其他 2D 窗口。這使得向空間計(jì)算的過(guò)渡更加直觀和易于接受。

總體而言，這些優(yōu)勢(shì)使 XR 環(huán)境更具交互性、沉浸感和協(xié)作性，極大豐富了用戶體驗(yàn)。

3空間計(jì)算使用案例有哪些？

空間計(jì)算在各行各業(yè)都有變革性的使用案例，增強(qiáng)了功能和用戶體驗(yàn)。以下是空間計(jì)算的一些實(shí)際應(yīng)用示例：

汽車設(shè)計(jì)：汽車設(shè)計(jì)通過(guò)虛擬原型設(shè)計(jì)和數(shù)字孿生受益于空間計(jì)算。設(shè)計(jì)師可以在虛擬應(yīng)用中創(chuàng)建和測(cè)試汽車模型，從而加快設(shè)計(jì)流程并實(shí)現(xiàn)更創(chuàng)新、更高效的設(shè)計(jì)。激光雷達(dá)技術(shù)的集成可以進(jìn)一步增強(qiáng)汽車領(lǐng)域的空間計(jì)算，提供車輛及其周圍環(huán)境的精確且詳細(xì)的 3D 掃描，從而實(shí)現(xiàn)更準(zhǔn)確的數(shù)字復(fù)制和仿真。

虛擬展廳定制：在零售業(yè)，空間計(jì)算有助于虛擬展廳的創(chuàng)建，購(gòu)物者可以在其中定制汽車或家具的產(chǎn)品變體，創(chuàng)造逼真的個(gè)性化交互購(gòu)物體驗(yàn)。

手術(shù)規(guī)劃和培訓(xùn)：空間計(jì)算可以連接并整合來(lái)自手術(shù)室中各種物聯(lián)網(wǎng)設(shè)備（如醫(yī)療設(shè)備、傳感器和患者監(jiān)護(hù)儀）的數(shù)據(jù)。這種整合可以增強(qiáng)情境感知能力，提高手術(shù)團(tuán)隊(duì)成員之間的協(xié)調(diào)性。

游戲：空間計(jì)算可提供身臨其境的體驗(yàn)，讓玩家能以更自然、更直觀的方式與游戲環(huán)境互動(dòng)，因而徹底改變了游戲。

建筑和產(chǎn)品設(shè)計(jì)：空間計(jì)算工具可顯著增強(qiáng)數(shù)字環(huán)境中的 3D 模型設(shè)計(jì)和優(yōu)化，在 AECO 和產(chǎn)品設(shè)計(jì)中尤其有用，可實(shí)現(xiàn)快速可視化、迭代和審批。

室內(nèi)導(dǎo)航：空間計(jì)算可以顯著增強(qiáng)室內(nèi)導(dǎo)航，特別是在機(jī)場(chǎng)、醫(yī)院和購(gòu)物中心等大型設(shè)施中。通過(guò)集成空間技術(shù)，用戶可以接收實(shí)時(shí)、情境感知且疊加在其物理環(huán)境中的方向指引。例如，醫(yī)院的訪客可以使用空間計(jì)算設(shè)備查看前往特定病房或部門的導(dǎo)航指引，虛擬箭頭和標(biāo)記會(huì)引導(dǎo)他們穿過(guò)復(fù)雜的布局。

物理 AI：空間計(jì)算通過(guò)創(chuàng)建逼真的虛擬環(huán)境并幫助機(jī)器人在物理世界中導(dǎo)航來(lái)增強(qiáng)物理人形機(jī)器人的訓(xùn)練和功能。機(jī)器人可以在虛擬環(huán)境中模擬、學(xué)習(xí)和優(yōu)化任務(wù)，然后再部署到現(xiàn)實(shí)世界中。通過(guò)利用 XR 遠(yuǎn)程操作和數(shù)字孿生等技術(shù)，物理機(jī)器人可以在復(fù)雜環(huán)境中高精度地導(dǎo)航和操作。這種方法推動(dòng)了機(jī)器人在制造、物流和醫(yī)療保健等行業(yè)中的應(yīng)用，確保機(jī)器人獲得良好的訓(xùn)練且高效。

4空間計(jì)算的挑戰(zhàn)

為了實(shí)現(xiàn)空間計(jì)算的承諾，開發(fā)者需要克服幾個(gè)挑戰(zhàn)和實(shí)際問(wèn)題：

高計(jì)算能力：空間計(jì)算需要大量計(jì)算資源來(lái)實(shí)時(shí)處理和渲染復(fù)雜環(huán)境，這對(duì)當(dāng)前的設(shè)備內(nèi)硬件可能要求較高。NVIDIA GPU 和邊緣 AI 技術(shù)能夠?qū)崟r(shí)處理海量數(shù)據(jù)集，確保高保真模擬和交互。NVIDIA Omniverse 和 CloudXR 等技術(shù)可利用這種計(jì)算能力將大量模型的高保真渲染無(wú)縫融入空間計(jì)算應(yīng)用中，幫助各行業(yè)克服硬件限制。

低延遲：確保低延遲對(duì)于提供無(wú)縫且響應(yīng)迅速的用戶體驗(yàn)至關(guān)重要。任何延遲都可能破壞空間計(jì)算應(yīng)用的沉浸感和有效性。NVIDIA 通過(guò)在廣泛的環(huán)境（包括云服務(wù)提供商 (CSP)、本地基礎(chǔ)設(shè)施和邊緣設(shè)備）中部署其 GPU 來(lái)應(yīng)對(duì)這一挑戰(zhàn)。這種廣泛部署可確保數(shù)據(jù)處理更接近于用戶，從而最大限度地減少延遲，并提供空間計(jì)算應(yīng)用必需的流暢、實(shí)時(shí)的交互。

AI 集成：集成 AI 以準(zhǔn)確理解并情景化用戶環(huán)境非常具有挑戰(zhàn)性，但有助于創(chuàng)建響應(yīng)迅速且適應(yīng)性強(qiáng)的虛擬空間。NVIDIA 通過(guò) NVIDIA Isaac 和 Metropolis (NIM) 等旨在為空間計(jì)算應(yīng)用精簡(jiǎn) AI 集成的平臺(tái)來(lái)簡(jiǎn)化這一過(guò)程。這些解決方案提供了針對(duì)實(shí)時(shí)情境理解優(yōu)化的預(yù)構(gòu)建 AI 模型和工具套件，使開發(fā)者能夠輕松創(chuàng)建可適應(yīng)用戶交互和環(huán)境變化的智能系統(tǒng)。

逼真且身臨其境的體驗(yàn)：創(chuàng)造逼真且身臨其境的體驗(yàn)需要高級(jí)圖形。這涉及復(fù)雜的軟件和硬件能力。NVIDIA 憑借其行業(yè)領(lǐng)先的 RTX GPU 來(lái)解決這一問(wèn)題，這些 GPU 支持實(shí)時(shí)光線追蹤和 AI 增強(qiáng)的渲染，可生成逼真的視覺(jué)效果。結(jié)合 NVIDIA Omniverse 等平臺(tái)，開發(fā)者可以利用強(qiáng)大的工具來(lái)創(chuàng)建逼真的模擬和交互環(huán)境。這些解決方案確保空間計(jì)算應(yīng)用在各行業(yè)提供無(wú)與倫比的真實(shí)感和沉浸感。

5入門指南

詳細(xì)了解 NVIDIA XR

了解 NVIDIA 如何利用尖端技術(shù)徹底改變虛擬現(xiàn)實(shí)，為沉浸式體驗(yàn)和下一代應(yīng)用提供支持。

用于 Omniverse 數(shù)字孿生工作流的空間串流

詳細(xì)了解如何通過(guò)此參考工作流將基于 OpenUSD 的沉浸式 Omniverse 數(shù)字孿生串流到 Apple Vision Pro。

如何構(gòu)建原生 OpenUSD XR 應(yīng)用

在此實(shí)戰(zhàn)實(shí)驗(yàn)中了解如何使用 OpenUSD、NVIDIA Omniverse 和 CloudXR 構(gòu)建、定制和串流 XR 應(yīng)用。