“洞悉 Omniverse”系列文章將重點(diǎn)介紹藝術(shù)家、開發(fā)者和企業(yè)如何使用通用場(chǎng)景描述和 NVIDIA Omniverse 的最新技術(shù)改變其工作流程。

NVIDIA Cosmos 通過可預(yù)測(cè)未來世界狀態(tài)的世界基礎(chǔ)模型加速物理 AI 的發(fā)展。

物理 AI 是 AI 的下一個(gè)風(fēng)口。物理 AI 模型不但能夠理解指令，還能夠在現(xiàn)實(shí)世界中進(jìn)行感知和交互并執(zhí)行復(fù)雜的動(dòng)作，因此可用于驅(qū)動(dòng)機(jī)器人、自動(dòng)駕駛汽車等自主機(jī)器。

物理 AI 模型理解世界和生成動(dòng)作的方式類似于大語言模型處理和生成文本的方式。為此，物理 AI 模型必須在仿真模擬環(huán)境中接受訓(xùn)練，以便理解重力、摩擦力、慣性等物理動(dòng)力學(xué)知識(shí)、幾何和空間關(guān)系以及因果原理。

全球軟件開發(fā)和專業(yè)服務(wù)領(lǐng)域的領(lǐng)先企業(yè)正在使用 OpenUSD 驅(qū)動(dòng)的 NVIDIA Omniverse 構(gòu)建新產(chǎn)品和服務(wù)。這些產(chǎn)品和服務(wù)將加速 AI 和可控模擬仿真的發(fā)展，幫助企業(yè)創(chuàng)建被稱為數(shù)字孿生的逼真虛擬世界，并利用數(shù)字孿生所具有的空前精度與細(xì)節(jié)訓(xùn)練物理 AI。

使用 Omniverse 和 NVIDIA Cosmos

成倍生成合成數(shù)據(jù)

NVIDIA 在 CES 上發(fā)布的生成式 AI 模型和藍(lán)圖將 Omniverse 更加深入地集成到機(jī)器人、自動(dòng)駕駛汽車、視覺 AI 等物理 AI 應(yīng)用中。

NVIDIA Cosmos 是一個(gè)由先進(jìn)生成式世界基礎(chǔ)模型、高級(jí) tokenizer、護(hù)欄和加速視頻處理管線組成的平臺(tái)。該平臺(tái)的所有組成部分都是為了加速物理 AI 的開發(fā)。

物理 AI 模型的開發(fā)過程不僅成本高昂、資源和時(shí)間耗費(fèi)巨大，而且還需要大量現(xiàn)實(shí)數(shù)據(jù)和進(jìn)行大量實(shí)際測(cè)試。Cosmos 的世界基礎(chǔ)模型(WFM)基于多模態(tài)輸入以視頻的形式預(yù)測(cè)未來世界的狀態(tài)，使開發(fā)者能夠輕松生成大量逼真、基于物理學(xué)的合成數(shù)據(jù)，并使用這些數(shù)據(jù)訓(xùn)練和評(píng)估用于機(jī)器人、自動(dòng)駕駛汽車與機(jī)器的 AI。開發(fā)者還可以通過微調(diào) Cosmos WFM，建立下游世界模型或提高特定物理 AI 用例的質(zhì)量和效率。

在與 Omniverse 搭配使用時(shí)，Cosmos 可創(chuàng)建一個(gè)強(qiáng)大的合成數(shù)據(jù)倍增引擎。開發(fā)者可以使用 Omniverse 創(chuàng)建 3D 場(chǎng)景，然后將輸出結(jié)果輸入 Cosmos 生成可控的視頻和變化。它能夠成倍快速生成涵蓋各種環(huán)境和交互的訓(xùn)練數(shù)據(jù)，大幅加快自動(dòng)駕駛汽車和機(jī)器人等物理 AI 系統(tǒng)的開發(fā)速度。

使用 OpenUSD 可以將這些場(chǎng)景中的數(shù)據(jù)無縫整合并以統(tǒng)一的方式呈現(xiàn)，提高仿真模擬的真實(shí)性與有效性。

Cosmos 的首批用戶中有多家領(lǐng)先的機(jī)器人和汽車公司，包括 1X、Agile Robots、Agility Robotics、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi 和小鵬，以及共享出行巨頭 Uber。

Cosmos 在物理 AI 用例中的應(yīng)用

Cosmos WFM 提供了一個(gè)為各種應(yīng)用開發(fā)、訓(xùn)練和部署大規(guī)模 AI 模型的統(tǒng)一框架，為各行各業(yè)帶來了變革。例如汽車、工業(yè)和機(jī)器人領(lǐng)域的企業(yè)現(xiàn)在能夠運(yùn)用生成式物理 AI 和仿真模擬的力量加快創(chuàng)新并提高運(yùn)營效率。

人形機(jī)器人：適用于合成運(yùn)動(dòng)生成的 NVIDIA Isaac GR00T Blueprint 幫助開發(fā)者生成海量合成運(yùn)動(dòng)數(shù)據(jù)集，以便使用模仿學(xué)習(xí)訓(xùn)練人形機(jī)器人。借助 GR00T 工作流，用戶可以捕捉人類動(dòng)作并使用 Cosmos 將數(shù)據(jù)集的規(guī)模和種類增加數(shù)倍，使其更加適合用于訓(xùn)練物理 AI 系統(tǒng)。

自動(dòng)駕駛汽車：Omniverse Sensor RTX API 驅(qū)動(dòng)的自動(dòng)駕駛汽車(AV)仿真使自動(dòng)駕駛汽車開發(fā)者能夠播放駕駛數(shù)據(jù)、生成新的 ground-truth 數(shù)據(jù)和進(jìn)行閉環(huán)測(cè)試，從而加快開發(fā)流程。開發(fā)者可以使用 Cosmos 生成合成駕駛場(chǎng)景，令訓(xùn)練數(shù)據(jù)成倍增加，加快自動(dòng)駕駛汽車物理 AI 模型的開發(fā)速度。全球共享出行巨頭 Uber 正在與 NVIDIA 合作，共同加速自動(dòng)駕駛汽車的發(fā)展。Uber 能夠提供的豐富駕駛數(shù)據(jù)集，結(jié)合 Cosmos 和 NVIDIA DGX Cloud，幫助自動(dòng)駕駛汽車伙伴更加高效地構(gòu)建更強(qiáng)大的 AI 模型。

工業(yè)：Mega 是一種 Omniverse Blueprint，用于在基于 USD 的數(shù)字孿生中大規(guī)模開發(fā)、測(cè)試和優(yōu)化將被部署到工廠和倉庫的物理 AI 與機(jī)器人機(jī)隊(duì)。該藍(lán)圖使用 Omniverse Cloud Sensor RTX API 同時(shí)渲染來自各類智能機(jī)器的多傳感器數(shù)據(jù)，實(shí)現(xiàn)大規(guī)模、高保真的傳感器仿真。Cosmos 通過生成合成邊緣案例場(chǎng)景來豐富訓(xùn)練數(shù)據(jù)，大大提高了使用 Mega 在仿真中訓(xùn)練機(jī)器人的效果和效率。供應(yīng)鏈方案提供商 KION Group 是首批使用 Mega 推動(dòng)零售、消費(fèi)品包裝、包裹服務(wù)等行業(yè)倉庫自動(dòng)化的企業(yè)之一。

進(jìn)入 OpenUSD 的世界

關(guān)于 Cosmos 的更多信息，請(qǐng)觀看 NVIDIA 首席執(zhí)行官黃仁勛 CES 主題演講回放視頻，并開始使用 Cosmos WFM。Cosmos WFM 現(xiàn)在可通過 Hugging Face 和 NVIDIA NGC 產(chǎn)品目錄上的開放模型許可證獲得。

通過 NVIDIA 深度學(xué)習(xí)培訓(xùn)中心為 3D 開發(fā)者和從業(yè)者免費(fèi)提供的全新 Learn OpenUSD 自學(xué)課程，了解如何持續(xù)優(yōu)化 OpenUSD 工作流。有關(guān) OpenUSD 的更多資源，請(qǐng)?jiān)L問 OpenUSD 論壇聯(lián)盟和 AOUSD 網(wǎng)站。