生成式物理 AI NIM 微服務(wù)以及 NVIDIA Metropolis 參考工作流旨在協(xié)助創(chuàng)建智能的沉浸式工作環(huán)境。
已有數(shù)以百萬的用戶在借助生成式 AI 進(jìn)行寫作和學(xué)習(xí)。現(xiàn)在,這項(xiàng)技術(shù)還可以幫助他們更有效地探索物理世界。
NVIDIA 在 SIGGRAPH 上宣布了生成式物理 AI方面的進(jìn)展,包括NVIDIA Metropolis參考工作流和全新的NVIDIA NIM微服務(wù),前者用于打造交互式視覺 AI 智能體,后者能夠協(xié)助開發(fā)者訓(xùn)練物理機(jī)器,并可讓它們更好地處理復(fù)雜任務(wù)。
具體包括三個(gè)fVDB NIM微服務(wù),這些微服務(wù)支持 NVIDIA 針對 3D 世界開發(fā)的全新深度學(xué)習(xí)框架,此外還包括能夠與通用場景描述 (也就是 OpenUSD)配合使用的USD Code、USD Search和USD Validate NIM微服務(wù)。
NVIDIA OpenUSD NIM 微服務(wù)能夠與全球首個(gè)用于 OpenUSD 開發(fā)的生成式 AI 模型(同樣由 NVIDIA 開發(fā))搭配使用,使開發(fā)者能夠?qū)⑸墒?AI copilot 和智能體納入到 USD 工作流程,并拓寬 3D 世界的可能性。
NVIDIA NIM 微服務(wù)
將改變物理 AI 的格局
物理 AI 使用先進(jìn)的仿真和學(xué)習(xí)方法,能夠幫助機(jī)器人和其他工業(yè)自動(dòng)化設(shè)備更有效地感知、推理和探索周圍環(huán)境。該技術(shù)正在改變著制造、醫(yī)療健康等行業(yè),并通過能夠更自主、更精確運(yùn)作的機(jī)器人、工廠和倉庫技術(shù)、手術(shù) AI 智能體和汽車推動(dòng)智能空間的發(fā)展。
NVIDIA 提供廣泛的 NIM 微服務(wù),這些微服務(wù)是針對特定模型和行業(yè)領(lǐng)域定制的。NVIDIA 面向物理 AI 量身定制的 NIM 微服務(wù)套件支持語音和翻譯、視覺和智能,以及逼真的動(dòng)畫和行為方面的功能。
借助 NVIDIA NIM,
將視覺 AI 智能體轉(zhuǎn)變?yōu)檫h(yuǎn)見者
視覺 AI 智能體使用計(jì)算機(jī)視覺功能來感知物理世界、與物理世界交互并執(zhí)行推理任務(wù)。
具有高度感知和交互能力的視覺 AI 智能體由一種被稱為視覺語言模型 (VLM)的新型生成式 AI 模型提供支持,這些模型能夠在物理 AI 工作負(fù)載中連通數(shù)字感知和現(xiàn)實(shí)交互,從而可增強(qiáng)決策能力、準(zhǔn)確性、交互性和性能。借助 VLM,開發(fā)者可以打造視覺 AI 智能體,即使在非常復(fù)雜的環(huán)境中,這些智能體也能更有效地處理極具挑戰(zhàn)性的任務(wù)。
由生成式 AI 賦能的視覺 AI 智能體正在迅速部署到醫(yī)院、工廠、倉庫、零售店、機(jī)場、交通路口等場所。
為了幫助物理 AI 開發(fā)者更輕松地打造高性能的自定義視覺 AI 智能體,NVIDIA 提供了一些用于打造物理 AI 的 NIM 微服務(wù)和參考工作流。NVIDIA Metropolis 參考工作流可讓用戶通過簡單的結(jié)構(gòu)化方法來定制、打造和部署視覺 AI 智能體,詳見博客內(nèi)容:
K2K 借助 NVIDIA NIM,
使巴勒莫變得更高效、更安全
意大利巴勒莫的城市交通管理人員部署了采用 NVIDIA NIM 的視覺 AI 智能體,以便獲得有助于他們更好地管理路況的物理數(shù)據(jù)分析結(jié)果。
NVIDIA Metropolis 合作伙伴 K2K 正在主導(dǎo)開展這項(xiàng)工作,將 NVIDIA NIM 微服務(wù)和 VLM 集成到實(shí)時(shí)分析城市交通攝像頭內(nèi)容的 AI 智能體中。市政官員可以用自然語言向智能體提問,并快速獲得準(zhǔn)確的街道活動(dòng)數(shù)據(jù)分析結(jié)果,以及關(guān)于如何改善城市運(yùn)營的建議,例如調(diào)整交通信號燈時(shí)間。
全球電子行業(yè)領(lǐng)先者 Foxconn 與和碩采用了物理 AI、NIM 微服務(wù)和 Metropolis 參考工作流,以便更高效地設(shè)計(jì)和開展批量制造運(yùn)營。
這些公司正在仿真環(huán)境中建設(shè)虛擬工廠,來節(jié)省大量時(shí)間和成本。他們還會在實(shí)際部署之前在數(shù)字孿生中對其物理 AI(包括 AI 多攝像頭和視覺 AI 智能體)進(jìn)行更全面的測試和優(yōu)化,以便提高工人安全性和運(yùn)營效率。
通過合成數(shù)據(jù)生成
縮小仿真與現(xiàn)實(shí)之間的差距
許多已部署 AI 的企業(yè)現(xiàn)在都采用“仿真優(yōu)先”的方法,來開展涉及現(xiàn)實(shí)世界工業(yè)自動(dòng)化的生成式物理 AI 項(xiàng)目。
制造公司、工廠物流公司和機(jī)器人公司需要管理復(fù)雜的工作人員互動(dòng)、先進(jìn)的設(shè)施和昂貴的設(shè)備。NVIDIA 物理 AI 軟件、工具和平臺(包括物理 AI 以及 VLM NIM 微服務(wù)、參考工作流和 fVDB)可以幫助他們簡化高度復(fù)雜的工程,讓他們更輕松地創(chuàng)建準(zhǔn)確模擬現(xiàn)實(shí)世界條件的數(shù)字表示或虛擬環(huán)境。
VLM 能夠生成高度逼真的圖像,因此在各行各業(yè)得到廣泛應(yīng)用。不過,創(chuàng)建準(zhǔn)確的物理 AI 模型需要大量的數(shù)據(jù),因此訓(xùn)練這些模型可能非常困難。
使用計(jì)算機(jī)仿真從數(shù)字孿生生成的合成數(shù)據(jù)能夠有效替代現(xiàn)實(shí)世界數(shù)據(jù)集。獲取現(xiàn)實(shí)世界數(shù)據(jù)集進(jìn)行模型訓(xùn)練可能成本非常高昂,有時(shí)甚至不可能獲得此類數(shù)據(jù)集,具體取決于用例。
借助 NVIDIA NIM 微服務(wù)和Omniverse Replicator等工具,開發(fā)者能夠構(gòu)建生成式 AI 賦能的合成數(shù)據(jù)管線,加速創(chuàng)建可靠、多樣化的數(shù)據(jù)集來訓(xùn)練物理 AI。這有助于增強(qiáng) VLM 等模型的適應(yīng)能力和性能,使它們能夠更有效地針對各行各業(yè)和用例進(jìn)行泛化。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5292瀏覽量
106154 -
AI
+關(guān)注
關(guān)注
88文章
34912瀏覽量
277922 -
微服務(wù)
+關(guān)注
關(guān)注
0文章
145瀏覽量
7721
原文標(biāo)題:SIGGRAPH 2024 | AI 走向物理化:全新 NVIDIA NIM 微服務(wù)將生成式 AI 引入數(shù)字環(huán)境
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
NVIDIA技術(shù)助力企業(yè)創(chuàng)建主權(quán)AI智能體
NVIDIA發(fā)布全新NIM AI Guardrail微服務(wù)
NVIDIA NeMo Guardrails引入三項(xiàng)全新NIM微服務(wù)
NVIDIA 發(fā)布保障代理式 AI 應(yīng)用安全的 NIM 微服務(wù)
NVIDIA NIM微服務(wù)登陸亞馬遜云科技
全新NVIDIA NIM微服務(wù)實(shí)現(xiàn)突破性進(jìn)展
NVIDIA與思科合作打造企業(yè)級生成式AI基礎(chǔ)設(shè)施
NVIDIA 攜手全球合作伙伴推出 NIM Agent Blueprints,助力企業(yè)打造屬于自己的 AI

NVIDIA NIM微服務(wù)帶來巨大優(yōu)勢
借助NVIDIA NIM微服務(wù)助力可口可樂公司擴(kuò)展生成式AI內(nèi)容
采用OpenUSD和NVIDIA NIM微服務(wù)創(chuàng)建精準(zhǔn)品牌視覺
全新 NVIDIA NeMo Retriever微服務(wù)大幅提升LLM的準(zhǔn)確性和吞吐量

NVIDIA攜手Meta推出AI服務(wù),為企業(yè)提供生成式AI服務(wù)
英偉達(dá)推出全新NVIDIA AI Foundry服務(wù)和NVIDIA NIM推理微服務(wù)
NVIDIA AI Foundry 為全球企業(yè)打造自定義 Llama 3.1 生成式 AI 模型

評論