案例簡介
本案例中通過在 NVIDIA Isaac 平臺集成觸覺仿真器,借助NVIDIA Isaac Sim平臺的 3D 場景生成技術和NVIDIA Isaac Lab的強化學習與數據增擴技術,帕西尼感知科技實現了從接觸仿真、觸覺信號產生、仿真數據生成,再到觸覺模態模型訓練的全流程 GPU 加速,提升標定和訓練效率 100 倍,完成觸覺傳感器的批量標定和觸覺模態規模化實機部署。
帕西尼感知科技(深圳)有限公司作為一家在觸覺技術及人形機器人領域擁有前沿核心技術的創新企業,致力于將機器人的觸覺感知能力提升至人類水平,從而實現對外界環境的精細解析與敏捷響應。
作為國內觸覺傳感技術的革新者,帕西尼感知科技憑借其觸覺傳感陣列與深度學習算法,能夠實時采集并精準分析靈巧手及機器人與外部環境交互的觸覺數據,通過基于物理模型的預處理與特征提煉,將其轉化為對物體形狀、質地、力度等屬性的精準描述。帕西尼感知科技應用NVIDIA Warp提供的高效并行機制和高層級接口,高效實現了柔性體接觸計算和觸覺仿真器,并集成到 Isaac Sim 平臺上。Isaac Sim 平臺的 3D 場景生成技術和 Isaac Lab 的數據增擴技術協助帕西尼感知科技實現了從接觸仿真、觸覺信號產生、仿真數據生成,再到觸覺模態模型訓練的全流程,在 NVIDIA GPU 的并行能力加持下,提升訓練效率超 100 倍,完成觸覺傳感器的觸覺模態規模化實機部署。在此基礎上,借助高性能計算平臺與智能優化算法,實現復雜觸覺信息的深度挖掘與高效解析,為靈巧手及機器人在動態環境中構建強大的智能決策引擎。
具身智能觸覺感知突破與三大挑戰
觸覺的雙向交互性對人類意義重大,讓我們感知自身存在,幫助我們完成各種復雜任務。同樣的,具身智能體也必須依靠觸覺感知才能實現精巧、實時的反饋。高精度的觸覺感知,一直都是具身智能領域極為關鍵和稀缺的模態,智能通用化能力是限制人形機器人規模化和商業化的瓶頸所在,在通往具身智能的道路上依然需要克服的幾大挑戰:
一是傳感數據仿真模型的參數優化和輕量化,主要挑戰在于構建陣列式觸覺傳感器的計算物理和計算力學模型,該模型需要在邊緣側以毫秒量級處理近萬個獨立參數,并在服務器端實現高速仿真和求解。此外,模型還需進一步突破材質紋理、摩擦系數、熱導系數等感知執行邊界的限制。物理模型參數的快速優化計算和輕量化是實現復雜物理交互,適應更廣泛應用場景和任務需求的重要前提;
二是觸覺模態和多模態模型構建和調優,主要挑戰在于整合多模態數據提供的特征集,增強機器人任務執行時對環境上下文的理解,并在此基礎上實現高效的規劃、決策和執行,從而指導機器人完成復雜的閉環任務。這需要處理包括圖像、三維視覺、觸覺和文字標注在內的高維度異構數據,涉及跨模態表示學習、融合網絡設計以及聯合訓練與優化等算法策略。這些策略通常依賴于具備高吞吐量的算力支持,以實現并行計算任務的高效調度與執行,提高模型的訓練和推理效率,從而提升任務執行的智能化水平;
三是人形機器人學習技能訓練與應用,主要挑戰在于實現虛擬數據采集和真實數據精調。訓練數據和訓練場地的局限使得難以低成本、系統化地擴展機器人的數據集,當前的數據集仍難以滿足產業化需求中的泛化能力要求。這涉及到如何高效地收集、整合和利用來自虛擬仿真環境和真實物理世界的海量數據,以及如何實現不同機器人本體之間的數據共享和協同,從而為模型訓練和優化提供充足且多樣化的數據支持。
NVIDIA 生態賦能帕西尼觸覺感知全鏈路突破
基于以上挑戰,帕西尼感知科技選擇采用 NVIDIA GPU 作為硬件基礎,結合NVIDIA Omniverse生態系統提供支持,為產品矩陣和業務能力帶來提升和優化。
帕西尼感知科技選擇采用 Isaac Sim 仿真開發平臺,實現自研高效多物理系統的模擬和參數辨識。Isaac Sim 集成的統一剛體求解器,結合 NVIDIA Warp 框架支持下的柔性體快速求解器,在仿真過程中對剛體和柔性體進行協調優化,從而高效處理模擬傳感器與不同材質物體接觸時的復雜動力學行為。同時,帕西尼利用 CUDA 加速了自研快速超彈性材料的參數辨識和有限元正算仿真和接觸計算。這不僅減少了對真實物理環境和硬件升級的依賴,還大幅縮短了解耦算法的調試和優化周期,將開發周期從數月縮減至幾周,成本效益顯著提升約 40% 以上。
帕西尼感知科技選擇采用 NVIDIA GPU,其高性能架構和特性高度契合多模態大模型訓練所需的并行計算能力。NVIDIA GPU 的高顯存容量和帶寬,能夠滿足訓練與優化過程中大量存儲模型參數、中間計算結果和數據集的需求。在高數據吞吐量下,能夠實現低延遲,通過 CUDA 工具充分調用與執行 NVIDIA GPU 的計算資源,將圖像特征提取、文本編碼和模態融合等任務并行化執行。借助 GPU 并行優勢,進一步加速深度學習算法的執行效率,在成本僅增加約 50% 的情況下,模型訓練提速近 100 倍。
帕西尼感知科技選擇采用 Isaac Lab 支持大規模機器人仿真。采用 Isaac Lab 仿真開發平臺,高效構建人形機器人的數字孿生,通過 GPU 加速高度逼真的物理模擬、實時渲染、深度強化學習(RL)模仿學習(IL)集成等先進技術,在虛擬環境中復現真實機器人的運動、感知和交互過程等,實現虛實融合與多本體融合數據共享和協同,從而提高模型的泛化能力和適應性。避免物理硬件的損壞和高昂的實驗成本局限。在數據方面,Isaac Lab 支持數據增擴,能有效生成和收集機器人在虛擬環境中的各類數據。同時,它還可通過連接外設進行虛擬遙操作,豐富訓練數據,進一步提升機器人在不同場景下的泛化能力。在 Isaac Lab 的加持下,提高訓練效率約至 100 倍,為機器人學習技能訓練與應用提供了強有力的支持,快速打開并擴展應用場景。
在 NVIDIA GPU 和 SDK 生態的共同支持下,帕西尼得以迅速完成從傳感計算、觸覺多模態數據集到具身智能模型的全鏈路落地,觸覺傳感器、靈巧手、機器人和算法方案得以快速服務到眾多客戶。目前,帕西尼感知科技已經成為國內知名的高精度多維觸覺傳感器研發企業,依托 NVIDIA 開發平臺和算力的全棧式軟硬件生態體系,為人形機器人提供“大腦”,形成人形機器人訓練提升的良性循環,實現智能化水平的快速升級。
NVIDIA 算力驅動帕西尼觸覺感知
引領人形機器人多模態升級
帕西尼感知科技依托 NVIDIA 軟硬件解決方案,特別是高性能 AI 加速集群算力技術,實現了海量觸覺數據的高速運算與算法優化。這一技術支撐使帕西尼感知科技在觸覺傳感技術領域處于行業領先地位。
帕西尼感知科技 CEO 許晉誠博士表示:在具身智能的發展進程中,人形機器人正快速進入“多模態感知 2.0”時代。精細觸覺感知能力作為實現高級交互與自主行動的關鍵要素,成為行業競爭焦點。帕西尼感知科技在“多維度多陣列觸覺感知”領域大幅提升了觸覺傳感器的靈敏度與精度。NVIDIA 憑借強大的 GPU 矩陣和 AI 加速解決方案,構建起從芯片到算法的全棧生態體系,為帕西尼感知科技提供了底層算力支持。在此基礎上,帕西尼的觸覺傳感器能夠在毫秒級時間內完成數據的捕捉、解析與反饋,為算法模型的持續迭代優化提供動力,有力推動了人形機器人觸覺技術的發展。
機器人及自動化設備一直以來缺乏完善的觸覺感知能力,只有依靠多維度觸覺傳感器,才能更大程度提升機器人及設備對環境的感知能力,從而能夠更好與物理世界進行交互,協助人類執行更多重要的任務。
許晉誠博士表示:“我們帕西尼作為觸覺傳感領域的佼佼者,深知與頂尖技術伙伴攜手共進的重要性。NVIDIA 作為全球領先的 AI 計算平臺提供商,為我們提供了高性能的 AI 加速集群算力,將‘多維陣列觸覺傳感算法’和‘觸覺模態模型’發揮到極致。”
NVIDIA 初創加速計劃
NVIDIA 初創加速計劃 (NVIDIA Inception)為免費會員制,旨在培養顛覆行業格局的優秀創業公司。該計劃聯合國內外知名的風投機構、創業孵化器、創業加速器、行業合作伙伴以及科技創業媒體等,打造創業加速生態系統。能夠提供產品折扣、技術支持、市場宣傳、融資對接、業務推薦等一系列服務,加速創業公司的發展。
-
傳感器
+關注
關注
2564文章
52794瀏覽量
765488 -
NVIDIA
+關注
關注
14文章
5282瀏覽量
106070 -
gpu
+關注
關注
28文章
4925瀏覽量
130939 -
人形機器人
+關注
關注
7文章
715瀏覽量
17563
原文標題:初創加速計劃 | 帕西尼感知科技基于 NVIDIA Isaac 實現觸覺模態的加速訓練與部署
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
NVIDIA 通過云端至機器人計算平臺驅動人形機器人技術,賦能物理 AI

廣東新支柱產業“拼圖”:深圳這四家人形機器人企業受關注
伺服電動缸在人形機器人中的應用
【「具身智能機器人系統」閱讀體驗】2.具身智能機器人的基礎模塊
【「具身智能機器人系統」閱讀體驗】2.具身智能機器人大模型
【「具身智能機器人系統」閱讀體驗】+初品的體驗
《具身智能機器人系統》第1-6章閱讀心得之具身智能機器人系統背景知識與基礎模塊
一文講透人形機器人常用的四類感知傳感器:視覺、力/力矩、觸覺、IMU

NVIDIA 加速人形機器人發展

評論