北大攜智元機器?團隊提出OmniManip架構(gòu)
近日，北京大學(xué)與智元機器人的聯(lián)合實驗室有了重大成果，北?攜?智元機器?團隊提出 OmniManip 架構(gòu)。
在具身智能領(lǐng)域，將視覺語言基礎(chǔ)模型（VLMs）應(yīng)用于機器人實現(xiàn)通用操作一直是核心問題。目前存在兩大挑戰(zhàn)，一是VLMs缺乏精確3D理解能力，二是難以將高層次推理轉(zhuǎn)化為機器人低層次動作。
為解決這些難題，OmniManip架構(gòu)應(yīng)運而生。它基于以對象為中心的3D交互基元，把VLM的高層次推理能力轉(zhuǎn)化為機器人的低層次高精度動作。針對大模型幻覺和真實環(huán)境操作的不確定性，OmniManip引入了VLM規(guī)劃和機器人執(zhí)行的雙閉環(huán)系統(tǒng)設(shè)計。
OmniManip的關(guān)鍵設(shè)計亮點頗多，包括基于VLM的任務(wù)解析，可將復(fù)雜任務(wù)分解為多個明確主動物體、被動物體和動作類型的結(jié)構(gòu)化階段。還有閉環(huán)機器人執(zhí)行，通過物體6D姿態(tài)跟蹤器實時更新物體位姿，轉(zhuǎn)換為機械臂操作軌跡。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
機器人
+關(guān)注
關(guān)注
213文章
29664瀏覽量
212442 -
語言模型
+關(guān)注
關(guān)注
0文章
561瀏覽量
10758
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
宇樹科技攜兩款機器人亮相2025GDC
等大模型AI突破的刺激下， 有望成為人形機器人真正的量產(chǎn)元年。 在春晚亮相的宇樹科技一直備受關(guān)注，我們今天又看到一條消息，宇樹科技攜兩款機器人亮相2025GDC。 2025全球開發(fā)者先鋒大會（GDC）于22日在上海徐匯西岸大劇
寧德時代自研機器人團隊成立，探索多元科技領(lǐng)域
寧德時代近期加大對機器人領(lǐng)域的投入，已在上海組建了一支數(shù)十人的專業(yè)團隊，專注于自研機器人本體、控制算法以及人機交互技術(shù)。該團隊的目標是推動機械臂、AGV等工業(yè)
字節(jié)豆包大模型團隊提出稀疏模型架構(gòu)
字節(jié)跳動豆包大模型Foundation團隊近期研發(fā)出UltraMem，一種創(chuàng)新的稀疏模型架構(gòu)，旨在解決推理過程中的訪存問題，同時確保模型效果不受影響。
字節(jié)豆包大模型團隊推出UltraMem稀疏架構(gòu)
字節(jié)跳動豆包大模型Foundation團隊近期在稀疏模型架構(gòu)領(lǐng)域取得了新突破，提出了一種名為UltraMem的新型架構(gòu)。這一架構(gòu)通過將計算和
寧德時代自研機器人團隊成立
寧德時代在機器人領(lǐng)域的布局正逐步展開。去年底，該公司開始加大對機器人領(lǐng)域的投入，并已在上海組建了一支由數(shù)十人構(gòu)成的團隊，專注于自研機器人本體、控制及人機交互算法。 該
機器視覺廠商博視像元完成近億元A+輪融資
近日，機器視覺廠商北京博視像元科技有限公司（以下簡稱“博視像元”）宣布完成近億元A+輪融資，本輪融資由國投創(chuàng)業(yè)、北京創(chuàng)投等投資。
智元與匯川加碼，機器人如何利好電機市場？
智元官宣量產(chǎn)近千臺機器人、工控巨頭匯川科技入局，近期的機器人行業(yè)釋放了怎樣的信號?電機行業(yè)是否又能乘借東風(fēng)，迎來發(fā)展新的發(fā)展機遇? 機器人行業(yè)正迎來發(fā)展高峰。 近日，智
《具身智能機器人系統(tǒng)》第7-9章閱讀心得之具身智能機器人與大模型
研讀《具身智能機器人系統(tǒng)》第7-9章，我被書中對大模型與機器人技術(shù)融合的深入分析所吸引。第7章詳細闡述了ChatGPT for Robotics的核心技術(shù)創(chuàng)新：它摒棄了傳統(tǒng)的分層控制架構(gòu)，創(chuàng)造性地
發(fā)表于 12-24 15:03
走進北大 | 算能RISC-V通用處理器設(shè)計成功開課
近日，北京大學(xué)集成電路學(xué)院賈天宇老師開設(shè)的《現(xiàn)代SoC處理器架構(gòu)設(shè)計》如期進行，算能首席科學(xué)家楊柳西博士、處理器架構(gòu)師張明俊受邀，為北大博士講授了RXU高性能通用處理器設(shè)計的課程。《現(xiàn)代系統(tǒng)SoC
“0元購”智元靈犀X1機器人，軟硬件全套圖紙和代碼全公開！資料免費下載！
出定制化的運動控制策略。尤其是專業(yè)人士或初創(chuàng)團隊，基于智元提供的核心組件，可以輕松打造出個性化的人形機器人產(chǎn)品，并借助開源代碼快速完成整機工程，極大地降低了研發(fā)成本和門檻。
智元靈犀X
發(fā)表于 10-25 15:20
飛利浦家電全球首席執(zhí)行官攜全球高層團隊來華 持續(xù)看好中國市場
下，展開了為期4天的交流。 這也是自Véronique今年3月上任以來，攜高層團隊首次來華訪問。此行不僅極大地促進了總部與中國團隊之間的緊密聯(lián)系與高效協(xié)作，也彰顯了在中國市場強大的"磁吸力"下，飛利浦家電對于中國市場的高度重視及
【「大模型時代的基礎(chǔ)架構(gòu)」閱讀體驗】+ 未知領(lǐng)域的感受
”，好奇于這種大模型算力中心到底是如何建設(shè)的，用什么設(shè)備、什么架構(gòu)建設(shè)的？對這些問題真是一無所知，甚至都沒有想過，帶著這份好奇開始閱讀。
先瀏覽目錄，共分十三章，目錄中出現(xiàn)最多的就是GPU，比如機器學(xué)習(xí)
發(fā)表于 10-08 10:40
AMD贊助多支FIRST機器人競賽團隊
AMD 在 2024 賽季贊助了多支 FIRST 機器人競賽團隊。FIRST 機器人競賽旨在教導(dǎo)高中生如何構(gòu)建能夠執(zhí)行特定任務(wù)的機器人，同時也讓他們有機會學(xué)習(xí)重要的商業(yè)和時間管理技能、
軟通動力與智元機器人攜手亮相世界機器人大會
應(yīng)用解決方案服務(wù)商與制造商，軟通動力攜人形機器人關(guān)鍵能力，與戰(zhàn)略合作伙伴智元機器人以聯(lián)展的形式亮相本屆大會。 大會現(xiàn)場，軟通動力展示了自身在人形機器
戴爾重組銷售架構(gòu)，成立AI新團隊
戴爾公司近期宣布了一項重大戰(zhàn)略調(diào)整，旨在通過銷售團隊重組及新團隊的成立，加速其向人工智能（AI）領(lǐng)域的轉(zhuǎn)型步伐。此次重組中，戴爾不僅裁減了部分銷售人員以優(yōu)化成本結(jié)構(gòu)，更關(guān)鍵的是，公司正式成立了專注于AI產(chǎn)品和服務(wù)的新團隊，標志著
工商網(wǎng)監(jiān)
評論