開源：Github：https://github.com/Hello-XSJ/RDK\_vlm\_demo.git-
本項目聚焦腿臂機器人在多模態環境感知、自然語言交互和自主行為控制方面的技術瓶頸，基于RDK X3平臺進行AI大模型算法開發，提出了一種融合AI大模型的創新性解決方案，提升腿臂機器人的綜合性能。-
項目首先強化了機器人的多模態感知能力，利用雷達、攝像頭和語音傳感器數據，通過AI大模型進行深度信息融合與智能分析，實現對作業環境的全面理解與精準感知。在自然語言交互方面，AI大模型的語義解析與邏輯推理能力顯著提升了人機交互的效率，賦予機器人情感交互的能力，提供了個性化的交互體驗。-
自主行為控制方面，設計了基于AI大模型的智能行為調度策略，將自然語言指令轉化為可執行的語義信息，并通過任務子函數實現行為規劃與動態調整。系統還集成了高層反饋機制，確保任務規劃的準確性和執行效率。-
本項目展示了腿臂機器人在自然語言交互下進行多模式作業和多場景導航的能力，提升了機器人的自主性和適應性，為其在多樣化任務場景中的應用提供了廣闊前景，也為智能機器人技術的發展提供了新思路和方向——賽博汪汪團隊-

791×352 0 Bytes

一、 方案論證與設計-
1.1 研究目標-
當前，四足機器人在自然語言交互、自主行為控制及功能多樣性方面存在顯著局限。本研究旨在融合人工智能大模型技術，重點突破多模態環境感知與自主導航、自然語言交互和自主行為控制三大關鍵領域。-
在多模感知與指令式導航上，通過集成雷達、相機、語音等多源傳感器，利用 AI 大模型融合分析感知數據，使機器人能精準感知環境動態變化，實現復雜環境下的自主導航與任務執行。-
自然交互層面，借助 AI 大模型強大的語義解析和邏輯推理能力，實現機器人對自然語言的理解與生成，不僅能執行指令，還能識別情感并提供個性化交互體驗，通過語音、姿態等多方式互動提升用戶滿意度。-
自主行為控制方面，AI 大模型深度融合自然語言語義信息與傳感器圖像信息，基于指令分析與環境識別，生成任務指令和控制決策，無需復雜算法即可顯著提升機器人自主行動能力。-
1.2系統方案設計-
為全面提升四足機器人性能，設計包含四部分的系統方案：基于動力學模型的多模式運動控制、多模態環境感知與指令式導航、基于 AI 大模型的智能行為調度、實驗仿真與物理樣機測試。-
1.21 基于動力學模型的四足機器人多模式運動控制-
基于動力學模型的多模式運動控制是四足機器人技術核心。通過構建動力學模型分析機器人力學特性，優化靜態與特征參數獲取最優控制參數，實現步態、姿態和速度的靈活調整。-
采用基于模型預測的全身運動控制策略，開發強魯棒性控制器。該控制器處理本體傳感器數據，經濾波降噪后，運用高頻反饋與高維預測技術，實現站立、行走、跑跳等多種運動模式平滑切換，保障機器人執行指令時的穩定性。-
1.22 環境感知與指令式導航-
融合 AI 大模型的導航系統，使四足機器人具備復雜環境理解與決策能力。通過深度學習結合大語言模型，利用感知網絡編碼環境狀態，為導航提供精準信息。-
路徑規劃網絡中的指令式導航規劃器解析目標指令，借助最優軌跡優化器反向傳播優化運動軌跡。以增強簽名距離場為代價地圖，結合差分器實現動態避障與路徑調整，最終由運動控制器將規劃軌跡轉化為實際運動指令。-
1.23 基于 AI 大語言模型的智能行為調度-
基于 AI 大語言模型的智能行為調度方法，賦予機器人智能決策能力。在線調用大語言模型解析自然語言指令，轉化為機器人可理解的語義指令，實現人機自然交互。-
基于語義指令進行子任務規劃，結合高層反饋糾錯機制保障任務準確性。在執行階段，運動狀態機與規劃將高層指令轉化為運動序列，運動控制器實時評估調整。遇錯時底層反饋觸發重新規劃，同時通過自然語言處理持續優化機器人行為 。-
二、系統設計-
2.1 四足機器人硬件系統設計-
四足機器人運動控制由 Upboard 嵌入式 PC 主控制器實現，通過 PREMAP 補丁運行實時 linux 系統。其經 USB 口與 IMU 以 500Hz 頻率通信采集姿態信息，通過 SBUS 與 AT9S 遙控器交互指令。關節執行器與控制器間采用 CAN 總線通信，利用基于 STM32f446 的轉接板解決 Upboard 無 CAN 接口問題，完成 SPI、TTL 與 CAN 的轉換。-
硬件布局及總體框架中，感知與語音系統共用 NUC 處理器，千兆交換機組建局域網，支持遠程筆記本通過 Rviz 可視化界面監控操控。Ouster-64 雷達經網口連交換機，相機、音頻設備分別通過 USB 和藍牙接入 NUC，傳感器數據在 NUC 處理后，經網口傳輸控制指令至運動控制器，驅動機器人執行動作。-
供電方面，配備兩塊鋰電池。46.2V、30A 電池經隔穩壓模塊，輸出 42V 供關節驅動器，5V 供運動控制器；25.2V 電池經穩壓模塊，輸出 19.5V 為 NUC 供電，12V 為雷達供電，續航 1 小時 。-
2.2 軟件系統設計-
2.2.1 開發平臺-
本文算法開發和實驗平臺均基于 Ubuntu 操作系統，四足機器人運動控制算法基于 C++開發，同時控制器上安裝有 PREEMPT-RT 補丁，作為一個 Linux 內核的實時拓展補 丁，可以提高系統對實時性要求的響應性，通過減小 Ubuntu 系統內核的搶占延遲，使 其更適用于四足機器人這種對實時控制要求較高的平臺。 本文的感知算法和指令式導航算法基于 ROS 機器人開發系統并利用了可視化工具 Rviz，在窗口中直接顯示語義分割結果和四足機器人規劃的導航路線等信息，進一步豐 富了實驗過程的視覺呈現。-
2.2.2 通信子系統-
在通信系統設置上本文在通信方式的選擇上根據不同階段采用了不同策略，其中主 要分為兩種，語音識別算法是直接在線調用 AI 大語言模型，通過 WIFI 網絡通信；在感 知算法內部采用的是基于 ROS 的通信機制，而在與四足機器人進行通訊時，由于四足 機器人控制器上并沒有配置 ROS 開發系統，因而選擇了一種輕量化的通訊框架：LCM 通訊。感知模塊處理完的信息先通過在線調用 AI 大語言模型進行信息推理，然后通過 LCM 將圖像信息和導航指令消息傳遞給四足機器人運動控制器，實現四足機器人建圖 以及導航功能的視線。-
2.2.3 軟件系統架構-
本軟件系統架構圖展示了一個高度集成的四足 機器人智能交互和任務規劃執行流程。系統通過語音文本識別和自然人機交互模塊，實 現與用戶的高效溝通。利用 AI 大語言模型進行語義解析，將輸入的自然語言轉化為精 確的語義指令。結合感知網絡和訓練參數優化，系統能夠生成適應環境的感知信息。任 務規劃和運動規劃模塊通過代價計算和高層反饋，實現對機器人行為的智能規劃和路徑優化。關鍵點路徑和三次樣條曲線的應用，確保了軌跡跟蹤的平滑性和控制指令的精確性。整個系統架構通過底層反饋機制，實現了對規劃執行的實時監控和動態調整，確保了機器人在復雜環境中的高效、穩定和自適應的運行。-
第 3 章 算法原理分析-
3.1 基于動力學模型的多模式運動控制原理-
采用零空間映射全身運動控制（WBC）方法，將低優先級任務映射至高優先級任務零空間，實現多任務運動。四足機器人運動控制任務按優先級分為軀干位置、姿態、支撐腿及擺動腿任務，通過零空間映射獲取關節位置、速度與加速度。其中，關節位置和速度利用 PD 控制穩定姿態；關節加速度結合模型預測控制（MPC）計算的前饋支撐力，通過 QP 優化調整誤差，最終由動力學方程算出加速度。該方法通過 MPC 確定最優反力分布，WBC 據此計算關節力矩、位置與速度，降低控制復雜度。-
3.2 基于指令式學習的四足機器人自主導航原理-
3.2.1 環境語義構建-
將雷達、相機采集信息傳入大語言模型，利用其語義理解能力提取關鍵信息并生成優化指令，再通過百度文本合成模塊播報，助力機器人在復雜環境下快速決策。-
3.2.2 指令式學習路徑規劃-
基于度量的可微分優化訓練策略，構建可微分代價圖計算路徑穿越成本，指導網絡更新。訓練后的策略從自身觀察提取環境信息，解碼為可穿越性數據，規劃行動路徑。端到端訓練使觀察特征可依目標優化，提升實際應用性能。-
3.3 基于 AI 大語言模型的智能行為調度-
3.3.1 自然人機交互的語義解析-
使用百度 Appbuilder 語音識別極速版（ASR）處理語音指令，通過認證創建請求，采用 RAW 音頻傳輸提高效率。識別文本經短文本語音合成（TTS）輸出，調用時控制文本長度優化處理。針對中文多音字標注實現自定義發音。-
基于提示語言模型，將輸入文本預處理后，由提示生成模塊創建任務提示，大語言模型分析生成內部表示，輸出模塊轉化為文本，反饋模塊依據用戶反饋優化。通過提示工程，ASR 將語音轉換文本并提取關鍵詞，大語言模型將其轉為標準化控制指令，TTS 反饋結果，實現人機交互。-
3.3.2 邏輯推理與智能調度-
利用大語言模型邏輯推理能力解析用戶指令，在復雜場景中提供替代方案、處理倫理判斷。提出智能行為調度策略，將人類指令轉化語義信息，通過高層反饋糾錯、動態調整任務子函數，運動狀態機與規劃轉化為具體運動，底層反饋應對執行問題，實現機器人復雜環境下的智能決策與自主調度。