想象有個超智能的 “貼心小管家”，專為老年人和需要監(jiān)護的人群服務，這就是超酷的 “聲動護理” 智慧護理系統(tǒng)！

它基于 RDK X3 開發(fā)，像個聰明的小腦袋，用物聯(lián)網(wǎng)技術(shù)把所有功能串起來。通過神奇的 Avahi 技術(shù)，能讓本地設備和機器人 “勾肩搭背”，一起干活；ros1 bridge 技術(shù)則像翻譯官，讓不同版本的 ROS 系統(tǒng)順利交流，實現(xiàn)語音控制機器人動起來。還用騰訊云搭了個 “云端小基地”，Vue3 設計的前端頁面，讓本地和云端隨時 “嘮嗑”，為以后更多指令控制打好基礎(chǔ)。

這個系統(tǒng)技能點滿格！急救報警、跌倒報警、智能呼叫、自動取藥取餐、實時監(jiān)控、手動控制機器人…… 樣樣精通。——濟往開來團隊

一、特色與創(chuàng)新

相比市面上的智慧醫(yī)療和家居產(chǎn)品，我們的 “聲動護理” 智慧護理系統(tǒng)有這些超亮眼的特色創(chuàng)新：

精準服務特殊群體：專為老年人設計，用物聯(lián)網(wǎng)技術(shù)打造超方便的交互方式。不用復雜操作，揮揮手做個 “V 字手勢” 就能召喚取藥、點餐服務，對帕金森等行動不便的老人超友好，讓服務又貼心又好上手。

智能警報快人一步：老人不小心跌倒，系統(tǒng)秒變 “安全衛(wèi)士”！立刻拉響警報，云平臺同步彈出警示，通知家屬和附近鄰居。不用怕老人說不清狀況，及時救援有保障。

全能服務一站配齊：不止能實時監(jiān)控、語音聊天，還把智能報警、手勢控制、環(huán)境監(jiān)測全打包！語音指令一說，系統(tǒng)立刻回應，還能陪空巢老人嘮嗑。攝像頭畫面、環(huán)境數(shù)據(jù)全上傳云端，家屬打開網(wǎng)頁就能隨時 “云守護”。緊急時刻云端直接報警，遠程遙控機器人也不在話下，真正實現(xiàn)萬物互聯(lián)！

二、功能設計

2.1 設計環(huán)境

作品主要基于 RDK X3 處理器、開發(fā)板及語音轉(zhuǎn)換模塊進行設計。RDK X3 開發(fā)板是一款高性能人工智能計算開發(fā)板，搭載高性能 AI 處理器，采用先進的異構(gòu)計算架構(gòu)，能在低功耗下高效完成 AI 推理任務。


開發(fā)板配備豐富外設與通信接口，方便連接外部設備和云服務；支持 TensorFlow、PyTorch 等多種開發(fā)框架，便于快速部署 AI 模型。


軟件環(huán)境方面：

1. Node.js：基于 Chrome V8 引擎，采用事件驅(qū)動、非阻塞 I/O 模型，適合搭建高并發(fā)網(wǎng)絡應用，支持 WebSocket 協(xié)議實現(xiàn)實時雙向通信。
2. Vue3：漸進式 JavaScript 前端框架，通過虛擬 DOM、組件化等技術(shù)，高效構(gòu)建交互式界面，組件可復用，代碼易維護。

2.2 設計內(nèi)容

我們利用 RDK X3 開發(fā)平臺及模塊，設計方案、編寫程序和網(wǎng)頁，打造出專為老年人的智慧監(jiān)控系統(tǒng)。系統(tǒng)基于物聯(lián)網(wǎng)技術(shù)，用 Node.js 搭建服務器，Vue3 設計前端，核心功能如下：

1. 急救報警：老人跌倒時，攝像頭通過人體姿態(tài)檢測自動報警，向家屬和醫(yī)護人員發(fā)送求助信號，提升緊急情況下的安全性。
2. 手勢求助：系統(tǒng)識別攝像頭捕捉的指定手勢，老人揮揮手就能 “呼叫取藥、點餐或醫(yī)生”，系統(tǒng)語音回應，操作超方便。
3. 語音交互：老人問 “今天天氣如何” 等問題，系統(tǒng)實時識別并語音回復，像個貼心小助手。
4. 實時監(jiān)控：網(wǎng)頁實時顯示攝像頭畫面，醫(yī)護人員和家屬能遠程查看病房，接收報警信號。老人還能用手勢、姿態(tài)發(fā)送請求，實現(xiàn)遠程智能管控 。

這套系統(tǒng)整合物聯(lián)網(wǎng)、前端設計和服務器技術(shù)，既提升生活品質(zhì) —— 實時監(jiān)測老人健康，讓家屬隨時掌握情況；也優(yōu)化醫(yī)療場景 —— 自動傳輸患者數(shù)據(jù)，減輕醫(yī)護負擔，讓服務更高效精準。

三、系統(tǒng)實現(xiàn)

3.1 設計方案

我們基于RDK X3開發(fā)平臺，融合物聯(lián)網(wǎng)技術(shù)，打造出專為老年人服務的智能監(jiān)控系統(tǒng)，實現(xiàn)自動取藥、取餐、緊急呼叫、跌倒報警等功能。


1. MIPI攝像頭模塊

采用OV5647攝像頭，500萬像素，支持1080p高清拍攝，自帶自動曝光、白平衡調(diào)節(jié)，通過I2C接口傳輸數(shù)據(jù)。

• 手勢識別：用深度學習模型（hand_gesture_detection-develop），分四步工作：攝像頭抓拍→圖像預處理→CNN提取手勢特征→模型識別“V字（取藥）、手掌（取餐）、OK（呼叫醫(yī)生）”手勢，最后網(wǎng)頁和語音同步反饋。
• 跌倒檢測：基于hobot_falldown_detection模型，攝像頭拍視頻→預處理→CNN定位人體→分析姿態(tài)判斷是否跌倒，一旦確認，網(wǎng)頁彈窗、語音報警。

2. 音頻轉(zhuǎn)接板模塊

使用微雪電子Audio Driver HAT REV2轉(zhuǎn)接板，支持4麥克風錄音、雙聲道播放。

• 語音識別：HBAudioCapture類負責采集音頻→智能算法識別→發(fā)布語音消息，涵蓋初始化、數(shù)據(jù)捕獲、處理全流程。
• 語音合成：HobotTTSNode類接收文本指令→轉(zhuǎn)換為PCM音頻→驅(qū)動設備播放，訂閱“/tts_text”話題即可觸發(fā)。

3. 設備通信模塊

• 上下位機：樹莓派（上位機）通過USB串口給小車STM32控制器發(fā)指令，控制運動。
• 機器人與本地端：樹莓派+小車組成機器人，與RDK X3用avahi服務共享ROS節(jié)點，實現(xiàn)遠程控制。
• 本地端通信：RDK X3用ros1_bridge連接ROS1和ROS2，讓語音指令能操控機器人。
• 云端交互：本地端與騰訊云服務器用WebSocket雙向通信，實時上傳溫濕度、手勢數(shù)據(jù)，云端渲染網(wǎng)頁。

4. 網(wǎng)頁展示模塊

在騰訊云搭建網(wǎng)頁（http://101.32.194.5:8080/），核心功能：

• 中間顯示攝像頭實時畫面，用transfer.py程序轉(zhuǎn)發(fā)圖像數(shù)據(jù)；
• 右側(cè)記錄語音對話日志；
• 下方分區(qū)展示溫濕度、手勢指令、跌倒報警，數(shù)據(jù)由RDK X3實時傳輸。

5. 溫濕度傳感器模塊
DHT11傳感器集成溫濕度檢測，單總線協(xié)議傳輸40位數(shù)據(jù)，Hobot.GPIO庫解析后校驗、保存，再通過WebSocket發(fā)往云端。


6. 語音交互模塊
AudioSmartToTTS節(jié)點訂閱“/audio_smart”接收語音數(shù)據(jù)→提取命令詞→WebSocket問服務器要回復→發(fā)布“/tts_text”實現(xiàn)語音輸出，搭配音頻轉(zhuǎn)接板提升識別和播放效果。

7. 機器人控制模塊

• 語音控制：麥克風收音→語音算法處理→發(fā)布“/audio_smart”消息→hobot_audio_node.py轉(zhuǎn)發(fā)指令→controller.py控制小車移動。
• App控制：手機App用平移、旋轉(zhuǎn)、縮放手勢操作視圖，通過ROS和avahi技術(shù)自動連接設備，語音或觸屏操控機器人。

8. 手勢與跌倒功能強化

• 手勢識別：檢測到特定手勢后，音頻播報確認、網(wǎng)頁顯示詳情、機器人執(zhí)行任務，代碼分初始化、數(shù)據(jù)處理、狀態(tài)重置三步。
• 跌倒檢測：檢測到跌倒時，語音報警、網(wǎng)頁彈窗，設5秒定時器防誤報，狀態(tài)消失后自動重置。

3.2 設計展望

未來計劃升級系統(tǒng)：

1. 健康監(jiān)測：增加心率、血壓傳感器，實時預警健康風險；
2. 智能咨詢：語音對話獲取醫(yī)療建議，加強醫(yī)患溝通；
3. 遠程醫(yī)療：視頻連線實現(xiàn)遠程問診；
4. 環(huán)境智控：自動調(diào)節(jié)燈光、溫度；
5. 人體跟蹤：搭載跟蹤小車，消除監(jiān)控盲區(qū)。通過這些優(yōu)化，讓系統(tǒng)更智能、更貼心。

四、開源