一、產(chǎn)品簡(jiǎn)介

TL3568-PlusTEB人工智能實(shí)驗(yàn)箱

國(guó)產(chǎn)高性能處理器

64 位 4 核低功耗

2.0 GHz超高主頻

1T 超高算力 NPU

兼容鴻蒙等國(guó)產(chǎn)操作系統(tǒng)

二、實(shí)驗(yàn)?zāi)康?/p>

1、了解語(yǔ)音控制模塊的使用方法；

2、掌握基于語(yǔ)音控制實(shí)現(xiàn)機(jī)械臂特定動(dòng)作的方法。

三、實(shí)驗(yàn)原理

程序功能

通過語(yǔ)音控制機(jī)械臂實(shí)現(xiàn)特定復(fù)雜動(dòng)作：

機(jī)械臂疊羅漢

機(jī)械臂跳舞

機(jī)械臂夾方塊

機(jī)械臂搬運(yùn)

語(yǔ)音控制模塊

如圖示為語(yǔ)音控制模塊的實(shí)物圖和原理圖，模塊是基于CI122芯片。

語(yǔ)音控制模塊是基于啟英泰倫CI122模組的，CI112X 芯片具有較強(qiáng)的CPU運(yùn)算能力，支持硬件NN加速，以及充足的RAM。能夠完成一些常見的語(yǔ)音處理算法。主要包含了ASR（語(yǔ)音識(shí)別）和語(yǔ)音降噪功能。

語(yǔ)音識(shí)別，一般簡(jiǎn)稱ASR，是將聲音轉(zhuǎn)化為文字的過程。CI112X系列芯片中，CI1122支持50 ~ 80條語(yǔ)音指令。

降噪（DENOISE）算法能有效抑制穩(wěn)態(tài)噪聲，在保證語(yǔ)音失真度的同時(shí)具有良好的噪聲抑制效果。開啟該功能后，可以通過降低穩(wěn)態(tài)噪聲的方式進(jìn)行識(shí)別效果的提升，但是同時(shí)該功能會(huì)消耗24KB的芯片內(nèi)部存儲(chǔ)空間，并且會(huì)消耗CPU的帶寬資源。

四、實(shí)驗(yàn)設(shè)備

實(shí)驗(yàn)軟件

本實(shí)驗(yàn)中使用的軟件為.VMware17+Ubuntu18.04.4 和串口調(diào)試工具Xshell。

實(shí)驗(yàn)硬件

本實(shí)驗(yàn)中使用的是TL3568-PlusTEB實(shí)驗(yàn)箱，所需的配件為Micro SD卡、Type-C線、電源、語(yǔ)音控制模塊、網(wǎng)線和機(jī)械臂套件。

五、實(shí)驗(yàn)步驟

硬件連接

（1）將Ubuntu系統(tǒng)啟動(dòng)卡插至Micro SD卡槽。

（2）使用Type-C線連接USB TO UART2調(diào)試串口到PC機(jī)。

（3）將實(shí)驗(yàn)箱ETH0 RGMII網(wǎng)口（COM21）通過網(wǎng)線連接至路由器。

（4）將語(yǔ)音控制模塊插入實(shí)驗(yàn)箱的GPIO/PWM/SPI/UART/CAN 拓展接口。

（5）連接實(shí)驗(yàn)箱電源，先不要上電。

（6）實(shí)驗(yàn)擺放位置按照黃色區(qū)域放置黃色積木塊，紅色區(qū)域放置紅色積木塊，綠色區(qū)域放置綠色積木塊，藍(lán)色區(qū)域放置藍(lán)色積木塊。

（7）將機(jī)械臂的攝像頭連接到實(shí)驗(yàn)箱的USB2.0 HOST。

（8）使用MIcro USB線連接機(jī)械臂的USB口和實(shí)驗(yàn)箱的USB2.0 HOST。

（9）連接機(jī)械臂的電源，上電。

軟件操作

（1）先在設(shè)備管理器查看串口的端口號(hào)；

（2）再設(shè)置串口調(diào)試工具，波特率設(shè)置為1500000，點(diǎn)擊連接，在Xshell調(diào)試終端會(huì)顯示連接成功。

（3）連接成功后，撥動(dòng)實(shí)驗(yàn)箱的電源開關(guān)，將實(shí)驗(yàn)箱上電。

（4）系統(tǒng)啟動(dòng)成功后，輸入賬戶密碼登錄即可（賬密均為：tronlong）

（5）登錄成功后，查詢實(shí)驗(yàn)箱的網(wǎng)口地址。

拷貝文件

我們先打開Ubuntu，將Demo文件夾拷貝到RK3568目錄下。

"Ctrl+Alt+T"打開控制臺(tái)，執(zhí)行命令將文件拷貝至實(shí)驗(yàn)箱文件系統(tǒng)（根據(jù)實(shí)驗(yàn)箱實(shí)際IP地址修改命令）。

運(yùn)行程序

在串口調(diào)試窗口執(zhí)行命令，啟動(dòng)開發(fā)環(huán)境

在網(wǎng)頁(yè)輸入地址，即可打開登錄界面 （根據(jù)實(shí)際IP地址修改網(wǎng)頁(yè)地址）。

輸入密碼：tronlong，登錄。

在程序目錄，雙擊打開程序，點(diǎn)擊重新運(yùn)行程序。

程序運(yùn)行后，通過語(yǔ)音控制機(jī)械臂實(shí)現(xiàn)特定復(fù)雜動(dòng)作，包括：機(jī)械臂疊羅漢、跳舞、夾方塊、搬運(yùn)。具體語(yǔ)音控制詞匯如下：

?喚醒詞：你好創(chuàng)龍。

?控制機(jī)械臂模擬跳舞：機(jī)械臂跳舞。

?控制機(jī)械臂夾取方塊：機(jī)械臂夾方塊。

?控制機(jī)械臂開始把積木塊堆疊起來(lái)：機(jī)械臂疊羅漢。

?控制機(jī)械臂搬運(yùn)：機(jī)械臂搬運(yùn)。

例如，先說：你好創(chuàng)龍，語(yǔ)音模塊會(huì)回應(yīng)：有什么可以幫您？接著說：機(jī)械臂跳舞，機(jī)械臂會(huì)模擬跳舞，同時(shí)語(yǔ)音模塊會(huì)回應(yīng)：開始跳舞。

夾方塊、疊羅漢、搬運(yùn)前需提前布置好方塊的位置。

機(jī)械臂夾方塊：在中間區(qū)域每次放一個(gè)方塊，機(jī)械臂按照黃色-紅色-綠色-藍(lán)色的位置順序從中間往周圍放

機(jī)械臂疊羅漢：按照黃色-紅色-綠色-藍(lán)色的順序堆疊。

機(jī)械臂搬運(yùn)：將堆疊好的四個(gè)方塊按照黃色-紅色-綠色-藍(lán)色的位置順序從中間往周圍搬運(yùn)。

這是一條分割線