使用 PYNQ 可以輕松在 FPGA 上實現(xiàn)加速 AI/ML，而無需編寫一行 HDL！讓我們看看如何做到這一點...

介紹

機(jī)器學(xué)習(xí)是近幾年的熱門話題，有許多用例和應(yīng)用。Zynq 和 Zynq MPSoC 等異構(gòu) SoC 則更具顯著優(yōu)勢，因為它們允許在可編程邏輯內(nèi)實現(xiàn)推理網(wǎng)絡(luò)。

在 PL 中實現(xiàn)推理網(wǎng)絡(luò)可顯著提高性能。當(dāng)然，對于那些不熟悉機(jī)器學(xué)習(xí)的人來說，很難知道從哪里開始，尤其是如果想使用可編程邏輯來加速性能。

這就是 Pynq 框架的作用所在，它允許我們使用 Python 等更高級的語言，“訪問”可編程邏輯來執(zhí)行 ML 加速。

對于今天項目，我們將使用適用于 Pynq Z2、Z1 和 Ultra96 的Quantized / Binary Neural Network（BNN）。

該項目的重點是新參數(shù)的訓(xùn)練和應(yīng)用。

在 PYNQ 上配置 BNN

Pynq 映像啟動后，使用 Web 瀏覽器通過地址http://pynq:9090連接到 Pynq（如果要求輸入密碼，請輸入“xilinx”）

要安裝 BNN，需要使用終端窗口，可以在瀏覽器中通過選擇新建 -> 終端打開一個新的終端

我們將使用來自 NTNU 的 Xilinx BNN 存儲庫的 Fork，此 Fork 可以很好地展示如何訓(xùn)練新網(wǎng)絡(luò)。

下載和安裝需要幾秒鐘。

完成后，將看到一個新的 BNN 文件夾，其中有幾個新的notebook。

LFC - 全連接網(wǎng)絡(luò)，專為 28 x 28 灰色圖像輸入而設(shè)計

CNV - 專為 RGB 運算設(shè)計的卷積網(wǎng)絡(luò)，32 x 32 輸入

兩者的結(jié)構(gòu)如下所示。

測試安裝

安裝 BNN 后，下一步是運行一個（或多個）示例以確保安裝可以正常運行。

對于這個例子，決定運行 Road-Signs-Batch。這個notebook使用卷積網(wǎng)絡(luò)對路標(biāo)進(jìn)行分類。

此notebook僅針對由一個標(biāo)志組成的小圖像進(jìn)行測試，之后的測試將使用包含一個標(biāo)志和其他圖像的大圖像。在這種情況下，算法會檢測標(biāo)志并對其進(jìn)行分類。

該算法的第一遍測試會產(chǎn)生幾個潛在的符號候選者，如下所示。

對該初始圖像應(yīng)用閾值后可正確識別最終的標(biāo)志上。

當(dāng)然，我們可以在應(yīng)用程序中使用我們自己提供的網(wǎng)絡(luò)。

訓(xùn)練自己的網(wǎng)絡(luò)

要創(chuàng)建我們自己的網(wǎng)絡(luò)，我們需要幾樣?xùn)|西，其中首先需要的是一組正確標(biāo)記的訓(xùn)練數(shù)據(jù)。在這個例子中，我們將使用 fashion mnist 數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使其能夠識別服裝。

當(dāng)我們?yōu)楦采w層構(gòu)建新網(wǎng)絡(luò)時，最重要的是確保我們訓(xùn)練的網(wǎng)絡(luò)與我們希望使用的覆蓋層上的網(wǎng)絡(luò)相同。

Xilinx BNN GitHub 提供了一個訓(xùn)練目錄，其中包含許多可用于創(chuàng)建新網(wǎng)絡(luò)的 Python 腳本，許多腳本可以充當(dāng)模板。

在 BNN github 的 BNN->SRC->Training 目錄下，會發(fā)現(xiàn)許多可以幫助訓(xùn)練新網(wǎng)絡(luò)的腳本

其中包括

lfc.py - 描述 LFC 網(wǎng)絡(luò)結(jié)構(gòu)

cnv.py - 描述 CNV 網(wǎng)絡(luò)結(jié)構(gòu)

binary_net.py-包含許多有助于訓(xùn)練的函數(shù)

finnthesizer.py-執(zhí)行二進(jìn)制格式的轉(zhuǎn)換

mnist.py - 訓(xùn)練 LFC 網(wǎng)絡(luò)進(jìn)行 mnist 字符識別 - LFC 網(wǎng)絡(luò)的良好模板

cifar10.py - 為 cifar 圖像表征網(wǎng)絡(luò)訓(xùn)練 CNV 網(wǎng)絡(luò) - CNV 網(wǎng)絡(luò)的良好模板

在這個例子中，將使用 fashion-mnist.py，它是 mnist.py 的改編版，用于訓(xùn)練 LFC 網(wǎng)絡(luò)來檢測和分類服裝。

為了進(jìn)行此訓(xùn)練們需要以下東東：

AWS 或高端 GPU

耐心

一旦決定了訓(xùn)練環(huán)境，需要做的第一件事是設(shè)置 SW 環(huán)境，確保安裝了以下內(nèi)容。

Python - 包括 NumPy 和 SciPy

Theano - 用于處理多維數(shù)組的 Python 庫

PyLearn2——機(jī)器學(xué)習(xí)的 Python 庫

Lasange - 用于構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的 Python 庫

在包含 GPU 的宿主機(jī)上使用以下命令：

sudoapt-getinstallgitpython-devlibopenblas-devliblapack-devgfortran-y
wgethttps://bootstrap.pypa.io/get-pip.py&&pythonget-pip.py--user
pipinstall--usergit+https://github.com/Theano/Theano.git@rel-0.9.0beta1
pipinstall--userhttps://github.com/Lasagne/Lasagne/archive/master.zip
pipinstall--usernumpy==1.11.0
gitclonehttps://github.com/lisa-lab/pylearn2$cdpylearn2
pythonsetup.pydevelop--user

安裝軟件環(huán)境后，下一步就是下載訓(xùn)練圖像和標(biāo)簽

可以使用以下命令下載這些。

wget-nchttp://fashion-mnist.s3-website.eu-central-1.amazonaws.com/train-images-idx3-ubyte.gz;gunzip-ftrain-images-idx3-ubyte.gz
wget-nchttp://fashion-mnist.s3-website.eu-central-1.amazonaws.com/train-labels-idx1-ubyte.gz;gunzip-ftrain-labels-idx1-ubyte.gz
wget-nchttp://fashion-mnist.s3-website.eu-central-1.amazonaws.com/t10k-images-idx3-ubyte.gz;gunzip-ft10k-images-idx3-ubyte.gz
wget-nchttp://fashion-mnist.s3-website.eu-central-1.amazonaws.com/t10k-labels-idx1-ubyte.gz;gunzip-ft10k-labels-idx1-ubyte.gz

這樣我們就可以開始訓(xùn)練了。

pythonfashion-mnist.py

訓(xùn)練完成后，我們將擁有經(jīng)過訓(xùn)練的網(wǎng)絡(luò) npz 文件。

使用 WinSCP 將 npz 文件傳輸?shù)?Pynq。

同時將 binary_net、fashino-mnist-gen-binary-weights 和 finnthesizer python 腳本一并上傳。

在 PYNQ 上實現(xiàn)

在 Pynq 上運行新網(wǎng)絡(luò)之前，需要將權(quán)重轉(zhuǎn)換為二進(jìn)制格式。

通過運行下面的 Python 腳本來實現(xiàn)這一點

pythonfashion-mnist-gen-binary-weights.py

這將創(chuàng)建一個包含所有權(quán)重的新目錄。

完成后我們就可以開始創(chuàng)建我們自己的notebook。

在 BNN 區(qū)域下創(chuàng)建notebook，執(zhí)行以下操作:

設(shè)置根目錄和parameter目錄 - 在parameter目錄中，將找到不同訓(xùn)練網(wǎng)絡(luò)的所有網(wǎng)絡(luò)參數(shù)。

將 fashion-mnist 生成的權(quán)重傳輸?shù)?param 目錄中。不過，只需要在第一次運行此腳本時執(zhí)行此操作。

一旦將參數(shù)加載到 params 目錄中后，我們就要檢查它們是否可以通過 LFC 網(wǎng)絡(luò)的 available_params 函數(shù)訪問。

如果安裝正確，還應(yīng)顯示 fashion-mnist-lfc 以及最初的兩個網(wǎng)絡(luò)。

最后階段是使用參數(shù)運行推理。為此，我們需要加載圖像，將其轉(zhuǎn)換為 mnist 圖像格式并將其應(yīng)用到網(wǎng)絡(luò)。

然后我們可以輸出推理的結(jié)果并顯示圖像以查看預(yù)測是否正確。

正如所看到的，它從圖像輸入中正確地識別出了一條褲子。

為了了解網(wǎng)絡(luò)的總體準(zhǔn)確度，我們可以下載并運行 10K 張標(biāo)記圖像。

然后我們可以批量處理圖像并計算網(wǎng)絡(luò)的整體準(zhǔn)確度。

這相當(dāng)于準(zhǔn)確率略低于 85%，在線搜索時準(zhǔn)確率為 84.87%，與其他fashion-MNIST 準(zhǔn)確率相比，這略低于其他的，其他實現(xiàn)的準(zhǔn)確率在 88-92% 范圍內(nèi)，具體取決于網(wǎng)絡(luò)。