當(dāng)前，全球計算機領(lǐng)域皆因“AI浪潮·大侵襲”而引起了新一輪業(yè)務(wù)運營的深刻改革，這徹底改變了人類的生活。在AI浪潮奔騰而來的情況下，英特爾?還為之提供了一款硬件解決方案—英特爾?OpenVINO工具套件，它能以前所未有的性能和靈活性處理極具挑戰(zhàn)的智能視覺與深度學(xué)習(xí)模型。

英特爾?OpenVINO工具套件是一款經(jīng)過精心設(shè)計的工具，不僅適用于開發(fā)可模擬人類視覺的應(yīng)用和解決方案，它還可以通過英特爾?FPGA深度學(xué)習(xí)加速套件支持FPGA。旨在通過優(yōu)化廣泛使用的Caffe和TensorFlow框架來簡化采用英特爾?FPGA的推理工作負(fù)載，并用于包括圖像分類、機器視覺、自動駕駛、軍事以及醫(yī)療診斷等應(yīng)用。

借助開放視覺推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化(OpenVINO?)工具套件，我們可以開發(fā)出能夠在英特爾?架構(gòu)上模擬人類視覺的應(yīng)用和解決方案。該工具套件基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)，可在英特爾?硬件中擴展工作負(fù)載，實現(xiàn)卓越性能。

英特爾?OpenVINO

首先，英特爾?OpenVINO是一個完整的工具套件，用于在英特爾?平臺上開發(fā)和部署視覺導(dǎo)向型解決方案。它提供了一個涵蓋CPU、GPU和FPGA的環(huán)境。包含用于CPU或CPU-GPU芯片上運行視覺編程的OpenCV，同時使用英特爾?深度學(xué)習(xí)部署工具包來訪問用于深度神經(jīng)網(wǎng)絡(luò)（DNN）編程的FPGA功能。

“英特爾?OpenVINO包含用于高性能推理的優(yōu)化深度學(xué)習(xí)工具，用于計算機視覺應(yīng)用和機器感知加速的常用OpenCV庫以及英特爾提供的OpenVX*API。另外，它還包含深度學(xué)習(xí)推理引擎，該引擎具有將推理與應(yīng)用邏輯相集成的統(tǒng)一（即獨立于OpenVX）API，以及幫助部署CNN的深度學(xué)習(xí)模型優(yōu)化器工具。”

英特爾?OpenVINO提供由主機處理的分割、覆蓋和視覺等多種功能，通過英特爾?深度學(xué)習(xí)部署工具包進行編程，以便執(zhí)行圖像分類，在工作流程中使用具有低延遲、低功耗、確定性和靈活功能的FPGA。這一組合不僅功能強大而且易于管理，因為采用了英特爾?OpenVINO和面向包含F(xiàn)PGA的英特爾?至強?CPU的加速堆棧的英特爾?深度學(xué)習(xí)部署工具套件組件。

使用OpenVINO工具包展示深度學(xué)習(xí)推理的英特爾FPGA

英特爾?深度學(xué)習(xí)部署工具套件

英特爾?深度學(xué)習(xí)部署工具套件包含在OpenVINO工具套件中，它可提供跨平臺工具支持，能夠提升深度學(xué)習(xí)推理。包括：

推理引擎具有CPU、GPU、VPU和FPGA插件，提供多平臺支持。

模型優(yōu)化器可將Caffe和TensorFlow等深度學(xué)習(xí)框架轉(zhuǎn)化為中間表示(IR)。

英特爾?FPGA深度學(xué)習(xí)加速套件預(yù)裝了OpenVINO中的英特爾DL部署工具套件，包括一系列軟件圖形編譯器、庫和運行時，能夠滿足機器學(xué)習(xí)研究人員和開發(fā)人員的需求，他們需要通過英特爾?FPGA進行性能、功耗和成本優(yōu)化的實時人工智能推理。

基于數(shù)據(jù)中心應(yīng)用構(gòu)建，它可用于實時或離線視頻/圖像識別和分類。可加速面向FPGA硬件優(yōu)化的計算密集型卷積神經(jīng)網(wǎng)絡(luò)（CNN）基元，并支持行業(yè)標(biāo)準(zhǔn)機器學(xué)習(xí)框架，包括Caffe和TensorFlow，從而支持開發(fā)和部署AI應(yīng)用。

英特爾?深度學(xué)習(xí)部署工具套件是經(jīng)過完全驗證的AI框架，支持開發(fā)人員通過以軟件為中心的流程，輕松將FPGA部署至實時AI應(yīng)用。AI工作框架包含可實時部署的深度學(xué)習(xí)加速引擎，該引擎針對實時性能和低延遲優(yōu)化，支持采用英特爾?Arria10GXFPGA的英特爾PAC。英特爾?FPGA深度學(xué)習(xí)加速套件支持目前最常用的深度學(xué)習(xí)架構(gòu)，包括面向多種精度的AlexNet、GoogleNet、SqueezeNet、VGG16和ResNet。

設(shè)計挑戰(zhàn)

過去，F(xiàn)PGA設(shè)計要求經(jīng)驗豐富的硬件設(shè)計人員執(zhí)行RTL設(shè)計流程，因此大多數(shù)軟件和應(yīng)用開發(fā)人員很難接觸FPGA設(shè)計。如今所面臨的挑戰(zhàn)是如何通過高級設(shè)計環(huán)境（比如OpenCL）將異構(gòu)編程應(yīng)用于特定于應(yīng)用的框架，包括Caffe和TensorFlow。

而采用FPGA的英特爾至強CPU加速堆棧，特別是英特爾FPGA深度學(xué)習(xí)加速套件和英特爾OpenVINO工具套件，可幫助從容克服這一挑戰(zhàn)。