典型的嵌入式視覺系統(tǒng)必須處理視頻幀，從這些處理的幀中提取特性，然后根據(jù)所提取的特性來決定下一步的動(dòng)作。在你談?wù)摳咔寤?K2K視頻時(shí)，基于像素的任務(wù)中每個(gè)像素可能需要數(shù)百個(gè)操作，并且需要數(shù)百個(gè)GOPS（千兆運(yùn)算/秒）。 相比之下，基于幀的任務(wù)，每秒“僅”需要百萬次的操作，但是算法更加復(fù)雜。你需要一個(gè)硬件實(shí)現(xiàn)像素級(jí)任務(wù)，同時(shí)快速處理器能夠處理更復(fù)雜的“基于幀”的任務(wù)。

Avnet的技術(shù)營銷工程師Mario Bergeron在嵌入式視覺峰會(huì)上對此做了一個(gè)演講。

Bergeron演示了一個(gè)臉部識(shí)別和視線跟蹤應(yīng)用的幻燈片，其通過采用針對賽靈思全可編程器件的Xylon公司 LogicBricks IP實(shí)現(xiàn)的， 他還展示了系統(tǒng)如何分配硬件和軟件之間的應(yīng)用任務(wù)，如下圖所示。

一個(gè)重要的因素要注意：在將其發(fā)送到微處理器之前，硬件減少了54x的圖像數(shù)據(jù)率。

在Bergeron 演講中提到的一個(gè)最有趣的點(diǎn)是嵌入式視覺設(shè)計(jì)者所必須要處理的范圍廣泛的接口。Bergeron展示了一個(gè)安森美半導(dǎo)體的PYTHON圖像傳感器系列中4個(gè)圖像傳感器的幻燈片。傳感器系列包括了這類器件，其圖像大小范圍從640x480像素 到5120x5120像素，幀速率范圍從80到840幀/秒，和多個(gè)LVDS I/ O引腳的帶寬要求范圍從2.88到19.84Gbps。 制作一個(gè)可以處理這類圖像傳感器系列中所有傳感器的硬件是很難的，但是交由賽靈思全可編程器件聯(lián)合XYLON和Auviz Systems廠商的現(xiàn)成IP核來處理就會(huì)很容易。

Bergeron 提到的另一個(gè)工具是針對賽靈思Zynq SoCs 和MPSoCs 的全新SDSoC開發(fā)環(huán)境，該開發(fā)環(huán)境提供了以軟件為中心，系統(tǒng)級(jí)優(yōu)化的編譯器，其可以接受使用C或C++編寫的系統(tǒng)描述，同時(shí)能自動(dòng)生成實(shí)現(xiàn)所描述系統(tǒng)所需要的軟件應(yīng)用和硬件配置。該SDSoC開發(fā)環(huán)境采用軟件編譯器、HLS（高層次綜合）和預(yù)設(shè)的硬件基礎(chǔ)設(shè)施來搭建這樣的系統(tǒng)。

Bergeron在與嵌入式視覺峰會(huì)相連的展覽會(huì)上的Avnet平臺(tái)中展示了上述描述的應(yīng)用。演示展示了實(shí)時(shí)運(yùn)行在賽靈思Zynq SoC上的臉部識(shí)別應(yīng)用，在MicroZed SOM (系統(tǒng)模塊)上插入了一個(gè)特別的載卡。同時(shí)， MicroZed SOM和載卡構(gòu)成Avnet嵌入式視覺開發(fā)套件，它可以接受來自多個(gè)供應(yīng)商的圖像。