視覺處理是最近兩年最火最受關注的技術之一，市場調研公司ABI Research、InSight Media等多家公司的數(shù)據(jù)顯示，視覺處理系統(tǒng)的市場到2020年將超過3000億美元，年復合增長率超過35%，主要應用在包括汽車安全、圖像偵測、視頻監(jiān)控和手勢識別游戲操控等。

　　fig.1 視覺處理市場增長預期到2020年將超過3000億美元。

　　電子工程專輯記者邵樂峰的文章《揭秘谷歌Tango計劃背后的芯片巨人》一文中介紹了一家號稱將有可能改變世界的芯片公司，本文將會介紹由Synopsys公司最新推出的嵌入式視覺處理器IP。 Synopsys DesignWare ARC處理器高級產品營銷經理Mike Thompson介紹了一款新開發(fā)的可編輯和可配置的IP，可以提供比通過CPU、移動GPU和DSP等更高的視覺處理效率，同時它還可以通過自我學習與培訓，實現(xiàn)在更多應用領域更精確的視覺處理能力。

　　fig.2 Synopsys DesignWare ARC處理器高級產品營銷經理Mike Thompson

　　為什么需要嵌入式視覺處理？

　　Mike Thompson認為，目前現(xiàn)有的視覺處理應用，包括智能監(jiān)控、生物識別和機器視覺，以及基于云處理的城市監(jiān)控技術，都是基于非常強大的CPU硬件和帶操作系統(tǒng)的軟件處理的視覺處理，盡管處理能力很強大，但同時消耗的功耗非常大，處理的響應較慢。而一些特別的應用，例如車載的交通信號識別、人臉識別和手勢識別，則要求低功耗且能即時響應，這些新的應用，需要市場能夠提供的處理器IP，來設計研發(fā)出新的SoC或處理器。

　　fig.3 與CPU、GPU和DSP相比，SNPS EV處理器的視覺處理效率高出很多

　　雖然視覺算法可以在大多數(shù)處理器上運行，但是這類算法牽涉到許多的復雜數(shù)學運算和數(shù)據(jù)遷移。通用處理器（GPP）可以用來做視覺處理，但是這樣的處理器缺少復雜數(shù)學運算資源，運行起來速度會非常慢。在一些視覺應用中，采用的圖形處理器（GPU）雖然具有許多的運算資源，但是卻缺乏高效移動視覺數(shù)據(jù)的能力，因此其視覺性能相對較低，并且其功耗也非常的高。視覺處理器是專為視覺處理而設計，因此它們擁有所需的復雜數(shù)學運算能力，并且它們還具有精密的數(shù)據(jù)遷移能力，能夠有效地處理視覺幀數(shù)據(jù)。此外，要能夠在嵌入式視覺應用中得到使用，它們也需要滿足低功耗要求。

　　“在包括安全設備、游戲設備和汽車電子等諸多產品中，嵌入式系統(tǒng)從各種視覺輸入中提取觀測結果的能力正在變得越來越重要，這正是對擁有更高性能和更高能效的視覺處理功能的驅動性需求，”嵌入式視覺聯(lián)盟（Embedded Vision Alliance）創(chuàng)始人Jeff Bier表示。“像Synopsys的DesignWare EV處理器這樣的專用處理器可以幫助設計人員為其視覺應用實現(xiàn)想要的性能，而同時僅需適用于便攜式設備的功耗等級。”

　　如何突破精度的瓶頸？

　　Synopsys公司近日對外發(fā)布了全新DesignWare EV視覺處理器產品。該系列的EV52和EV54視覺處理器是完全可編程和可配置的視覺處理器IP核，它們結合了軟件解決方案的靈活性與專用硬件的低成本和低功耗特性。

　　fig.4 Synopsys DesignWare ARC嵌入式視覺處理器家族的技術原理圖，內嵌4個RISC CPU和2至8個E（processing element)。

　　上面這張圖實際上是實現(xiàn)高效實時處理的關鍵：多個可并行、獨立運算的PE可快速進行目標檢測，即運行卷積神經網絡（CNN）等算法，而且所有的RISC和PE單元均可編程配置。

　　Synopsys DesignWare ARC處理器高級產品營銷經理Mike Thompson在媒體見面會上對電子工程專輯記者說，EV處理器以超過1000GOPS/W的性能實現(xiàn)了卷積神經網絡（CNN），從而能夠僅以其他視覺解決方案的一小部分功耗，實現(xiàn)對諸如面部、行人和手勢等多樣化的目標快速而準確的監(jiān)測。

　　Mike表示， EV處理器系列得到了基于OpenCV和OpenVX等現(xiàn)有和新興的嵌入式視覺標準，以及Synopsys的MetaWare開發(fā)工具包的綜合性軟件編程環(huán)境的支持。通過把專為視覺數(shù)據(jù)處理而優(yōu)化的高性能硬件與高效編程工具結合在一起， EV處理器成為了各種嵌入式視覺應用的一種理想解決方案，包括視頻監(jiān)控、手勢識別和目標監(jiān)測等應用。

　　據(jù)Mike Thompson介紹，Synopsys從2012年開始開發(fā)DesignWare ARC嵌入式視覺處理器，一開始其識別率就達到了85%，如果是通過更好的CNN模型和不斷培訓，準確率還可以更高。“2015年谷歌微軟的視覺識別精度是95%，但那是通過服務器云處理實現(xiàn)的。如果經過更多的CNN的培訓，我們的解決方案的精度甚至可能更高。”Mike 說。“它就像是人的眼睛和大腦，剛開始看到一樣東西時，你可能會認不出來，但如果你天天都不斷地去看，識別的準確率就會很高。”

　　EV處理器系列包含多個高性能處理內核，可在典型的28nm工藝技術中實現(xiàn)高達1GHz的運行速率。EV處理器系列也實現(xiàn)了一種前饋卷積神經網絡（CNN）結構，它支持一個可編程的點對點串流互連網絡，以用于快速和準確的目標監(jiān)測這一視覺處理的關鍵任務。執(zhí)行單元處理器的數(shù)量可配置，開發(fā)人員能夠在視覺應用中利用通用的任務級和數(shù)據(jù)級并行處理功能，去執(zhí)行復雜的圖像和視頻識別算法，同時僅消耗市場上其它可用視覺處理器五分之一的功耗。

　　高生產率的編程工具

　　在開發(fā)方面，Synopsys提供了一個完整的、包括OpenVX和OpenCV庫、以及Synopsys的MetaWare開發(fā)工具包的軟件編程環(huán)境，簡化了Synopsys EV處理器系列的應用軟件開發(fā)?？捎糜贓V處理器的OpenCV源程序視覺庫提供了用于實時計算機視覺的2500多種功能。

　　這些處理器都是可編程的，同時可以被“訓練”從而支持任何監(jiān)測目標圖形。OpenVX框架包括43個標準計算機視覺內核， 它們已專為運行在EV處理器上而進行了諸如邊緣監(jiān)測、圖像金字塔創(chuàng)建和光流估計等優(yōu)化。用戶們也可定義新的OpenVX內核（kernel），為其目前的視覺應用帶來靈活性，同時滿足未來目標監(jiān)測的需求。OpenVX內核可以在運行時分配給EV處理器的多個單元執(zhí)行，從而簡化了處理器的編程。完整的工具套件和源程序庫、以及可提供的參考設計使得設計人員能夠高效的構建、調試、評估和優(yōu)化其嵌入式視覺系統(tǒng)。

　　更方便地集成進SoC中

　　EV處理器專為無縫地集成到SoC中而設計。他們可與任何的主處理器搭配使用并與其并行工作。EV系列通過信息傳遞和中斷來支持與主處理器的同步。此外，EV處理器的內存可映射到主處理器。這些特點使得主處理器能夠保持控制，同時使所有的視覺處理都能夠被卸載到EV處理器上，這樣可降低功耗并且加速結果呈現(xiàn)。EV處理器可以存取儲存在SoC內存映射區(qū)域內的數(shù)據(jù)，或在需要的情況下，通過ARM AMBA AXIT標準系統(tǒng)接口獨立地存取芯片外數(shù)據(jù)源提供的圖像數(shù)據(jù)。

　　fig.5 Synopsys的嵌入式處理器的目標應用市場

　　“嵌入式視覺正在從視頻監(jiān)控到消費性產品和游戲設備等一系列多樣化的應用中推動創(chuàng)新，” Synopsys DesignWare ARC處理器高級產品營銷經理Mike Thompson表示。“Synopsys的全新EV處理器系列提供完美的目標監(jiān)測精度和5倍的功效優(yōu)化，同時提供了一個全面的視覺程序庫和一個強大的軟件編程環(huán)境的支持。這種結合使設計團隊能夠把嵌入式視覺功能更快地集成到更多的系統(tǒng)中，同時功耗比現(xiàn)有的解決方案大大降低。”

　　DesignWare EV52和EV54處理器計劃于2015年5月供貨。目前Synopsys還免費為客戶提供人臉識別、交通信號的速度識別、智能視頻監(jiān)控的人臉識別和人臉跟蹤等參考設計。相信很快，集成了EV52和EV54處理器的SoC，將有望進入市場，幫助客戶提供在視覺處理方面的更佳體驗。

　　“最終應用包括攝像頭、可穿戴設備、家庭自動化、數(shù)字電視、虛擬現(xiàn)實、游戲設備、機器人、數(shù)字顯示屏、醫(yī)療電子以及汽車信息娛樂系統(tǒng)等。”Mike說，

　　名詞解釋：什么是CNN（Convolutional neural network) ？

　　卷積神經網絡（CNN）模擬我們大腦處理視覺時的工作狀態(tài)。它們將圖像分解成若干部分，并逐步找到其被訓練去識別的目標。CNN已經存在了20多年，但直到近年這些算法才有了實質上的改進，并且目前在目標識別方面較其他可用算法甚至是人類專家更好。CNN是一種深度學習算法，其訓練方式與我們的大腦采用目標的多幅圖像來進行訓練差不多，它基于這些圖像歸納出能夠被算法利用、用以在圖片或視頻中找到目標的一幅圖形。

　　Nvidia、CEVA、Microsoft以及其他公司近期的發(fā)布強調了嵌入式視覺向CNN的遷移。其實，Microsoft和Google最近都已在高端應用中采用了CNN，其所得的精度超過了95%，較人類專家還要更高。CNN目前是獲取高質量和高精度結果的最佳視覺算法，其性能比Viola-Jones、HOG、SIFT和SURF等其他算法更勝一籌。