使用ECP5?FPGA解決網路邊緣智能、視覺和互連應用設計挑戰

引言

隨著感測器、低成本攝像頭和顯示屏在當今嵌入式設計中的使用量飛速增長，市場上出現了許多激動人心的全新智能和視覺應用。與此同時，嵌入式視覺應用的爆炸式發展也讓設計工程師對處理資源需求有了一個新的認識。包含豐富數據的全新視頻應用促使設計工程師重新考慮到底採用哪種器件，是專用應用處理器(AP)、ASIC還是ASSP?然而，在某些情況下，在現有應用處理器、ASIC或ASSP方面的大量軟體投入以及全新器件的高啟動成本已然成為上述應用更新迭代的阻礙。這一次，擺在眼前的問題推動設計工程師尋求一種協處理解決方案，不僅要能夠為包含豐富數據的全新應用提供所需的額外功能，同時還要滿足系統成本和功耗的嚴苛要求。

除此之外，市場上對於面向移動應用的低成本MIPI外設的廣泛採用也催生了從未有過的互連挑戰。設計工程師既希望利用最新一代MIPI攝像頭和顯示屏的量產成本優勢，同時又希望能夠保有在傳統設備上的投入。那麼在這種快速發展的大環境中，設計工程師該如何解決感測器、嵌入式顯示屏和應用處理器之間不斷湧現的介面不匹配問題呢?

設計工程師需要一種高度靈活的解決方案，能夠實現高性能、「業內最佳」的協處理器，滿足視覺和智能應用對於邏輯資源和高度並行計算能力的需求，同時增加對各類I/O標準和協議的互連支持。此外，這樣的解決方案還應當具備高度可擴展的架構，並支持使用主流高數據速率的低成本外部DDR DRAM。最後，該解決方案還需要針對低功耗和低成本運算進行優化，並為設計工程師提供業界領先的超小尺寸封裝。

在本文中，我們將為您介紹ECP5?和LatticeECP3? FPGA如何為嵌入式設計實現協處理和互連解決方案，並重點探討這些解決方案在工業、消費電子、汽車和機器學習領域的應用實例。

為視覺與智能應用實現高效的協處理解決方案

萊迪思半導體?推出的ECP5和LatticeECP3 FPGA系列可實現「業內最佳」的協處理器，並針對互連功能以及高性能和低功耗進行了優化。ECP5 FPGA系列提供業界最小尺寸封裝(10x10 mm)，並具備高達85K查找表(LUT)，功能密度相比競品高出近2倍，同時成本和功耗也大幅降低。ECP5 FPGA支持與ASIC、ASSP和應用處理器實現互連，並具備優化的I/O和體系架構。增強的嵌入式DSP塊和高度並行的FPGA邏輯架構為計算密集型協處理功能提供了所需的高性能支持。ECP5 FPGA系列可提供高達4條SERDES互連通道，支持PCI Express(Gen1，Gen2)、乙太網(1GbE，SGMII，XAUI)、CPRI、嵌入式顯示埠( eDP)和JESD204B，每條通道速率為250 Mbps至5 Gbps。同時，器件上的可編程I/O還支持各類介面，包括DDR3、LPDDR3、LVCMOS、RGMII、XGMII、LVTTL、LVDS、Bus-LVDS、7:1 LVDS、LVPECL和MIPI D-PHY。

當協處理或互連應用需要超過85K LUT或超過4條SERDES通道時，設計工程師可以選擇LatticeECP3 FPGA。LatticeECP3 FPGA系列可提供最高150K LUT和6.8 Mbit SRAM，封裝尺寸小至10x10 mm。相比ECP5 FPGA系列，該產品系列最高支持16個3.125 Gbps SERDES通道。此外，該產品系列中的器件均支持800 Mbps DDR3和LVDS，並且能夠提供超過500個可編程系統I/O緩衝器，支持乙太網(通過RGMII和XGMII)以及大量額外的I/O介面，而嵌入式SERDES則支持PCIe、乙太網(通過SGMII和XAUI)、HDMI、高速串列I/O(Serial Rapid I/O)、CPRI、JESD204A/B等。LatticeECP3 FPGA系列的功耗低至0.5 W。與ECP5 FPGA系列一樣，使用LatticeECP3 FPGA的設計工程師可以使用高度並行的FPGA邏輯架構高效地執行計算密集型功能，並通過FPGA分擔視覺和智能功能，如圖像處理和分析任務以降低處理器工作負載，從而實現更低的功耗和更高的性能。

為工業應用實現視覺處理解決方案

在工業領域，基於ECP5 FPGA的協處理能夠發揮重要作用，可用於降低視頻攝像頭、監控和機器視覺應用中應用處理器、ASIC或ASSP的計算負載。圖1展示了一款典型的工業攝像頭應用。在下方的圖示中，FPGA位於圖像感測器和乙太網PHY之間。圖像感測器將圖像數據流傳輸到FPGA，然後FPGA基於H.264編碼進行圖像處理或圖像壓縮。FPGA的片上嵌入式RAM塊(Embedded Block RAM, EBR)和DSP塊實現高性能寬動態範圍(WDR)和圖像信號處理(ISP)功能。最後，FPGA將圖像數據通過乙太網進行傳輸。

圖1：通過實現圖像處理或壓縮功能，ECP5 FPGA可降低工業攝像頭應用中應用處理器的計算負載

除了進行圖像處理和壓縮之外，如果應用處理器介面的類型或數量與攝像頭或感測器的不匹配，FPGA還可用於實現它們之間的視頻橋接。為了滿足工業應用對於靈活互連的需求，萊迪思推出了可編程ECP5 12K器件，能夠連接到包括LVDS、MIPI和LPDDR3在內的常用介面。該器件能夠以低成本提供LED控制器、機器視覺系統和工業電機控制等應用中預處理和後處理功能所需的邏輯、存儲器和DSP資源。

除了常見工業攝像頭應用之外，機器視覺(工業領域裡更專業的攝像頭應用)也可受益於ECP5 FPGA提供的互連和協處理能力。圖2中的框圖展示了FPGA可在常見的工業機器視覺系統中發揮的多種作用。在攝像頭應用領域，FPGA可用於實現感測器橋接、完整的攝像頭ISP或定製功能來幫助系統設計工程師實現差異化的終端產品。對於圖像採集卡而言，像ECP5一樣的FPGA還可以解決視頻介面問題和實現圖像處理功能。

機器視覺系統框圖

圖2：在常見的工業機器視覺解決方案中，FPGA可用於實現各種介面橋接和處理功能

為智慧城市實現智能交通和監控攝像頭應用

智能交通系統(ITS)包括交通流量監控、交通違章識別、智能停車和收費等應用，是智慧城市的重要組成部分。上述系統通常需要智能交通攝像頭，用於準確檢測車輛多個方面的信息，例如車牌，即使在惡劣的環境中也要在網路邊緣進行視頻分析，不用將原始視頻流發送回雲端進行處理。單獨的應用處理器通常不能同時滿足系統功耗和實時處理的要求。低功耗、小尺寸的ECP5 FPGA系列可用作應用處理器的協處理器，在網路邊緣實現系統所需的高效實時處理功能。

除了上文中提到的ISP外，ECP5 FPGA還可以實現視頻分析功能，進一步減輕應用處理器的計算密集型任務，從而降低系統功耗、實現更高的實時性能。FPGA可為智能攝像頭應用實現目標偵測、圖像處理和圖像增強等解決方案。例如，偵測目標可以是監控攝像頭實例中的人臉圖像或是交通攝像頭實例中的車牌。

圖3：ECP5 FPGA為智能攝像頭應用實現圖像處理和視頻分析功能框圖，分擔應用處理器的計算密集型任務

在圖3所示的智能交通攝像頭實例中，FPGA基於感測器捕獲的圖像數據檢測到車輛牌照，即使在低光照或強背光條件下亦能執行圖像增強以生成清晰圖像 - 針對目標(車牌)和背景(圖像中的剩餘部分)使用不同的曝光設置，然後融合目標和背景圖像以生成更清晰的圖像。然後，FPGA生成的目標偵測結果輸入到應用處理器運行的分析演算法。使用ECP5 FPGA的並行處理器架構分擔分析演算法中計算密集程度最高的步驟，智能攝像頭能夠在保持低功耗的同時提高性能。

為移動系統實現沉浸式增強現實(AR)和虛擬現實(VR)應用

隨著AR/VR市場需求不斷增長，當前基於頭戴式顯示器(HMD)的系統面臨著移動應用處理器運行內容時性能不足的問題。因此，要實現身臨其境的AR/VR體驗所需的基於視覺的位置追蹤功能，對於處理器而言是頗具挑戰性的。在這種情況下，ECP5 FPGA的高效並行處理架構非常適合用於實現基於立體攝像頭和LED標記的位置跟蹤解決方案。與應用處理器相比，FPGA能夠提供低延遲、低功耗的圖像處理支持。FPGA的可編程架構和I/O也使得系統設計工程師能夠根據產品要求輕鬆選擇來自不同廠商的圖像感測器。

在「outside-in」的位置追蹤解決方案中，立體攝像頭被放置在房間內(在室內攝像頭看用戶)，通過捕捉安裝在用戶頭盔和手柄控制器上的LED標記來追蹤用戶的運動(諸如身體運動和手部運動)，如下方圖4所示。安裝在三腳架上攝像頭單元內部的FPGA基於立體攝像頭捕獲的數據來計算用戶的位置、身體和手部動作，然後將數據通過無線方式發送到用戶頭盔中的移動應用處理器，最終通過AR/VR應用呈現現實世界與虛擬世界的互動。立體攝像頭為運行在FPGA上的演算法提供了深度感知支持，從而實現三坐標定位。

圖4：使用立體攝像頭(放置在房間內)的「outside-in」位置追蹤解決方案，通過捕獲安裝在用戶頭盔和手柄控制器上的LED標記來跟蹤用戶的身體和手部動作

在「inside-out」的位置追蹤解決方案中，安裝在用戶頭盔上的立體攝像頭(從用戶所在位置通過「inside-out」的方式朝向室內環境)捕獲安裝在手柄控制器上的LED標記來跟蹤用戶手部動作，如圖5所示。安裝在用戶頭盔攝像頭單元內的FPGA基於立體攝像頭數據來計算用戶的手部動作，然後將數據發送到頭盔中的移動應用處理器，最終通過AR/VR應用呈現出來。

圖5：使用立體攝像頭(安裝在用戶頭盔上)的「inside-out」位置追蹤，通過捕獲安裝在手柄控制器上的LED標記來跟蹤用戶手部動作

雖然「outside-in」和「inside-out」這兩種追蹤解決方案都能實現沉浸式體驗，但「outside-in」系統可以提供更卓越的沉浸感，因為它還可以通過頭盔上的LED標記跟蹤身體運動(如步行、跑步、蹲、跳等) ，將現實世界中的身體運動映射到虛擬世界中。

在這兩個系統中，用戶的運動信息需要以極低的延遲立刻呈現在虛擬世界中，實現最為逼真的用戶體驗。ECP5 FPGA的並行處理能力是實現低延遲傳輸的關鍵。此外，它的低功耗和小尺寸封裝特性也是實現暢行無阻的移動體驗的關鍵之所在。

為汽車ADAS系統實現協處理和橋接解決方案

汽車市場對視覺處理和互連解決方案的需求正在大幅增長。市場研究公司IC Insights的分析師預計，隨著在新一代汽車設計中要求使用後置攝像頭的新規定施行以及在汽車設計中引入攝像頭以取代兩側後視鏡、實現盲點檢測和車道跟蹤功能的發展趨勢，CMOS圖像感測器將在2015年至2020年間隨著汽車領域中全新應用的興起將以55%的複合年增長率實現增長。

在這個快速成長的市場中，汽車設計工程師所需的解決方案不僅要能夠實現預處理和後處理功能，還要能夠為高級駕駛輔助系統(ADAS)和信息娛樂應用構建優化的互連解決方案。隨著汽車製造商開發的ADAS系統日趨複雜，設計工程師面臨著兩大挑戰。第一個挑戰是如何解決攝像頭數量不斷增長帶來的介面問題?大多數現代處理器僅具備兩個攝像頭介面，而很多ADAS系統需要多達8個攝像頭才能滿足不斷發展的自動駕駛技術要求。第二個挑戰是設計工程師要如何基於來自上述攝像頭的大量數據進行圖像處理?

為了應對這些挑戰，設計工程師需要一種能夠提供協處理資源的解決方案，可將來自多個攝像頭的多路視頻流拼接在一起，或對來自多個攝像頭的輸入進行圖像處理(如白平衡、魚眼校正、除霧)，然後將這些數據通過單個數據流傳輸到應用處理器。汽車設計工程師還需要能夠靈活地操作儀錶板、儀錶盤以及后座信息娛樂系統的的多個顯示屏，以及在傳統介面和新的MIPI介面之間實現橋接。

萊迪思汽車級ECP5 FPGA(AEC-Q100)可為這些應用提供用於加速圖像處理流水線所需的並行處理能力，而大量的I/O則可用於連接到更大的攝像頭陣列。能夠反映這種趨勢的一個實例就是現在越來越多的汽車都具備鳥瞰功能。一般來說，鳥瞰功能是指從汽車上方20英尺處向下看的實時視頻圖像。ADAS系統通過將來自4個或更多攝像頭的數據拼接在一起實現寬視野(FoV)來實現上述功能。

一直以來，設計工程師都是使用單個處理器來處理來自單個攝像頭的圖像數據。現在，設計工程師可以使用單個ECP5 FPGA替代多個處理器，聚合來自多個攝像頭的數據，並進行圖像拼接、魚眼去除、白平衡、HDR調整等操作以儘可能提高圖像質量，然後將高質量圖像發送到處理器進行下一個步驟。使用這種方法的設計工程師可以在獲得更高性能的同時降低成本和功耗。

圖6展示了萊迪思客戶如何構建上文中提到的解決方案。該鳥瞰系統從安裝在汽車四周的攝像頭(前方、後方和兩側)捕獲視頻圖像。ECP5 FPGA用於對視頻數據繼續進行處理和拼接以提供360度視野。在這種情況下，一片FPGA即可替代多個ARM處理器。該系統最終呈現的是清晰的1080p 60 fps視頻。除ECP5 FPGA之外，該方案僅使用了一個低端ARM處理器用於初始校準和視頻編碼/記錄功能。

圖6：展示了開發工程師如何使用單個ECP5 FPGA實現從前需要使用多個ARM處理器的鳥瞰系統

圖7：展示了ECP5 FPGA使用來自4個攝像頭的圖像輸入實現的360度全景視野

FPGA可在汽車設計中扮演的另一個重要角色是構建傳統介面與越來越流行的MIPI攝像頭和顯示屏之間的低成本橋接解決方案。

圖8：在車載信息娛樂系統中，ECP5 FPGA可用於預處理和後處理功能，並實現應用處理器和顯示屏之間的視頻橋接

例如，在圖8的框圖中，ECP5 FPGA位於應用處理器或SoC與一個或多個汽車顯示屏之間，用於預處理和後處理功能，並實現DSI或FPD-Link介面應用處理器與Open LDI、LVDS、FPD-Link或eDP介面顯示屏之間的橋接。FPGA還可用於多種其他信息娛樂應用，包括分別將單個視頻輸出到雙后座顯示屏，對圖像進行裁剪和格式化以獲得特定的視頻解析度。

ECP5的豐富處理資源也為實現各種感測器橋接、聚合和協處理解決方案奠定了基礎。如圖9所示，ECP5 FPGA用於控制和聚合來自多種感測器數據的智能中心。通過對感測器數據進行預處理和後處理以及實現I2C管理功能和SPI介面，FPGA可以顯著降低應用處理器的計算負載。

圖9：ECP5 FPGA實現數據橋接和智能中心，用於控制和聚合多種類型的感測器

另一個橋接、聚合和協處理解決方案實例則使用萊迪思汽車級FPGA的3.2 Gbps SERDES功能聚合來自多個雷達或攝像頭的數據，並通過BroadR-Reach或乙太網等汽車內部網路傳輸。在圖10中，來自多個感測器的數據通過LVDS介面傳輸到ECP5 FPGA，然後ECP5 FPGA對數據進行聚合和打包，通過基於SERDES的SGMII介面傳輸到汽車內部網路。

圖10：汽車級ECP5 FPGA的LVDS和3.2 Gbps SERDES功能用於實現多個雷達或攝像頭的橋接和聚合，並通過SGMII傳輸到車載網路

實現網路邊緣機器學習應用

展望未來，移動相關解決方案的影響力將不斷增長，它們將繼續利用移動處理器和MIPI感測器和顯示屏的應用支持和規模製造優勢為網路邊緣實現智能功能。市場上對於部署人工智慧(AI)、神經網路和機器學習來實現上述目標的需求在不斷增長。

在機器學習應用領域，用於進行圖像識別的神經網路經過訓練之後可以識別貓的圖像，舉個例子，通過向神經網路投喂數以千計的圖像並分配輸入圖像的權重直至神經網路能夠正確識別貓的圖像。開發數據架構和分配權重可能需要數TB的數據和大量的計算資源。因此，基於深度學習技術的機器學習應用的訓練步驟放在使用高端GPU和FPGA的數據中心，只有在數據中心海量的計算需求才能得以滿足。

模型經過訓練之後，它將被移植到網路邊緣應用中的嵌入式系統，然後為圖像識別或語音識別等應用實現推理功能。在網路邊緣應用領域，設備必須通過計算更快速、更高效地做出決定。因此，設計工程師需要將神經網路在「訓練」階段學到的經驗教訓應用到新數據，進行「推理」得出結果。為了在網路邊緣應用領域實現推理功能，理想的解決方案要能夠提供計算效率高的平台，並且滿足功耗、尺寸和成本的嚴苛要求。

當今業界和學界的都認為機器學習需要高度專業化的硬體加速解決方案。但是，相關要求也會根據任務的不同而發生變化。例如，訓練和推理可能需要不同的硬體。致力於訓練應用的硬體設計工程師通常使用32位浮點運算來進行精度非常高的計算。而另一方面，致力於網路邊緣應用領域推理功能的硬體設計工程師對於靈活性的需求要大於精確度，以便獲得更高的處理速度或更低的功耗。事實上，最近的研究表明，對於許多應用來說定點與浮點解決方案在推理精度方面幾乎相同，而且前者功耗更低。

憑藉豐富的嵌入式DSP資源、FPGA與生俱來的並行處理架構以及在功耗、尺寸和成本方面的顯著領先優勢，ECP5 FPGA是滿足新興AI市場上多元需求的理想選擇。例如，ECP5 FPGA中的DSP能夠以相比GPU浮點運算更低的功耗/MHz來進行定點運算。這些特性為功耗要求嚴苛的網路邊緣智能解決方案開發者提供了極具吸引力的優勢。圖11展示了一個實例，其中ECP5 FPGA用於實現推理加速器，對來自攝像頭的數據運行預先訓練好的卷積神經網路(CNN)進行處理。運行在FPGA上的CNN引擎識別物體或人臉，並將結果發送到系統CPU，從而實現快速、低功耗的物體/面部識別功能。

圖11：ECP5 FPGA為網路邊緣智能應用實現卷積神經網路(CNN)加速器，從而實現物體/人臉識別功能

圖12中的框圖展示了實時人臉跟蹤神經網路加速演示，在擁有85K LUT的ECP5-85 FPGA上運行時功耗僅為0.85 W。

圖12：攝像頭捕獲的實時圖像數據被輸入到FPGA，FPGA確定人臉圖像並輸出結果，最後人臉圖像在顯示屏上高亮顯示

基於FPGA實現的設計使得設計工程師能夠靈活地實現向上或向下擴展，以滿足終端系統中功耗與性能的平衡。在上面的實例中，基於更小尺寸的85K LUT FPGA的設計可以通過平衡性能和其他參數(例如降低幀速率、減小輸入圖像的幀大小或者減少用於神經網路的權重和激活值)來實現，從而進一步降低功耗。

此外，FPGA的可重新編程特性使得設計工程師能夠滿足快速變化的市場需求。隨著演算法的發展，用戶可以通過軟體輕鬆快速地更新硬體。這是GPU或ASIC無法企及的功能。

上述演示是基於嵌入式視覺開發套件(圖13)實現的，該套件是萊迪思嵌入式視覺解決方案系列的一部分，為開發網路邊緣嵌入式視覺解決方案提供了一個模塊化平台。

圖13：採用ECP5 FPGA、CrossLink FPGA和HDMI ASSP的萊迪思嵌入式視覺開發套件

總結

當今的設計工程師需要不斷尋求新的途徑來降低設計的成本、功耗和尺寸，同時為網路邊緣應用領域實現更多智能功能。與此同時，他們要跟上網路邊緣應用領域中新一代感測器和顯示屏快速發展帶來的性能和介面要求。萊迪思ECP5 FPGA系列能夠為設計工程師提供兩全其美的解決方案。ECP5 FPGA提供卓越的處理能力(高達85K LUT)和業界最小封裝(10x10 mm)，並帶有SERDES，能夠為設計工程師提供所需的協處理和互連資源。同時該產品系列的成本和功耗都比競品更低，能夠為開發工程師帶來領先優勢。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！