華為麒麟的AI性能是高通的3.5倍？這是所有手機運行神經網路的能力

機器之心報道

機器之心編輯部

麒麟 970 真的是當前最強手機 AI 晶元嗎？至少蘇黎世聯邦理工學院的研究人員是這樣認為的，在他們開發的 AI Benchmark 應用中，搭載麒麟晶元的華為 P20 Pro 的神經網路處理性能第一，比第二名一加 6 手機（搭載高通驍龍 845）的 3.4 倍還多。這款 APP 目前已經在 Google Play Store 上線，任何人都可以用來測試自己的手機「是否準備好進入 AI 時代了」。

APP 鏈接：https://play.google.com/store/apps/details?id=org.benchmark.demo

官網地址：http://ai-benchmark.com/tests.html

高通、華為、聯發科有什麼共通點？這三家廠商都做加速手機、平板等移動設備中計算機視覺、NLP 以及其他機器學習任務的硬體架構。然而，這存在一個問題，即開發者難以判斷哪家的晶元對特定平台的演算法優化較好。於是，來自 ETH Zurich（蘇黎世聯邦理工學院）的研究員開發了一個名為 AI Benchmark 的 APP，可用於測試手機上機器學習演算法的表現。

不過，目前這款 APP 只適用於安卓手機。

AI Benchmark APP

據國外媒體 TechCruch 報道，ETH Zurich 的研究人員開發了一個基準系統來評估用於常見 AI 任務的眾多神經網路架構。他們希望通過這種方式幫助 AI 研究員、晶元廠商以及安卓開發者，來測試 AI 模型在不同設備上運行時的表現。

「因為沒有相關信息（指演算法表現的信息。除了一些內建 APP 的 AI 演算法融合到了手機固件，當前所有的 AI 演算法都在伺服器上遠程運行），所以我們想要開發一種工具清晰展示每種設備的表現與能力。」研究員 Andrey Ignatov 在接受 TechCrunch 專訪時表示。

GIF

AI Benchmark APP 運行計算機視覺任務時的測試，圖片：Kyle Wiggers/Venture Beat

當前手機 AI 性能排行榜

AI Benchmark APP 能評估智能手機在一系列開源演算法中的性能，這些演算法執行圖像分類、人臉識別、圖像超解析度以及圖像增強、分割以及去模糊的任務。AI Benchmark 甚至還可以測試無人駕駛汽車中使用的神經網路的性能，研究人員預測，這種神經網路最終可能會運行在與智能手機晶元類似的晶元上。

在手機上打開該 APP，它會產生演算法輸出的可視化效果，並給出一個影響晶元系統和 RAM 速度的分數。（一般來說，神經網路越大，處理它所需的內存就越多。）

AI Benchmark 自己測試並列出了一個排行榜，華為 P20 Pro 以 6397 的得分高居榜首，第二名得分為 1875。

1. 華為 P20 Pro – 6397

2. 一加 6 – 1875

3. 索尼 Xperia XZ2 – 1664

4. 三星 Galaxy S9+ – 1494

5. 雷蛇 Razer Phone – 1470

6. 三星 Galaxy S9 – 1446

7. 一加 5T – 1440

8. 一加 5 – 1416

9. 三星 Galaxy Note 8 – 1408

10. 小米 Mi Mix 2 – 1405

在該工具的官網上，目前排名前 15 的手機型號。

機器之心小編也下載了 AI Benchmark，在平均長達 5 分鐘、所有 9 項測試結束之後（需耗去 4% 的電量），我們使用的國行版三星 S9 手機拿到了 1594 分，這個分數在高通驍龍 845 晶元的手機里還算不錯，也超過了官方排行榜中該型號手機原來的分數，或許是固件更新的功勞？

搭載麒麟 970 晶元的華為 P20 Pro 分數達到了 4573，不及排行榜上的分數（我們的測試機未更新到最新版本系統）。

我們也測試了搭載驍龍 835 的「谷歌官方機」Pixel 2 的跑分：1210。

我們的測試分數，從左至右：華為 P20 Pro、三星 S9、Pixel 2。

那麼針對這些旗艦機型的對比結果如何呢？Ignatov 將團隊的初步成果總結為「有趣且荒誕」。

Ignatov 稱，高通晶元可以加速那些並不兼容所有安卓版本的量化或壓縮神經網路。不使用高通驍龍軟體開發的典型網路無法利用其 Hexagon DSP AI 加速晶元，儘管 Ignatov 注意到如果實現「恰當驅動」，此類網路可以從中受益。

「如果你正在研發一款使用 AI 能力的 app，那麼你在驍龍 SoC 上無法獲得任何加速，除非你研發的 app 只為驍龍處理器服務。」Ignatov 稱。

另一方面，華為的麒麟晶元性能強大——可以提供近 10 倍的神經網路加速，但是這與量化的神經網路並不兼容。華為稱今年麒麟晶元將支持量化神經網路。（Ignatov 注意到華為 P20 和 P20 Pro 是市面上唯一運行 Android 8.1 Oreo 為應用程序提供人工智慧加速的手機。）

至於三星的 Exynos 處理器和聯發科的 NeuroPilot AI 平台，評測結果就有點參差不齊了。

三星自有的處理器只支持 Android 8.1 及以上版本的 AI 加速，且由於功耗優化和調節（power throttling），其性能變化「很大」，有時甚至高達 50%。

同時，聯發科的晶元組——那些同時支持量化神經網路和普通神經網路的型號，性能稍稍弱於三星和華為的硬體。

「總之，驍龍理論上可以提供優秀的結果，但是缺乏強勁的驅動；華為現在的結果比較突出，且不久的未來可能是最好的；三星目前不支持加速（這種情況可能很快就會改變，因為三星目前正在研發自己的 AI 晶元），但是 CPU 很強大；聯發科在中端設備上效果較好，但沒有什麼突破。」Ignatov 稱。

AI Benchmark 是如何測試神經網路性能的

據官網介紹，該 benchmark 包含 9 個在手機上運行獨立神經網路的計算機視覺任務。這些網路包含大量架構，能讓我們評估解決人工智慧問題的不同方法的表現和局限性。

任務 1：目標識別/分類

神經網路：MobileNet - V1 | CPU, NPU, DSP

圖像解析度：224 x 224 px

ImageNet 準確率：69.7%。

這是一個非常基礎但很強大的神經網路，能夠基於一張照片識別 1000 個不同的對象類別，準確率約為 70%。經過量化，其大小可小於 5Mb，再加上低耗內存，它可在幾乎所有現有智能手機上使用。

任務 2：目標識別/分類

神經網路：Inception - V3 | CPU, NPU, DSP

圖像解析度：346 x 346 px

ImageNet 準確率：78.0 %

這是對上一個網路的進一步擴展：更加精確，但代價是規模是原來的 4 倍且對計算的要求較高。一個明顯的優勢是——它可以處理解析度更高的圖像，這意味著更精確的識別和更小目標的檢測。

任務 3：人臉識別

神經網路：Inception - Resnet - V1 |CPU

圖像解析度：512x512 px

LFW 得分：0.987

這個任務無需過多介紹：根據人臉照片識別出這個人。實現方式如下：對於每個人臉圖像，神經網路會對人臉編碼並生成一個 128 維的特徵向量，該特徵向量不隨縮放、移動或旋轉而改變。然後，在資料庫中檢索和此向量最匹配的特徵向量（以及對應的身份），資料庫里包含數億個此類信息。

任務 4：圖像去模糊

神經網路：SRCNN 9-5-5 | CPU, NPU, DSP

圖像解析度：300 x 300 px

Set-5 得分 (x3)：32.75 dB

還記得用手機拍出的模糊照片嗎？這個任務就是：讓圖片變得清晰。在最簡單的情況下，這種失真是通過對未損壞的圖像應用高斯模糊來建模的，然後嘗試使用神經網路來恢復它們。在這個任務中，模糊是通過一種最原始、最簡單、最輕量級的神經網路 SRCNN（只有 3 個卷積層）去除的。但是即便如此，它仍然顯示出相當令人滿意的結果。

任務 5：圖像超解析度

神經網路：VGG - 19 | CPU, NPU, DSP

圖像解析度：192 x 192 px

Set-5 得分 (x3)：33.66 dB

你有過縮放照片的經歷嗎？縮放時是不是會有失真、細節丟失或清晰度下降的問題？這項任務就是讓縮放過的照片看起來和原圖一樣。在本任務中，網路被訓練用於完成一項等效的任務：將給定的縮小後圖像（如縮小四倍）恢復至原圖。此處我們使用一個 19 層的 VGG-19 網路。儘管目前來看，該網路的表現並不驚艷，也不能重建高頻部分，但它對於繪畫仍是理想的解決方案：該網路可以讓圖像變得更加清晰、平滑。

任務 6：圖像超解析度

神經網路：SRGAN | 僅 CPU

圖像解析度：512 x 512 px

Set-5 得分（x4）：29.40 dB

任務同上，但完成方法略有不同：如果我們使用其他神經網路訓練我們的神經網路會如何？我們安排兩個網路去完成兩個不同的任務：網路 A 嘗試解決上面提到的超解析度問題，網路 B 觀察其結果，嘗試找到其中的缺陷並懲罰網路 A。聽起來是不是很酷？實際上真的很酷：儘管該方法不盡完美，但結果往往非常驚艷。

任務 7：語義圖像分割

神經網路：ICNet | 僅 CPU

圖像解析度：384 x 576 px

CityScapes (mIoU)：69.5 %

有沒有想過在手機上運行自動駕駛演算法？這沒什麼不可能，至少你可以完成一大部分任務——根據車載攝像頭拍攝的照片檢測 19 類目標（例如，車、行人、路、天空等）。在下圖中，你可以看到最近專為低性能設備設計的 ICNet 網路的像素級分割結果（每個顏色對應每個目標類別）。

任務 8：圖像增強

神經網路：ResNet - 12 | CPU, NPU, DSP

圖像解析度：128 x 192 px

DPED PSNR i-得分：18.11 dB

看舊手機上的照片是不是覺得很難受？這個問題可以解決：經過恰當訓練的神經網路可以讓舊手機（即使是 iPhone 3GS）上的照片看起來非常好、非常時髦。要做到這一點，網路要觀察、學習如何將來自低端設備的照片優化成像用 DSLR 相機拍出來的一樣。當然，這一奇蹟有一些明顯的缺陷（如：每次換新手機模型都要重新訓練網路），但得到的圖像看起來非常好，尤其是舊設備上的照片。

任務 9：內存極限

神經網路：SRCNN 9-5-5 | CPU, NPU, DSP

圖像解析度：4 MP

# 參數：69.162

在任務 4 中我們已經認識了 SRCNN，它是最輕便、簡單的神經網路之一，但即便如此，在處理高解析度照片時，它也會讓大多數手機「給跪」：要處理高清照片，手機至少要有 6GB 的內存。這項測試的目的是找到你設備的極限：這個最簡易的網路到底能處理多大的圖像？

最後，你可以去谷歌商店下載此APP測試下自己手機運行神經網路的能力，不服跑個分？

參考鏈接：https://venturebeat.com/2018/07/25/ai-benchmark-rates-smartphones-neural-network-performance/

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！