上交大盧策吾團隊開源 AlphaPose， 在 MSCOCO 上穩超 Mask-RCNN 8 個百分點

雷鋒網 AI 研習社消息，日前，上海交通大學盧策吾團隊開源 AlphaPose。AlphaPose 是一個多人姿態估計系統，具有極高的精準度。

據盧策吾團隊介紹， AlphaPose 在姿態估計（Pose Estimation）標準測試集 MSCOCO 上比 Mask-RCNN 相對提高 8.2%，比 OpenPose（CMU）相對提高 17%。除此之外，在 MPII 排行榜上，AlphaPose 以 6% 的相對優勢佔據榜首。

盧策吾：上海交通大學研究員，博士生導師。主要從事計算機視覺與深度學習相關研究，入選國家「青年千人」計劃，原斯坦福 AI Lab 博士後研究員（導師：Fei-Fei Li 和 Leo Guibas），為斯坦福-豐田無人車重要研究人員之一。

AlphaPose 是基於騰訊優圖和盧策吾團隊在 ICCV 2017 上的分區域多人姿態識別演算法（RMPE），該演算法主要為了解決在人物檢測結果不準的情況下進行穩定的多人姿態識別問題。雷鋒網 AI 科技評論之前對該演算法有過介紹，

綜合利用了對稱性空間遷移網路（Symmetric Spatial Transformer Network）和單人姿態估計演算法，從而擺脫了多人姿態識別任務對人物檢測準確性的依賴，並且進一步通過參數化的人物姿態表達對識別結果進行了優化。根據在公開數據集MPII上的測試結果，該演算法相較CMU提出的OpenPose演算法提升了1個百分點，尤其是對手肘、手腕、膝蓋、腳踝等細小關鍵點的改善尤為明顯。

據雷鋒網 AI 研習社了解，AlphaPose 是第一個在 COCO 數據集上的 mAP 超過 70 (72.3 mAP)，在 MPII 數據集上的 mAP 超過 80 (82.1 mAP) 的開源系統。

據悉，該系統目前有兩個應用：

• 一是視頻姿態跟蹤（Pose Tracking）。為了匹配同一個人在不同幀中的姿態，他們開源了一個高效的線上姿態跟蹤器（Pose Tracker）——Pose Flow。Pose Flow 是第一個在 PoseTrack Challenge 數據集上的 mAP 超過 60 (66.5 mAP) 、MOTA 超過50 (58.3 MOTA) 的線上開源姿態跟蹤器（Pose Tracker）。

  論文：Pose Flow: Efficient Online Pose Tracking

• 二是視覺副詞識別（Visual Adverb Recognition）。他們提出對視覺副詞進行研究，提供了新的 ADHA 數據集，以及一個基於該姿態估計系統的演算法。不過準確率目前較低。

  論文：Human Action Adverb Recognition: ADHA Dataset and Four-Stream Hybrid Model

結果展示

下圖為 AlphaPose 姿態估計的效果：

在 COCO test-dev 2015 上的得分如下：

在 MPII 測試全集上的得分如下：

下圖是姿態跟蹤的效果：

在 PoseTrack Challenge 驗證集上的效果如下：

任務 2：多人姿態估計(mAP)

任務 3：姿態跟蹤(MOTA)

據悉，他們將很快公開姿態跟蹤的代碼，雷鋒網 AI 研習社也會第一時間關注。

via：GitHub，上海交大機器視覺與智能實驗室

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！