來看一場 AI 重建的 3D 全息世界盃比賽!
新智元 今天
新智元報道
來源:grail.cs.washington.edu
編輯:肖琴
【新智元導讀】你有沒有想過讓 C羅、梅西或者內馬爾在你家桌子上踢一場比賽會是什麼樣子?華盛頓大學、Facebook 和 Google 的研究人員開發了第一個端到端的深度學習系統,可以將足球比賽的 YouTube 視頻轉換為運動的 3D 全息圖,使用AR設備就可以觀看到3D全息投影的足球比賽。這項研究將在 CVPR 2018 會議上首次亮相。
論文地址:http://grail.cs.washington.edu/projects/soccer/soccer_on_your_tabletop.pdf
世界盃來了!央視名嘴白岩松調侃 「俄羅斯世界盃,中國除了足球隊沒去,其他的都去了」,這屆世界盃,中國球迷購買球票的數量在所有國家中排名第 9,可見球迷對世界盃的熱情。那麼,除了準備好小龍蝦在電視機前觀看世界盃比賽,你有沒有想過讓 C羅、梅西或者內馬爾在你家桌子上踢一場比賽會是什麼樣子?
華盛頓大學、Facebook 和 Google 的研究人員開發了第一個端到端的深度學習系統,該系統可以將足球比賽的 YouTube 視頻轉換為運動的 3D 全息圖。
用CNN重建一場足球比賽
「對一場足球比賽進行單目重建有很多挑戰。我們必須估計相對於場地的攝像機姿態,檢測並跟蹤每個球員,重新構建他們的身體形狀和姿勢,並對聯合重建進行渲染,」 研究人員在他們的研究論文中寫道。
圖1:以足球比賽的 YouTube 視頻為輸入,系統輸出比賽的動態 3D 重建,可以使用增強現實設備
下面的視頻演示了這個系統:
這種方法的關鍵是卷積神經網路(CNN),研究人員通過訓練 CNN 來估計每個球員與拍攝比賽的攝像機之間的距離。該網路分析了從足球視頻遊戲《FIFA》中提取的12000 張 2D 球員圖像,以及從遊戲引擎提取的相應 3D 數據,以了解兩者之間的相關性。
這樣,網路就能從沒見過的 2D 圖像中預估球員的深度圖( depth maps)。當被展示沒見過的視頻時,系統能準確地預測每個球員的深度圖,並將其與顏色素材結合,以3D 的方式重建每個球員。
圖 2:重建方法的概覽
以 YouTube 視頻的幀作為輸入,我們使用 field lines 來恢復攝像機參數。然後,提取邊界框、姿勢和軌跡(跨多個幀)來分割球員。通過在視頻遊戲數據上訓練好的深度網路,我們在遊戲環境中重建了每個球員的深度圖,這樣就可以在 3D 查看器或 AR 設備上呈現出來。
然後,球員們被放在一個虛擬的足球場上。其結果令人驚嘆,並且可以通過 3D 查看器或 AR 設備從任何角度觀看比賽。
圖3:訓練數據:從《FIFA》遊戲中提取圖像和對應的深度,這裡展示了幾個可視化為深度圖和網格的例子。
該團隊使用 NVIDIA GeForce GTX 1080 GPU 和 NVIDIA TITAN Xp GPU,以及cuDNN 加速的 PyTorch 深度學習框架,在從世界盃比賽視頻中提取的數小時的 3D 球員數據上對卷積神經網路進行訓練。
基於這些比賽視頻數據,神經網路能夠重構球場上的每個球員的深度圖,這些圖可以在3D 查看器或 AR 設備上呈現。
「事實證明,在玩 EA 的《FIFA》遊戲並截取遊戲引擎和 GPU 間的調用時,可以從視頻遊戲中提取深度圖。具體來說,我們使用 RenderDoc 來截取遊戲引擎和 GPU 之間的調用。」 研究團隊表示:「FIFA 與大多數遊戲類似,在遊戲過程中使用延遲渲染。通過訪問 GPU 調用,可以捕獲每幀的深度和顏色緩衝區。一旦特定的幀被捕獲了深度和顏色,就可以提取出球員。」
圖4:合成數據集的結果以及與當前最優技術和 ground truth 的比較,可視化為depth m
為了驗證這個系統,研究團隊用 YouTube 上找到的 10 個高解析度的職業足球比賽視頻測試他們的方法。值得注意的是,該系統只在合成視頻素材上進行訓練。但是,在真實的場景中,系統也有非常好的結果。
從 Youtube 框架開始(頂行),我們網路重建的深度圖可以添加到虛擬 3D 球場環境中,這裡顯示
研究人員用微軟的 HoloLens AR 眼鏡進行測試。HoloLens 可以將 3D 重建疊加到真實的桌面上。最終的產品雖然不完美,它無法重建球,不能實時地工作,並且只允許從視頻錄製的球場側面觀看。但是,這項技術可能比當前 3D 重建運動的最先進方法更具可擴展性,因為當前的方法需要在每一個角度布置相機。研究人員稱,這種方法也適用於預定義的其他事件,例如音樂會或劇場。
桌面實際的場景
用HoloLens看到的場景
研究人員承認他們的系統並不完美。他們的下一個項目將專註於訓練系統以更好地檢測球,並開發可從任何角度觀察的系統。
這項研究將於 6 月 18 日至 22 日在猶他州鹽湖城舉行的年度計算機視覺和模式識別(CVPR)會議上首次亮相。
※今天,新智元AI星艦搭載30萬乘客,駛向宇宙新智極
※美國超算將重奪全球第一,性能超神威·太湖之光2倍
TAG:新智元 |