Facebook開源DeepFocus演算法,為VR提供逼真的焦點變換渲染
原標題:Facebook開源DeepFocus演算法,為VR提供逼真的焦點變換渲染
DeepFocus是Facebook的人工智慧驅動的渲染器,據說它可以實時產生自然的模糊效果,是與變焦顯示器密切相關的技術。今天,Facebook宣布DeepFocus已經開源。雖然該公司擁有大視場角的原型「Half Dome」可能是專有的,但他們的深度學習工具將是「硬體無關的」。
當你在面前舉起手時,您的眼睛會自然地收斂,聚焦於手上。在今天的VR頭顯中,這種體驗並不相同,因為頭顯中的光源來自固定光源,你的眼睛需要聚焦於很近處才能看清近場圖像。這是變焦顯示和眼動追蹤要解決的問題,可以讓固定的焦距可以匹配人的眼睛變得可變,具體取決於你在任何給定時刻所注視的位置。
從本質上講,這項技術可以讓你聚焦於物體,無論它們與你的距離如何,使整體體驗更加舒適和身臨其境。但是這裡的缺失部分是頭顯並沒有複製自然的離焦模糊的能力,也就是當你看著你的手時背景會變得模糊。
Facebook在SIGGRAPH Asia 2018 上發表的一份研究論文中表示,DeepFocus的靈感來自「越來越多的證據表明視網膜散焦模糊在推動調節反應方面發揮的重要作用,以及對深度和物理現實的感知。」
與基於深度學習的圖像分析這種更傳統的AI系統不同,DeepFocus據說可以處理視覺效果,同時保持高質量VR所需的超清晰圖像解析度。
這意味著該系統不僅讓變焦VR頭顯與帶有光場顯示器的AR頭顯畫面看起來更逼真,還可以減輕與聚散度調節衝突相關的眼睛疲勞。
「該神經網路被證明可以僅使用常用的RGB-D圖像精確合成離焦模糊、焦點疊加、多層分解和多視圖圖像,讓許多支持調節功能的頭顯能夠實時且接近完美的顯示視網膜的模糊效果」,Facebook研究人員說。
Facebook在一篇博客文章中稱,Facebook今天將發布DeepFocus源代碼和神經網路訓練數據,主要面向「開發新VR系統的工程師、視覺科學家以及其他研究感知的研究人員」。
Facebook Reality Labs首席科學家邁克爾·阿布拉什(Michael Abrash)在Oculus Connect 5上推出DeepFocus,雖然Half Dome和DeepFocus基本上「只是光學和顯示器技術革新的開端,但它是進步加速的典範。」
【資訊編譯自:roadtovr】
【87870編譯文章,轉載須註明來源及鏈接,否則將追究其法律責任!】
※高通驍龍855,亮點難掩頹勢的「5G處理器」
※無重力飛馳!《BallisticNG》Steam平台發售
TAG:87870網 |