乾貨 AR增強現實技術全解讀
人們普遍認為ar技術的出現源於虛擬現實技術的發展，但它們之間存在著明顯的差異。 傳統的虛擬現實技術為用戶提供了一個完全沉浸在虛擬世界中的效果，創造了另一個世界. ar技術將計算機引入用戶的真實世界，通過聽、看、摸、嗅虛擬信息，增強對真實世界的感知，實現從「人適應機器」到「以人為本」的技術轉變。
用戶感知現實世界的新技術。 人們普遍認為ar技術的出現源於虛擬現實技術的發展，但它們之間存在著明顯的差異。 傳統的虛擬現實技術為用戶提供了一個完全沉浸在虛擬世界中的效果，創造了另一個世界. ar技術將計算機引入用戶的真實世界，通過聽、看、摸、嗅虛擬信息，增強對真實世界的感知，實現從「人適應機器」到「以人為本」的技術轉變。
ar從其技術手段和表現形式上可以清楚地分為兩類，一類是基於視覺的ar，即基於計算機視覺的ar，另一類是基於lbs的ar，即基於地理位置信息的ar。
基於計算機視覺的ar是利用計算機視覺的方法建立現實世界與屏幕之間的映射關係，這樣我們要繪製的圖形或三維模型可以顯示在屏幕上作為附著在現實物體上，如何做到這一點？ 實質上就是在真實場景中找到一個依存平面，然後將平面下的三維場景映射到我們的二維屏幕上，然後在這個平面上繪製出想要顯示的圖形，從技術實現手段上可以分為兩類:
該方法需要預先準備好標記(例如，繪製一定規格和形狀的模板卡或二維碼)，然後將標記放置在實際位置，相當於確定真實場景中的平面，然後通過攝像機識別標記並進行姿態估計，確定標記的位置，然後以標記的中心為原點的坐標系稱為標記坐標，即模板坐標系，實際上我們要做的是得到一個變換，從而建立模板坐標系與坐標之間的映射關係。
在實際編碼中，所有這些變換都是一個矩陣，在線性代數矩陣中表示一個變換，在坐標矩陣左邊乘法是一個線性變換(對於非線性變換的變換，可以用齊次坐標對矩陣進行運算)。 公式如下:
矩陣c稱為相機內部參數矩陣，矩陣TM稱為相機外部參數矩陣，內部參數矩陣需要預先進行相機標定，而外部參數矩陣未知，需要根據屏幕坐標( xc，YC )和預先定義的標記坐標系以及內部參數矩陣來估計TM，然後根據TM繪製圖形來繪製( TM的初始估計不準確，還需要使用非線性最小二乘迭代優化)，如使用OpenGL渲染將TM矩陣載入到GL _ model視圖模式下進行圖形顯示。
基本原理與基於標記的ar相同，但它可以使用具有足夠特徵點的任何對象(例如.g. 書籍封面)作為平面參考而不必事先製作特殊模板，並擺脫模板對ar應用的限制。 其原理是通過一系列演算法( surf、orb、fern等)從模板對象中提取特徵點. )並記錄或學習這些特徵點。 當攝像機掃描周圍場景時，提取周圍場景的特徵點並與記錄的模板對象的特徵點進行比較；如果掃描特徵點與模板特徵點的匹配次數超過閾值，則認為模板被掃描；然後根據對應的特徵點坐標估計TM矩陣，再根據TM進行圖形繪製(方法類似於基於標記的ar )。
本發明的基本原理是通過GPS獲取用戶的地理位置，從wiki、Google等數據源獲取位置附近對象(如餐館、銀行、學校等)的poi信息，通過移動設備的電子羅盤和加速度感測器獲取用戶手持設備的方向和傾角，並通過該信息建立真實場景中目標對象的平面參考(等效於標記)，坐標變換顯示等原理類似於基於標記的原理。
本發明利用設備的GPS功能和感測器實現了ar技術，消除了應用對標記的依賴，用戶體驗優於基於標記的ar，性能優於基於標記的ar和無標記的ar。
在基於計算機顯示的ar實現中，攝像頭採集的真實世界圖像輸入計算機，結合計算機圖形系統生成的虛擬場景，輸出到屏幕顯示，用戶從屏幕上看到最終增強的場景圖片。 它不會給用戶帶來太多的沉浸感，但它是最簡單的ar實現。 由於硬體要求較低，該方案已被實驗室ar系統研究人員廣泛應用。
視頻透視系統
頭盔顯示器( HMD )廣泛應用於虛擬現實系統中，以增強用戶的視覺沉浸感。 增強現實研究人員已經使用了類似的顯示技術，穿透HMD，這在增強現實中被廣泛使用。 根據具體實現原理，將其分為兩類:視頻透視HMD (視頻透視HMD )和光學透視HMD (光學透視HMD )。
視頻透視增強現實系統的實現方案
光學透視系統
在上述兩個系統實現中，兩個信息通道被輸入到計算機中，一個是由計算機生成的虛擬信息通道，另一個是來自相機的真實場景通道。 在光學透視HMD實現方案中，後者被去除. 真實場景的圖像經過一定量的調光處理後直接進入人眼，虛擬通道的信息經過投影和反射後進入人眼. 這兩者是光學合成的。
三種系統架構的性能比較
三種ar顯示技術實現策略在性能上各有優缺點。 在基於監視器和視頻透視顯示技術的ar實現中，通過攝像機獲取真實場景圖像，將虛擬圖像和真實圖像進行組合併輸出到計算機中。 不可避免地，在整個過程中存在一定的系統延遲，這是動態ar應用中產生虛假和真實註冊錯誤的主要原因之一。 但此時由於用戶的視覺完全在計算機的控制之下，系統的延遲可以通過計算機內部虛擬和真實兩個通道的協調來補償。 在基於光學透視顯示技術的ar實現中，真實場景的視頻圖像傳輸是實時的，不受計算機控制，因此不可能通過控制視頻顯示速率來補償系統延遲。
另外，在基於監視器和視頻透視顯示技術的ar實現中，可以通過計算機對輸入的視頻圖像進行分析，從真實場景的圖像信息中提取跟蹤信息(參考點或圖像特徵)，從而輔助動態ar中虛擬場景和真實場景的配准過程。 在基於光學透視顯示技術的ar實現中，可用於輔助虛擬和物理配準的唯一信息是頭盔上的位置感測器。
在實現增強現實的過程中，需要對真實場景和信息進行分析，生成虛擬物信息。 這兩個步驟看似簡單，實際上在實際的過程中，需要攝像機獲取真實場景的視頻流，轉化為數字圖像，然後通過圖像處理技術，識別出預先設置的標記。
識別標記後，以標記為基準，通過增強現實程序結合定位技術確定要添加到增強現實環境中的三維虛擬對象的位置和方向，確定數字模板的方向。 將所述標識中的標識符號與預設的數字模板圖像進行匹配，確定待添加的三維虛擬對象的基本信息。 生成虛擬對象，程序根據識別對象位置將虛擬對象放置在正確位置。 增強現實中最困難的問題之一是識別、跟蹤和定位。
為了實現虛擬物與真實物的完美結合，必須確定虛擬物在真實環境中的準確位置和方向，否則增強現實的效果將大大降低。 在真實環境中，由於真實環境的不完善性或複雜性，增強現實系統在這種環境中的有效性遠遠低於實驗室中的理想環境。 由於現實環境中物體遮擋、不聚焦、光照不均、運動速度過快等問題，增強現實跟蹤定位系統受到了挑戰。
如果不考慮與增強現實交互的設備，則有兩種主要方法可以實現跟蹤和定位:
模式識別技術(包括模板匹配、邊緣檢測等). )用於識別所獲得的數字圖像中的預設標記或基準點、輪廓，然後計算變換矩陣以基於虛擬對象的偏移距離和偏轉角度來確定其位置和取向。
該方法不需要其他設備，定位精度高，是增強現實中最常用的定位方法。 在模板匹配中，系統將預先存儲各種模板，以匹配圖像中檢測到的標記，從而計算位置。 簡單的模板匹配可以提高圖像檢測的效率，同時也保證了增強現實的實時性。 通過計算標記在圖像中的偏移和偏轉，也可以實現對三維虛擬物體的全方位觀察。 模板匹配一般用於特定圖片對應三維圖像，通過掃描特定圖片，將圖片中的特殊標記位與預先存儲的模板進行匹配，可以呈現三維虛擬模型。 例如來自汽車商店的汽車模型卡和來自玩具公司的字元卡。 邊緣檢測可以檢測人體的某些部位，也可以跟蹤這些部位的運動，並與虛擬物體無縫融合。 例如，如果真實的手抬起虛擬對象，則相機可以通過跟蹤用戶的手的輪廓和運動來調整虛擬對象的取向。 因此，許多商店的虛擬商品實用性強，經常使用邊緣檢測。
圖形檢測方法雖然簡單有效，但也有其不足之處。 圖像檢測常用於比較理想的環境和近距離環境，使視頻流和獲取的圖像信息清晰易定位計算。 然而，如果在室外環境中，由於明暗、物體遮擋、聚焦等問題，使得增強現實系統不能很好地識別圖像中的標記，或者出現與圖像中的標記相似的標記，從而影響增強現實的效果。 此時，需要其他跟蹤定位方法的輔助。
該方法基於詳細的GPS信息來跟蹤和確定用戶的地理位置信息。 當用戶在真實環境中行走時，可以利用用戶相機位置信息和方向誤差，能夠準確降低虛擬信息和虛擬物體對環境場景和周圍人的價格。 目前，由於智能設備的普及，智能手機得到了廣泛的應用，並且由於智能手機具有支持基於GPS定位方法的增強現實系統的基本組成部分:攝像頭、顯示屏、GPS功能、信息處理器、數字羅盤等.，並將其集成為一個整體，因此這種跟蹤定位方法主要應用於這種智能移動設備中。 稱為增強現實瀏覽器的應用程序主要應用此方法。 增強現實瀏覽器可以在智能手機上運行，智能手機可以連接到互聯網，搜索相關信息，然後讓用戶看到現實世界中的相關信息。 增強現實瀏覽器可以向用戶提供關於相機方位的幾乎所有信息，例如找到附近但有遮蔽的餐館或獲得用戶對咖啡館的意見。
該定位方法適用於室外跟蹤定位，能夠克服光照、聚焦等不確定因素對室外環境中圖像檢測方法的影響。
目前的增強現實主要有以下三種顯示技術: 1. 移動式手持顯示器。 2、視頻空間顯示和空間增強顯示。 3. 可佩帶顯示器。
智能手機通過適當的軟體實時查看和顯示疊加的數字圖像，這是移動手持顯示器的一般操作。 與此同時，平板電腦以其新增的功能和比智能手機更大的屏幕越來越受歡迎。
手持增強現實標記，通過網路攝像機在食物窗口或顯示器上顯示虛擬疊加圖像，是視頻空間的顯示方式。 以這種方式顯示具有增強現實的卡。 用戶收到賀卡後，登錄相應的網站系統，將賀卡與網路攝像頭對準，從顯示屏上獲取賀卡中存儲的信息所形成的虛擬對象和視頻。 而空間增強顯示技術，就是利用包括全息投影在內的視頻投影技術，直接在真實環境中顯示虛擬數字信息。 與一般的增強現實系統不同，這種技術的系統只適合於個人使用，但需要將增強現實與周圍環境相結合，而不僅僅是針對單個用戶。 這種技術適用於大學或圖書館，可以同時為一群人提供增強現實信息。 還可以將控制部件投影到相應的物理模型上，以便於工程師之間的交互。
可佩戴顯示器是可佩戴在用戶頭部上的眼鏡狀頭盔顯示器。 我們知道並期望谷歌眼鏡正式成為這種類型。 可穿戴顯示器通常具有兩個嵌入式透鏡和半透明反射鏡的小型顯示器，廣泛應用于飛行模擬、工程設計、教育培訓等領域。 頭戴式設備允許用戶更自然地體驗增強現實，並且可以向用戶提供更大的視野，給用戶更強、更逼真的「在那裡」的感覺。
最基本的增強現實人機交互是用戶查看虛擬數據。 此外，還有一些交互技術
虛擬-物理組合還通過通過數字信息提供物理感覺來實現。 例如，可以被觸摸的虛擬光球、可以被繪製在虛擬碗上的虛擬筆。
多個顯示器用於支持遠程共享和互動式或合作活動。 這種交互可以與各種應用軟體集成，並且可以在醫療領域中用於執行診斷和外科手術、或設備維護等。
組合各種不同但功能互補的界面使得用戶能夠以各種方式與增強現實內容交互。 這種交互使得增強現實交互更加靈活，可用於數字模型測試。
以語言和行為的自然存在形式與真實對象交互，如說話、觸摸、自然手勢、凝視等。 多模態交互允許用戶靈活地組合多種模式，更方便用戶與增強現實系統交互。
三維模型(靜態或動態)是ar技術最基本的形式，如卡通人物、建築、展覽、傢具等。 目前，國內的ar行業還處於發展的初級階段，三維模型主要應用於ar主要移動應用產品中。 這種實現方式雖然是最基本的，但也是應用最廣泛、開發成本最低、市場普及程度最好的產品。
酷視頻演示無疑比簡單的3d模型更引人注目，而且在業務運營中更具成本效益。 例如，原本是一種常見的產品安裝說明、菜單說明、傳單，一旦應用ar技術，那麼它就不再是平面圖片，而呈現出立體圖像，表情就變得準確生動，有一種神奇的感覺。 在類似的情況下，ar技術具有巨大的採礦和開發市場空間。 在這裡，需要提醒的是，利用ar技術實現視頻回放並不難，難的是製作一個適合ar場景播放的視頻，這就需要你打開大腦，仔細雕琢。
當第一次看到時，它更像是使用超高清晰度3d角色模型，但嚴格來說，它是經過特殊處理的透明視頻呈現的結果。 這種視頻不需要很高的3d模型成本，但具有逼真的演繹效果。 如果在大型海報、宣傳冊、商場活動等場景中進行設計，卻會有超大的效果。
它不是一個簡單的三維模型再加上就算完成了，場景顯示雖然類似於基本的三維模型疊加，但實現起來比單個三維模型複雜得多，場景包含的內容更多，應用範圍更廣。 如娛樂、立體閱讀、遊戲等應用都需要展示場景，當然，這類場景的構建需要內容支持。 ar場景呈現不同於整個場景的VR構建，ar場景呈現以現實為基礎，與現實交錯，是ar技術的魅力所在。
ar技術也徹底改變了遊戲的運行方式。 目前，如《口袋妖怪走》、《小龍麻雀》、《魔法真英雄卡》等.，都是很不錯的氬氣遊戲。 想像一下，在現實世界中玩遊戲，而不必模擬複雜的場景，同時在現實世界中有大量的虛擬疊加，會有多棒! 遊戲也可以擺脫空間和空間的束縛，隨時隨地都可以開始。
ar技術和VR技術共同豐富了我們的現實世界，ar技術旨在提升我們的現實世界的內容，VR技術是將我們的注意力從現實轉移到虛擬空間。 如果ar和VR相結合，相信會有更好的體驗，比如用VR設備+ ar顯示，你不需要嚮導或講師，用VR，讓ar反饋增強信息會實時出現在你關注的對象旁邊，告訴你這是什麼，甚至告訴你更多關於它的信息。 類似的未來組合也可以在導航、醫療和其他領域中找到。
大屏幕互動作為ar技術展示的延伸，其表現效果也非常驚人，主要應用於商場、博物館、體驗館、大型活動(演唱會)等。 簡單地說，大屏幕互動就是ar技術加上投影，創造出一個更真實、更震撼的場景和氛圍。
現在，增強現實正被廣泛用於各種目的，讓我們來看看我們團隊的一些代表性領域。
增強現實技術的發展對娛樂業產生了巨大的影響。 增強現實產生了三維虛擬事物，增強了我們的娛樂感，使娛樂成為當今最前沿的技術體驗。
增強現實現在普遍用於體育賽事的電視廣播中。 例如，在美國足球比賽的電視上，可以獲得真實的場地和球員在比賽中，加入虛擬黃線表示第一條進攻線，通過增強現實技術將虛擬黃線轉化為真實場景。 在游泳比賽的電視轉播中，經常在水路之間增加一些虛擬線路，以顯示運動員在當前比賽中的位置；而比賽結束時的成績也能清楚地顯示運動員的名次和表現。 這些增強現實技術在體育廣播中的應用使觀眾有了更清晰的視角、更全面的三維分析和更好的事件體驗。
遊戲產業是一個全球性的產業，無論如何，增強現實技術也將被遊戲產業所應用。 索尼的新遊戲平台PS vita就是其中之一。 這個移動社交網路平台增強了現實能力，使玩家能夠使用當前環境開始遊戲，並獲得更身臨其境的遊戲體驗，無論他們身在何處。 Microsoft的Kinect可以根據用戶信息添加虛擬對象，例如模擬面具、大頭娃娃和其他效果。
此外，增強現實對於三維會議、社交網路、影視、旅遊等方面的影響也逐漸增強，互動電視、互動電影、實時翻譯、方向提示等技術也大大豐富了人們生活的使用。
近年來，教育經費不斷增加，教育越來越受到社會的重視。 然而，由於某些條件的限制，某些位置被其他方式(如運行中的引擎)阻止訪問，增強現實技術可以使我們更清楚地了解這些區域的內部情況。 與此同時，增強現實可以通過多種方式為學習添加新的維度，例如通過識別環境中的對象並嘗試用您正在學習的語言描述它們來練習外語。 因此，增強現實對於影響和改進教育的潛力是巨大的。
增強現實通過三維圖形或動畫、視聽信息來增強具體內容，實現增強現實圖書，可以給平面紙質圖書，甚至是dia圖書注入新的活力。 您還可以創建一個沉浸式、基於遊戲的學習環境，使多人能夠在學習上進行協作。
哥倫比亞大學的史蒂夫·亨德森和史蒂芬·菲納提出的增強現實維修( armar )計劃是增強現實技術在這一領域的一個著名應用。 armar技術把計算機圖形定位在實際需要維護的設備上，提高了機械維修工作的效率、安全性和準確性。 增強現實輔助維修技術能夠使工程技術人員儘快識別故障部位，並開始維修工作，大大減少了工作時間消耗。
此外，使用增強現實技術將手冊的文本和圖片疊加在真實設備上並提供分發說明的數字化用戶指南手冊將是一份非常容易理解的指南手冊。
增強現實技術在醫學中的應用是最令人興奮的。 雖然醫生和外科醫生可以熟練地使用現代醫療設備，但他們只能用肉眼檢查病人，雖然核磁共振或x線圖像對身體內部進行檢查，但畢竟這不是一個人可以直接看到的。 而增強現實技術的應用，可以為醫生提供具有類似x射線透視視覺的病人身體圖像，而且是全光譜的彩色圖像，不僅僅是黑白兩種價值的圖像。
增強現實技術可以使醫生看到患者體內有效的逐層刀位，掌握手術的準確位置，避開其他重要位置，方便醫生操作。 增強現實技術還可以用於治療某些恐懼症，改善整體人類健康，如飲食控制。
絕大多數人類活動都是以商業和貿易為基礎的，增強現實也有力地應用於商業的創造和維持，以及維持或增加市場份額。
二維碼已經廣泛應用於廣告領域，而二維碼和增強現實，可以用二維碼作為增強現實的標誌，可以很好地避免註冊問題。 對於每個系統，請. 張、註冊信息往往不同，而二維碼的使用，可以讓增強現實系統從通用、封閉系統走向通用、開放系統。 所以兩者的結合，將使新興廣告超越原來的廣告。
增強現實技術已經被用於廣告牌、海報和一些汽車廣告中，以使用戶更容易連接到信息和訂單。 百貨公司中的增強現實系統允許購物者體驗和嘗試各種商品，而不必拿起實體。
相信helo將在不久的將來為我們帶來led透明屏的虛擬現實交互
TAG:象山科科 |