微軟專利分享如何為HoloLens頭顯實現高對比度熱成像效果

（映維網Nweon 2022年07月05日）環境中的相對物體溫度可以通過熱圖像來估計。熱圖像的像素可以對熱強度值進行編碼，以表示熱攝像頭從環境對象接收的熱能的相對量。基於接收到的熱輻射量的不同，可以將哺乳動物等暖對象與無生命的背景對象區分開來。然後，可以根據相對強度值對生成的熱圖像進行著色，以便於對象識別。

作為示例，圖1描繪了用戶100通過頭戴式顯示系統104查看示例環境102。用戶100基於由頭戴式顯示系統104的熱成像設備檢測到的熱圖像感知環境102。環境102包括牆112、114和116、地板118和門120等特徵，同時包括書架122、沙發124、咖啡桌126、咖啡杯128、人130和門把手132等對象。

環境102中最熱的對象以白色顯示，包括人130和咖啡杯128。儘管頭顯顯示的熱圖像向用戶100清楚地指示相關對象，但其他無生命和寒冷的對象和特徵（以灰色顯示）則不可識別（或不太可識別）。這可能令用戶100難以在環境102中導航，例如會被絆倒或撞到牆壁。

針對這個問題，微軟認為可以對熱成像進行對比度增強。但如果未執行適當的色調映射，對比度增強圖像可能會丟失場景較冷部分中的精細細節，或者會使較熱對象飽和。

如果單純提供增強對比度，例如令深色背景中的對象變亮，則場景中對象的相對強度或溫度信息可能會丟失。如果基於感知的溫度對增強對比度圖像執行著色，則特定背景對象可能被著色，而目標前景信息可能丟失。實際上，應用局部對比度增強會破壞全局場景信息，所以用戶無法再分辨圖像中最熱的像素。

對於增強現實和虛擬現實應用程序，重要的是生成支持用戶查看相關功能並在其環境中成功移動的圖像。高動態範圍圖像將包括相對低強度的區域和相對高強度的區域。用於提供對比度和著色的單一管道方法傾向於在環境的其餘部分增強對比度時將高強度對象混合到背景中。

所以在名為「Contrast enhanced images composited with artificial colorization」專利申請中，微軟表示不在單個管道內順序執行對比度增強和人工著色，而是將基於強度的線性圖像數據的處理分成兩個管道。使用單個管道時，可能無法獲得所需的場景對比度，和/或場景中的某些對象可能被錯誤地著色。相反，可以在第一管道中對圖像進行對比度增強，並在第二管道中對圖像進行人工著色。然後，可以將兩個結果圖像和/或其至少部分合成為高對比度圖像，其中最高強度像素被著色。

以這種方式在非增強圖像上執行人工著色。因此，結果保持具有高強度的圖像區域和對象，並且可以作為目標對象呈現。同時，整個場景可以具有增強的對比度，這不僅在視覺上對用戶而言更有用，而且不會對背景對象進行錯誤著色。

從場景圖像中有效地拉出高強度對象（例如熱圖像中的人）並進行精確的著色，然後再融合回場景圖像中。這將生成保留原始強度信息的高對比度圖像。這種方法支持多種對比度增強方法和彩色化方法，只要結果圖像可以重新組合。這兩條管道可以共享兩個子方法所需的計算，從而提高效率並允許近實時圖像處理。

圖3描繪了用於增強數字圖像的示例方法300。

在310，方法300包括接收環境的基於強度的線性圖像。例如，方法300可以包括經由熱攝像頭接收真實世界環境的熱圖像，所屬熱圖像包括熱圖像的多個像素中的每個像素的熱強度值。可以從提供每像素強度值的任何成像設備接收基於強度的線性圖像，而不管頻率範圍。

如上所述，熱攝像頭可以集成到執行方法300的一個或多個步驟的計算設備中，而不僅僅是圖像捕獲。或者，熱攝像頭可以是獨立的攝像頭，或者是單獨攝像頭系統的組件。因此，配置為實現方法300的步驟的一個或多個計算設備可以從遠程攝像頭接收熱圖像（和/或其他圖像）。

接收到的線性基強度圖像可以是直接從光學感測器接收到的原始圖像、經過一定程度後處理的原始圖像數據，例如應用數字增益和/或固定模式噪點去除。然而，接收到的線性基強度圖像可能沒有經歷對比度增強，或彩色化處理，或任何其他會改變數據線性性質或圖像高動態範圍的處理。

有時候，相對較高的輻射強度值可能對應於成像場景中發射相對較多熱能的區域。一般來說，「熱攝像頭」可以包括配置為接收和編碼來自環境對象的熱能（例如紅外光）的任何成像系統。在一個示例中，熱攝像頭可以包括布置在熱攝像頭的其他光學元件之前的輻射計透鏡。

類似地，當包括時，可見光和深度攝像頭可以採用任何合適的形式。例如，深度攝像頭可以是結構光深度攝像頭或飛行時間深度攝像頭。

基於強度的線性圖像可以採用包括多個強度值的任何適當數據結構形式，強度值反過來對成像設備從環境對象接收的輻射能量進行編碼。在某些情況下，強度值可以採用灰度計數的形式，灰度計數可以具有任何合適的值。

可選地，在320處，方法300包括接收環境的微光圖像。例如，圖像可以由微光攝像頭模塊捕獲。在一個示例中，可以從與環境的線性基強度圖像的位置偏移處獲取低水平光圖像，並且可以應用適當的校正來對齊這兩個圖像。低水平光圖像可以與基於強度的線性圖像同時拍攝，或者在基於強度的線性圖像的閾值持續時間內拍攝，以確保在拍攝圖像之間環境中發生了最小的變化。

繼續到330，方法300包括為基於強度的線性圖像內的一組像素生成一個或多個強度值直方圖。例如，可以量化在每個像素處接收的輻射強度，並將其表示為在基於強度的線性圖像中表示該強度的頻率的函數。

任選地，在340，方法300包括將基於強度的線性圖像劃分為多個Tile；以及為所述多個Tile中的每一個中的每一組像素生成一個或多個強度值直方圖。通常，多個Tile的大小和形狀可以相等，並且可以不重疊。然而，大小或每個Tile可以基於線性基強度圖像的質量、基於先前的線性基強度圖像（、成像設備的透視變化等。

每個Tile的直方圖可以顯示環境局部部分與整體環境的不同特徵。這可以為每個Tile啟用更具體的圖像處理，而不是依賴於整個線性基強度圖像的直方圖。

作為示例，圖4示出了基強度線性圖像400的示例。圖像400包括前景對象405（例如高強度）和背景對象410（例如低強度）。圖像400被劃分為多個Tile415。每個Tile包括高強度和低強度像素的組合，為每個Tile提供單獨的直方圖簽名，直方圖簽名不一定與整個圖像400的直方圖簽名匹配。

例如，Tile415a僅包括低強度像素，產生直方圖420a。Tile415b包括大量高強度像素，產生直方圖420b。Tile415c包括一定的高強度像素和一定的低強度像素，產生直方圖420c。

回到圖3，在350處，方法300包括基於強度值的一個或多個直方圖，對基於強度的線性圖像應用局部對比度增強，以生成基強度線性圖像的對比度增強版本。給定一幅具有較寬強度範圍的基於強度的線性圖像，最亮峰值的頂部可被視為前景，而環境中的其他一切可被視為背景。在原始圖像中，前景將顯得明亮，背景將顯得黑暗，細節難以察覺。

對比度增強可以消除這種差異。對比度增強可用於放大低強度像素和去放大高強度像素。換言之，較暗的對象（例如背景對象）變亮，較亮的對象（例如前景對象）用適當的對比度變暗或增強。通過這種方式，環境的細節被呈現出來，以便於用戶的視覺感知。

可以應用任何合適的對比度增強方法，例如對比度受限的自適應直方圖均衡化（CLAHE）、反銳化掩模等。在線性基強度圖像被劃分為Tile的示例中，可以逐Tile應用對比度增強，以便通過直方圖均衡化增加每個Tile內的對比度。

對比度增強可以作為局部操作來執行。應用的增強可能基於場景的區域、基於該特定區域的直方圖統計等而改變。

當視為強度與頻率直方圖時，熱圖像中熱對象的像素強度傾向於向一個或兩個主峰聚集。這通常是需要著色的主要區域，因為人體溫度或其他目標對象可能會比其周圍環境發出更高的熱能。

然而，通過直接對接收到的圖像執行局部對比度增強，得到的增強圖像從接收到的圖像直方圖中丟失了許多顯著的峰值。

因此，在360，方法300包括基於強度值的一個或多個直方圖，對基於強度的線性圖像應用人工著色，以生成基強度線性圖像的人工著色版本。通過在與對比度增強處理不同的管道中執行人工著色處理，可以利用接收圖像的強度數據進行適當的分析，從而實現更精確的著色。

換句話說，顏色通道可用於重新引入在對比度增強期間丟失的全局圖像信息。對於熱成像，這允許以彩色顯示通常與人相對應的最熱像素。

在一個示例中，可以分析強度值的直方圖，並對強度高於閾值的像素應用人工著色。閾值可以預先確定，或者基於接收圖像內的強度分布。例如，強度的第90百分位中的像素（最熱像素的前10%）可以被著色。像素可以被賦予均勻的顏色，或者可以使用直方圖均衡化來沿光譜向每個像素分配顏色值

圖5A中示出了一個示例。直方圖500根據像素頻率繪製強度（0-100之間的任意單位）。閾值510應用於直方圖500，使得強度大於閾值510的任何像素被著色。通過使用簡單的閾值，著色過程可能會快速發生，這在實時覆蓋應用程序中可能特別重要。

在存在與熱對象相對應的有限區域的環境中，目標對象可能不會形成圖像的預定百分比。因此，可以使用任意閾值對一些背景對象進行著色。相反，如果場景中有許多熱對象，則一些對象可能會基於簡單的閾值保持未著色。

通過使用決策樹，可以識別實質上不同的圖像的切點或部分，從而允許基於圖像的強度直方圖的自然輪廓進行智能著色。這樣的決策樹可以由環境的其他信息通知，例如低水平光成像、對象檢測演算法和/或用於引導圖像著色的其他常式。

繼續到370，方法300包括基於線性基強度圖像的對比度增強版本的至少一部分，以及線性基強度圖像的人工著色版本的至少一部分生成環境的合成圖像。在接收到微光圖像的示例中，同時可以將微光圖像的至少一部分合成到最終圖像中。

這樣，合成圖像可以包括僅從基強度線性圖像中可能無法獲得的額外細節。例如，如果環境包括牆，則熱像儀可能能夠識別牆中的螺柱，而微光攝像頭可能會拾取牆紙圖案的變化。這樣，最終的合成圖像包括多個輸入，每個輸入都有一組獨特的特徵。

在一些示例中，對比度增強圖像、人工彩色圖像和低亮度圖像中的一個或多個的整體可以合成到最終圖像中。例如，通過僅對接收到人工著色的像素和/或Tile著色，可以將全對比度增強圖像與人工著色圖像的部分合成。

在一個示例中，可以從接收到的線性數據確定矩形或多邊形區域，並用於在對比度增強圖像中對這些區域進行著色。然而，子圖像的任何部分可用於例如遵守設備的存儲器和計算限制。

作為示例，圖6示出了用於增強數字圖像的處理流程。接收線性熱照攝像頭圖像605以及低水平光圖像。可以可選地為線性熱攝像頭圖像605生成平鋪直方圖610。線性熱攝像頭圖像605和平鋪直方圖610（如適用）可用於生成線性熱圖像615的局部對比度增強版本，以及生成線性熱圖像620的人工彩色版本。

然後，將線性、熱圖像615的局部對比度增強版本，線性熱圖像620的人工彩色版本和微光圖像625合成在一起以生成合成圖像630。因此，相對於線性熱攝像頭圖像605，合成圖像630具有人工著色的前景對象和以高對比度呈現的背景對象。

繼續到380，方法300可選擇性地包括實時疊加合成圖像，以便用戶通過顯示器觀看環境。

在某些使用情況下，可能需要僅查看合成圖像的彩色部分。在這種情況下，基強度線性圖像的人工彩色版本可用作遮罩，以從顯示器中移除非彩色圖像。生成合成圖像的過程可提供僅通過應用如350或其他所述的人工著色而不可用的額外細節。例如，在白天佩戴AR頭顯的用戶不一定需要額外的對比度增強細節，但可能需要確定人形對象是否存在併產生熱能。

相關專利：Microsoft Patent | Contrast enhanced images composited with artificial colorization

名為「Contrast enhanced images composited with artificial colorization」的微軟專利申請最初在2020年12月提交，並在日前由美國專利商標局公布。需要注意的是，這只是一份專利申請，不確定微軟是否會或將於何時進行商業化。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！